Testing on Ricky

善用 Go Fuzzing，幫助你寫出更完整的單元測試

Thu, 03 Nov 2022 16:57:29 +0800

善用 Go Fuzzing，幫助你寫出更完整的單元測試

func Pow(base uint, exponent uint) uint {
 if exponent == 0 {
 return 1
 }

 return base * Pow(base, exponent-1)
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)

 assert.Equal(Pow(x, 0), uint(1))
 assert.Equal(Pow(x, 1), x)
 assert.Equal(Pow(x, 2), x*x)

 if x > 0 && y > 0 {
 assert.Equal(Pow(x, y)/x, Pow(x, y-1))
 }
 })
}

go test -fuzz=Fuzz -fuzztime 20s

在做 Fuzzing Test 的時候如果跑一跑 FAIL 了，Go 會幫忙把那組 input 記在 testcase/ 裡面
看了之後會發現在 x=6、y=30 時 assert 會失敗，也就是說 pow(6, 30)/6 不會等於 pow(6, 29)。但這也太奇怪了吧？仔細實驗之後才發現是因為在計算 pow(6, 30) 的時候會發生 overflow。
因為 Go 定義的 max.MaxUint 大約是 18 * 10¹⁸，但 6²⁹ 大概是 7 * 10¹⁸。如果把 6²⁹ 再乘上 6，就會發生 overflow 得到 8 * 10¹⁸，很像繞了操場兩圈結果在跟原本差不多的位置。

var ErrOverflow = fmt.Errorf("overflow")

func Pow(base uint, exponent uint) (uint, error) {
 if exponent == 0 {
 return 1
 }

 prevResult, err := Pow(base, exponent-1)
 if math.MaxUint/base < prevResult {
 return 0, ErrOverflow
 }

 return base * prevResult, nil
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)
 if result, err := Pow(x, 1); err != ErrOverflow {
 assert.Equal(result, x)
 }

 if result, err := Pow(x, y); x > 0 && y > 0 && err != ErrOverflow {
 resultDivX, _ := Pow(x, y-1)
 assert.Equal(result/x, resultDivX)
 }
 })
}

Nginx 使用 split_clients 进行简易 A/B 测试

Mon, 04 Jul 2022 14:36:23 +0800

Nginx 使用 split_clients 进行简易 A/B 测试

ngx_http_split_clients_module

configure

这里举例，我们想要 20% 的用户跳转到网址 https://example.com/，30% 的用户跳转到网址 https://example.org/，剩下的跳转到网址 https://examle.edu/

split_clients "${remote_addr}AAA" $variant {
 20% https://example.com/;
 30% https://example.org/;
 * https://example.edu/;
}

server {
 listen 80;
 listen [::]:80;
 server_name _;

 return 302 ${variant};
}

上述例子中，按照访客请求的 IP 地址加上 AAA 字符串会使用 MurmurHash2 转换成数字，如果得出的数字在前 20%，那么 $variant 值为 https://example.com/，相应的在中间 30% 区间的值为 https://example.org/，其他的为 https://example.edu/。

指定不同的目录

root /var/www/${variant};

指定不同的首页

index index-${variant}.html;

Dockertest 极速搭建集成测试环境神器

Thu, 12 May 2022 16:43:31 +0800

Golang基准测试

Thu, 02 Sep 2021 12:50:33 +0800

Golang 基准测试

基本使用

基准测试常用于代码性能测试，函数需要导入 testing 包，并定义以 Benchmark 开头的函数，参数为 testing.B 指针类型，在测试函数中循环调用函数多次

➜ go test -bench=. -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 250 4682682 ns/op
PASS
ok pkg06 1.875s
➜ go test -bench=. -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 249 4686452 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 1.854s

bench 的工作原理

基准测试函数会被一直调用直到 b.N 无效，它是基准测试循环的次数
b.N 从 1 开始，如果基准测试函数在 1 秒内就完成 (默认值)，则 b.N 增加，并再次运行基准测试函数
b.N 的值会按照序列 1,2,5,10,20,50,... 增加，同时再次运行基准测测试函数
上述结果解读代表 1 秒内运行了 250 次，每次 4682682 ns
-12 后缀和用于运行次测试的 GOMAXPROCS 值有关。与 GOMAXPROCS 一样，此数字默认为启动时 Go 进程可见的 CPU 数。可以使用 -cpu 标识更改此值，可以传入多个值以列表形式来运行基准测试

传入 cpu num 进行测试

➜ go test -bench=. -cpu=1,2,4 -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib 244 4694667 ns/op 0 B/op 0 allocs/op
BenchmarkFib-2 255 4721201 ns/op 0 B/op 0 allocs/op
BenchmarkFib-4 256 4756392 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 5.826s

count 多次运行基准测试

因为热缩放、内存局部性、后台处理、gc 活动等等会导致单次的误差，所以一般会进行多次测试