Hero Image
[Golang] 利用build tags達到不同的build config

[Golang] 利用 build tags 達到不同的 build config Go build -ldflags package main import ( "fmt" ) var flagString string func main() { fmt.Println("This build with ldflag:", flagString) } $ go build -ldflags '-X main.flagString "test"' $ ./main This build with ldflag: test Go build -tags debug_config.go //+build debug package main var TestString string = "test debug" var TestString2 string = " and it will run every module with debug tag." func GetConfigString() string { return "it is debug....." } //+build debug 前後需要一個空行(除非你在第一行) release_config.go //+build !debug package main var TestString string = "test release" var TestString2 string = " and it will run every module as no debug tag." func GetConfigString() string { return "it is release....." } main package main import ( "fmt" ) func main() { fmt.Println("This build is ", TestString, TestString2, GetConfigString()) } $ go build -tags debug . $ ./main This build is test debug and it will run every module with debug tag. it is debug..... $ go build . $ ./main This build is test release and it will run every module as no debug tag. it is release.....

Monday, July 18, 2022 閱讀
Hero Image
Go embed 简明教程

Go embed 简明教程 嵌入 对于单个的文件，支持嵌入为string和 []byre 对于多个文件和文件夹，支持嵌入为新的文件系统 FS 比如导入 “embed” 包，即使无显式的使用 go:embed 指令用来嵌入，必须紧跟着嵌入后的变量名 只支持嵌入为 string, []byte 和 embed.FS 三种类型，这三种类型的别名(alias)和命名类型(如 type S string)都不可以 使用的是相对路径 string/[]byte package main import ( _ "embed" "fmt" ) //go:embed hello.txt var s string //go:embed hello.txt var b []byte func main() { fmt.Println(s) fmt.Println(b) } embed.FS package main import ( "embed" "fmt" ) //go:embed hello.txt hello2.txt //go:embed "p/he llo.txt" //go:embed `p/hello-2.txt` //go:embed dir var f embed.FS func main() { data, _ := f.ReadFile("hello.txt") fmt.Println(string(data)) data, _ = f.ReadFile("hello2.txt") fmt.Println(string(data)) data, _ := f.ReadFile("p/he llo.txt") fmt.Println(string(data)) data, _ = f.ReadFile("p/hello-2.txt") fmt.Println(string(data)) } 匹配模式 go:embed 指令中可以只写文件夹名，此文件夹中除了.和_开头的文件和文件夹都会被嵌入，并且子文件夹也会被递归的嵌入，形成一个此文件夹的文件系统。

Tuesday, July 12, 2022 閱讀
Hero Image
使用 Vim 當作差異比對工具

使用 Vim 當作差異比對工具 指令 vim -d file1.txt file2.txt 或 vimdiff file1.txt file2.txt 在差異視窗間切換: Ctrl-w + Ctrl-w 切換分割視窗方向 ctrl-w + K 將視窗方向由垂直切換為水平。 ctrl-w + H 將視窗方向切回垂直分割。 在變更之間跳轉 ]c 前往下一個變更。 [c 跳回上一個變更。 從差異視窗套用變更: :diffget, :diffput 匯出差異為 HTML: :TOhtml | w ~/diff.html

Thursday, July 7, 2022 閱讀
Hero Image
OIDC(OpenID Connect) 简介

OIDC(OpenID Connect) 简介 Authentication vs. authorization Authentication 通常是指校验是否是用户本人的这个过程，而 Authorization 则更多的是指用户是否有权限。通常我们都是先校验 是否是用户本人，然后再校验用户是否有权限。也就是先开始 Authentication，再开始 Authorization。 Authentication Authorization Determines whether users are who they claim to be Determines what users can and cannot access Challenges the user to validate credentials (for example, through passwords, answers to security questions, or facial recognition) Verifies whether access is allowed through policies and rules Usually done before authorization Usually done after successful authentication Generally, transmits info through an ID Token Generally, transmits info through an Access Token Generally governed by the OpenID Connect (OIDC) protocol Generally governed by the OAuth 2.0 framework Example: Employees in a company are required to authenticate through the network before accessing their company email Example: After an employee successfully authenticates, the system determines what information the employees are allowed to access OAuth 2 Client Credentials Grant 这种模式是最简单的，其实就是客户端告诉服务端自己是哪个客户端，服务器就将 access_token 下发

Wednesday, July 6, 2022 閱讀
Hero Image
Bash 位元運算子

Bash 位元運算子 Bash 的進位轉換工具 Bash 的算術展開允許我們用「進位數字 + #」的方式表示任意進位的數字。 $ echo $((2#1001)) 9 bc 可以用 ibase（輸入進位）與 obase（輸出進位）輕鬆進行進位轉換。以下將十進位的 9 轉成二進位。 $ echo "ibase=10;obase=2;9" | bc 1001

Monday, July 4, 2022 閱讀
Hero Image
Nginx 使用 split_clients 进行简易 A/B 测试

Nginx 使用 split_clients 进行简易 A/B 测试 ngx_http_split_clients_module configure 这里举例，我们想要 20% 的用户跳转到网址 https://example.com/，30% 的用户跳转到网址 https://example.org/，剩下的跳转到网址 https://examle.edu/ split_clients "${remote_addr}AAA" $variant { 20% https://example.com/; 30% https://example.org/; * https://example.edu/; } server { listen 80; listen [::]:80; server_name _; return 302 ${variant}; } 上述例子中，按照访客请求的 IP 地址 加上 AAA 字符串 会使用 MurmurHash2 转换成数字，如果得出的数字在前 20%，那么 $variant 值为 https://example.com/，相应的在中间 30% 区间的值为 https://example.org/，其他的为 https://example.edu/。 指定不同的目录 root /var/www/${variant}; 指定不同的首页 index index-${variant}.html;

Monday, July 4, 2022 閱讀
Hero Image
即時監控網路介面上的 HTTP 請求

即時監控網路介面上的 HTTP 請求 tcpflow apt/dnf install tcpflow $ sudo tcpflow -p -c -i wlp0s20f3 port 80 | grep -oE '(GET|POST) .* HTTP/1.[01]|Host: .*' reportfilename: ./report.xml tcpflow: listening on wlp0s20f3 GET /alexlarsson/flatpak/ubuntu/dists/focal/InRelease HTTP/1.1 GET /mirrors.txt HTTP/1.1 -p 停用混雜模式 -c 只輸出到主控台，不建立檔案 -i 指定網路介面 grep 會接收 tcpflow 的輸出 -o 只顯示符合樣式的那一段 -E 表示樣式是延伸正則表示式（ERE） httpry https://github.com/jbittel/httpry.git sudo httpry -i wlp0s20f3 httpry version 0.1.8 -- HTTP logging and information retrieval tool Copyright (c) 2005-2014 Jason Bittel <jason.bittel@gmail.com> Starting capture on wlp0s20f3 interface 2022-06-22 16:38:12.166 192.168.1.24 172.217.17.238 > GET google.com / HTTP/1.1 - - 2022-06-22 16:38:12.199 172.217.17.238 192.168.1.24 < - - - HTTP/1.0 400 Bad Request 2022-06-22 16:38:23.090 192.168.1.24 172.217.17.238 > POST google.com / HTTP/1.1 - - 2022-06-22 16:38:23.163 172.217.17.238 192.168.1.24 < - - - HTTP/1.1 405 Method Not Allowed

Thursday, June 23, 2022 閱讀
Hero Image
golang pprof 实战

golang pprof 实战 炸弹程序 package main import ( // 略 _ "net/http/pprof" // 会自动注册 handler 到 http server，方便通过 http 接口获取程序运行采样报告 // 略 ) func main() { // 略 runtime.GOMAXPROCS(1) // 限制 CPU 使用数，避免过载 runtime.SetMutexProfileFraction(1) // 开启对锁调用的跟踪 runtime.SetBlockProfileRate(1) // 开启对阻塞操作的跟踪 go func() { // 启动一个 http server，注意 pprof 相关的 handler 已经自动注册过了 // /debug/pprof/ if err := http.ListenAndServe(":6060", nil); err != nil { log.Fatal(err) } os.Exit(0) }() // 略 } http://localhost:6060/debug/pprof/ 类型 描述 备注 allocs 内存分配情况的采样信息 可以用浏览器打开，但可读性不高 blocks 阻塞操作情况的采样信息 可以用浏览器打开，但可读性不高 cmdline 显示程序启动命令及参数 可以用浏览器打开，这里会显示 ./go-pprof-practice goroutine 当前所有协程的堆栈信息 可以用浏览器打开，但可读性不高 heap 堆上内存使用情况的采样信息 可以用浏览器打开，但可读性不高 mutex 锁争用情况的采样信息 可以用浏览器打开，但可读性不高 profile CPU 占用情况的采样信息 浏览器打开会下载文件 threadcreate 系统线程创建情况的采样信息 可以用浏览器打开，但可读性不高 trace 程序运行跟踪信息 浏览器打开会下载文件，本文不涉及，可另行参阅《深入浅出 Go trace》 排查 CPU 占用过高

Wednesday, June 22, 2022 閱讀
Hero Image
在 Bash 中解析命令列參數

在 Bash 中解析命令列參數 getopts getopts optstring opt [arg ...] #!/bin/bash while getopts 'abc:h' opt; do case "$opt" in a) echo "Processing option 'a'" ;; b) echo "Processing option 'b'" ;; c) arg="$OPTARG" echo "Processing option 'c' with '${OPTARG}' argument" ;; ?|h) echo "Usage: $(basename $0) [-a] [-b] [-c arg]" exit 1 ;; esac done shift "$(( $OPTIND -1 ))" optstring 代表支援的選項。若某個選項需要參數，則在它後面加冒號 (:)。例如選項 c 需要參數，會寫成 c: 當選項有關聯參數時，getopts 會將參數字串存到 OPTARG shell 變數中。例如 option c 的參數會存到 OPTARG。 opt 包含已解析的選項。 #!/bin/bash while getopts ':abc:h' opt; do case "$opt" in a) echo "Processing option 'a'" ;; b) echo "Processing option 'b'" ;; c) arg="$OPTARG" echo "Processing option 'c' with '${OPTARG}' argument" ;; h) echo "Usage: $(basename $0) [-a] [-b] [-c arg]" exit 0 ;; :) echo -e "option requires an argument.\nUsage: $(basename $0) [-a] [-b] [-c arg]" exit 1 ;; ?) echo -e "Invalid command option.\nUsage: $(basename $0) [-a] [-b] [-c arg]" exit 1 ;; esac done shift "$(( $OPTIND -1 ))" 注意我們也更新了 optstring，現在以冒號 (:) 開頭，會抑制預設的錯誤訊息。 當 OPTERR 變數設為 0 時，getopts 會停用錯誤訊息輸出。 使用 getopt 解析長選項 #!/bin/bash VALID_ARGS=$(getopt -o abg:d: --long alpha,beta,gamma:,delta: -- "$@") if [[ $? -ne 0 ]]; then exit 1; fi eval set -- "$VALID_ARGS" while [ : ]; do case "$1" in -a | --alpha) echo "Processing 'alpha' option" shift ;; -b | --beta) echo "Processing 'beta' option" shift ;; -g | --gamma) echo "Processing 'gamma' option. Input argument is '$2'" shift 2 ;; -d | --delta) echo "Processing 'delta' option. Input argument is '$2'" shift 2 ;; --) shift; break ;; esac done -o 選項代表短選項 --long 選項代表長選項

Tuesday, June 7, 2022 閱讀
Hero Image
Go 程式碼重構：23 倍效能追擊

Go 程式碼重構：23 倍效能追擊 $ go test -bench=. -cpuprofile cpu.prof $ go tool pprof -svg cpu.prof > cpu.svg $ go test -bench=. -trace trace.out $ go tool trace trace.out

Tuesday, June 7, 2022 閱讀
Hero Image
Dockertest 极速搭建集成测试环境神器

Dockertest 极速搭建集成测试环境神器 dockertest

Thursday, May 12, 2022 閱讀
Hero Image
Tcpdump 使用总结

Tcpdump 使用总结 命令使用 tcpdump 采用命令行方式，它的命令格式为： tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ] [ -C file_size ] [ -F file ] [ -i interface ] [ -m module ] [ -M secret ] [ -r file ] [ -s snaplen ] [ -T type ] [ -w file ] [ -W filecount ] [ -E spi@ipaddr algo:secret, ... ] [ -y datalinktype ] [ -Z user ] [ expression ] tcpdump 的简单选项介绍 -E spi@ipaddr algo:secret , ...，可通过spi@ipaddr algo:secret 来解密 IPsec ESP 包。secret 为用于 ESP 的密钥，使用 ASCII 字符串方式表达。 如果以 0x 开头，该密钥将以 16 进制方式读入。 除了以上的语法格式(指spi@ipaddr algo:secret)， 还可以在后面添加一个语法输入文件名字供 tcpdump 使用(即把 spi@ipaddr algo:secret, … 中…换成一个语法文件名)。 在接收到第一个 ESP 包时会打开此文件， 所以最好此时把赋予 tcpdump 的一些特权取消(可理解为，这样防范之后，当该文件为恶意编写时，不至于造成过大损害)。 -T type 强制 tcpdump 按 type 指定的协议所描述的包结构来分析收到的数据包。 目前已知的 type 可取的协议为: aodv (Ad-hoc On-demand Distance Vector protocol， 按需距离向量路由协议，在 Ad hoc(点对点模式)网络中使用)， cnfp (Cisco NetFlow protocol) rpc(Remote Procedure Call) rtp (Real-Time Applications protocol) rtcp (Real-Time Applications con-trol protocol) snmp (Simple Network Management Protocol) tftp (Trivial File Transfer Protocol， 碎文件协议) vat (Visual Audio Tool， 可用于在 internet 上进行电视电话会议的应用层协议) wb (distributed White Board， 可用于网络会议的应用层协议) 实用命令实例 截获主机 210.27.48.1 和主机 210.27.48.2 或 210.27.48.3 的通信

Thursday, May 5, 2022 閱讀