Hero Image
GitHub Actions 入门教程

GitHub Actions 入门教程

Monday, December 23, 2019 閱讀
Hero Image
Nginx如何防禦DDoS攻擊？

Nginx 如何防禦 DDoS 攻擊？ Nginx 限制訪問速率和最大併發連線數模組–limit (防止 DDOS 攻擊) ngx_http_limit_req_module limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

Friday, December 20, 2019 閱讀
Hero Image
golang服务的文件句柄超出系统限制(too many open files)

golang 服务的文件句柄超出系统限制(too many open files) 查看系统的配置 ulimit -a | grep open，发现系统的配置正常。 查看程序服务的打开文件限制，cat /proc/40636/limits，发现服务的限制并没有继承系统设置的，还是系统默认的 1024 限制。 查看程序服务打开文件数（连接数）情况，lsof -p 40636 | wc -l，发现已经超出限制，所以报错。 再看看程序服务打开了哪些连接，lsof -p 40636 > openfiles.log，发现很多 http 连接打开没有关闭，看 ip 是报警服务的接口，于是顺着这条线索，终于找到了原因，因为程序中读取到的配置解析时报错给报警服务，大量的报警服务连接后未关闭，才导致的 too many open files，这是问题的关键，但是程序为什么没有继承系统设置的最大配置限制，还需要继续查看。 最终原因找到，因为程序服务是 supervisor 管理的，supervisor 启动服务默认的 minfds 配置是 1024，也就是打开文件限制是 1024，在 supervisor 的配置中加入 minfds=81920; 重启 supervisorctl reload。

Monday, December 16, 2019 閱讀
Hero Image
Trellis Ansible Bad Interpreter Error

Trellis Ansible Bad Interpreter Error Bad Interpreter Error Error we got using Ansible was a bad interpreter error. Python 2.7 is not to be found: zsh: /usr/local/bin/ansible-vault: bad interpreter: /usr/local/opt/python@2/bin/python2.7: no such file or directory And that was correct because when we checked /usr/local/opt we only had Python 3. Installation Python 2 brew install python@2 Python Crashing Hard Next, on Ansible version check I got another error ➜ trellis git:(master) ansible --version [1] 19153 abort ansible --version It was somehow crashing Python 2.7 though it should just work with it. I decided to upgrade Ansible as well

Friday, December 6, 2019 閱讀
Hero Image
用 iptables 和 ip rule 做负载均衡

用 iptables 和 ip rule 做负载均衡 操作 这里以一台通过有线 + 无线出口连接到互联网的 Arch Linux 设备为例。其中共有两个出口，分别使用网卡 eth0 和 eth1。大概的对应关系是： 标记 10 (0xa) - 路由表 #110 - 使用 eth0 出口 标记 11 (0xb) - 路由表 #111 - 使用 eth1 出口 我们会根据数据包上包含的标记值来判断它应该走什么出口。首先，使用 ip rule 为每个标记值指定一张使用的路由表。 通常默认路由表的权重是 32768。为了让我们的路由表用得上，我们需要把它们的权重调得高一些（例如 31000）。 # 让带标记 10 (0xa) 的数据包使用 110 号路由表，权重 31000 ip rule add fwmark 10 table 110 prio 31000 # 让带标记 11 (0xb) 的数据包使用 111 号路由表，权重 31000 ip rule add fwmark 11 table 111 prio 31000 # 如果你的连接更多，可以继续添加标记 <-> 路由表的对应关系 # #110 路由表的路由 ip route add 10.20.0.0/24 dev eth0 table 110 ip route add default via 10.20.0.254 table 110 # #111 路由表的路由 ip route add 10.25.0.0/24 dev eth1 table 111 ip route add default via 10.25.0.254 table 111 # 如果这条连接已经被标记，那么把标记设置到数据包上 iptables -t mangle -A OUTPUT -j CONNMARK --restore-mark # 如果数据包已经有标记，直接放行 iptables -t mangle -A OUTPUT -m mark ! --mark 0 -j ACCEPT # 如果数据包没被标记的话 # 把数据包包的标记设置为 11 (0xb)... iptables -t mangle -A OUTPUT -j MARK --set-mark 10 # 并且每 2 个包就把一个包的标记设置为 10 (0xa) iptables -t mangle -A OUTPUT -m statistic --mode nth --every 2 --packet 0 -j MARK --set-mark 11 # 如果你有三条出口的话，这里可以类似于 # iptables -t mangle -A OUTPUT -j MARK --set-mark 10 # iptables -t mangle -A OUTPUT -m statistic --mode nth --every 3 --packet 0 -j MARK --set-mark 11 # iptables -t mangle -A OUTPUT -m statistic --mode nth --every 3 --packet 1 -j MARK --set-mark 12 # 把数据包的标记存储到整条连接上，这样整个连接过程都会使用同一条出口 iptables -t mangle -A OUTPUT -j CONNMARK --save-mark # 我们还需要让数据包上标示的出口是我们为其选择的出口 iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE 之后可以用 iptables -L OUTPUT -t mangle 看一下自己所设置的规则是否正确。然后就可以用 Wiresharks 看一看自己的连接是不是真的分流啦。

Wednesday, December 4, 2019 閱讀
Hero Image
htop explained

htop explained

Thursday, November 14, 2019 閱讀
Hero Image
Some Jenkinsfile examples

Some Jenkinsfile examples Parallel #!/usr/bin/env groovy pipeline { agent any stages { stage("Build") { steps { sh 'mvn -v' } } stage("Testing") { parallel { stage("Unit Tests") { agent { docker 'openjdk:7-jdk-alpine' } steps { sh 'java -version' } } stage("Functional Tests") { agent { docker 'openjdk:8-jdk-alpine' } steps { sh 'java -version' } } stage("Integration Tests") { steps { sh 'java -version' } } } } stage("Deploy") { steps { echo "Deploy!" } } } } When #!/usr/bin/env groovy pipeline { agent any environment { VALUE_ONE = '1' VALUE_TWO = '2' VALUE_THREE = '3' } stages { // skip a stage while creating the pipeline stage("A stage to be skipped") { when { expression { false } //skip this stage } steps { echo 'This step will never be run' } } // Execute when branch = 'master' stage("BASIC WHEN - Branch") { when { branch 'master' } steps { echo 'BASIC WHEN - Master Branch!' } } // Expression based when example with AND stage('WHEN EXPRESSION with AND') { when { expression { VALUE_ONE == '1' && VALUE_THREE == '3' } } steps { echo 'WHEN with AND expression works!' } } // Expression based when example stage('WHEN EXPRESSION with OR') { when { expression { VALUE_ONE == '1' || VALUE_THREE == '2' } } steps { echo 'WHEN with OR expression works!' } } // When - AllOf Example stage("AllOf") { when { allOf { environment name:'VALUE_ONE', value: '1' environment name:'VALUE_TWO', value: '2' } } steps { echo "AllOf Works!!" } } // When - Not AnyOf Example stage("Not AnyOf") { when { not { anyOf { branch "development" environment name:'VALUE_TWO', value: '4' } } } steps { echo "Not AnyOf - Works!" } } } }

Wednesday, November 6, 2019 閱讀
Hero Image
Jinja docx template, avoiding new line in nested for

Jinja docx template, avoiding new line in nested for

Tuesday, October 29, 2019 閱讀
Hero Image
What the f*ck Python! 🐍

What the f*ck Python! 🐍

Friday, October 11, 2019 閱讀
Hero Image
再战运营商缓存之 使用 iptables 对付死 X 缓存劫持

再战运营商缓存之 使用 iptables 对付死 X 缓存劫持 起因 与移动的缓存问题进行斗争要追溯到两年前，那时候因为移动竟然连 cnpm 的数据都进行缓存。并且令人喷饭的是：移动的缓存服务器不但经常速度慢到堪比万年王八跑马拉松，甚至还经常宕机，导致我只想安安静静的写个代码却不得不面对一片鲜红的报错 解决 iptables -I FORWARD -p tcp -m tcp -m ttl --ttl-gt 20 -m ttl --ttl-lt 30 -j DROP 考虑到可能还真的有其他幺蛾子服务器发来的真实数据包的 TTL 也在 20-30 的区间范围内，应该再加一层判断。对比了移动的 302 劫持包和正常的 302 跳转包的报文后，发现移动的劫持包的状态位包含 FIN, PSH, ACK 而正常的 302 跳转包一般不会这三个都有 那么就在 iptables 规则里加上状态位是否包含 FIN, PSH, ACK 的判断： iptables -I FORWARD -p tcp -m tcp -m ttl --ttl-gt 20 -m ttl --ttl-lt 30 --tcp-flags ALL FIN,PSH,ACK -j DROP

Monday, October 7, 2019 閱讀
Hero Image
使用 Nginx 和 mod_pagespeed 自动将图片转换为 WebP 并输出

使用 Nginx 和 mod_pagespeed 自动将图片转换为 WebP 并输出 编译 ngx_pagespeed 首先确保 Nginx 有 --with-compat 编译参数，这样我们就不需要按照一些奇怪的教程让大家从头开始编译 Nginx incubator: https://github.com/apache/incubator-pagespeed-ngx.git # 切换到 nginx 源代码目录下开始配置编译环境 ./configure --with-compat --add-dynamic-module=../incubator-pagespeed-ngx # 编译 modules make modules # 将对应编译好的 module 放到 nginx 目录下： sudo cp objs/ngx_pagespeed.so /etc/nginx/modules/ # 创建好缓存文件夹以便存放自动转换的图片 sudo mkdir -p /var/ngx_pagespeed_cache sudo chown -R www-data:www-data /var/ngx_pagespeed_cache load_module modules/ngx_pagespeed.so; # enable pagespeed module on this server block pagespeed on; # Needs to exist and be writable by nginx. Use tmpfs for best performance. pagespeed FileCachePath /var/ngx_pagespeed_cache; # Ensure requests for pagespeed optimized resources go to the pagespeed handler # and no extraneous headers get set. location ~ "\.pagespeed\.([a-z]\.)?[a-z]{2}\.[^.]{10}\.[^.]+" { add_header "" ""; } location ~ "^/pagespeed_static/" { } location ~ "^/ngx_pagespeed_beacon$" { } pagespeed RewriteLevel CoreFilters; 其中最后一个部分（pagespeed RewriteLevel CoreFilters;）表示启用的优化方式，其中包括了一些基础的优化，比如

Monday, October 7, 2019 閱讀
Hero Image
Is there a regular expression to detect a valid regular expression?

Is there a regular expression to detect a valid regular expression? This is a recursive regex, and is not supported by many regex engines. PCRE based ones should support it. / ^ # start of string ( # first group start (?: (?:[^?+*{}()[\]\\|]+ # literals and ^, $ | \\. # escaped characters | \[ (?: \^?\\. | \^[^\\] | [^\\^] ) # character classes (?: [^\]\\]+ | \\. )* \] | \( (?:\?[:=!]|\?<[=!]|\?>)? (?1)?? \) # parenthesis, with recursive content | \(\? (?:R|[+-]?\d+) \) # recursive matching ) (?: (?:[?+*]|\{\d+(?:,\d*)?\}) [?+]? )? # quantifiers | \| # alternative )* # repeat content ) # end first group $ # end of string / Without whitespace and comments

Friday, October 4, 2019 閱讀