Linux PPPoE NAT MTU and MSS

Linux 在 PPPoE 環境下 NAT，下面的 Client 可能會有部份網站連不上，
已知 LINE 的網站 (https://line.me) 及 LINE 服務就有這個狀況

這個問題是因為 Client 的 MTU 1500 大於 Linux NAT WAN 端的 MTU 1492 所導致，
解決方式有兩種:

1. 在 Linux NAT 解決，加一行 Rule
iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
TCPMSS 這個 target 會更改 TCP SYN 封包的 MSS 值
--clamp-mss-to-pmtu 會根據 path_MTU 自動設定 MSS (Maximun segment size) 的值，即 path_MTU - 40 (for IPv4)
2. 更改 Client 端的 MTU 跟 NAT WAN 端一致

這兩種方式明顯是方法 1 較佳，不用動到 Client 端

原理:
一般 Ethernet MTU 是 1500，PPPoE 是 1492，
Client PC 沒特別調整的話，MTU 也是 1500，進行 TCP SYN 連線，
TCP Option 中的 MSS 會是 1460 (1500-40 TCP Header)



在尚未加上面的 Rule 時，NAT 會原封不動轉送出去，
導致回應封包有可能會超出 PPPoE 環境的值1452，後續就收不到 Server Hello 封包，就會卡住沒通
加入該 Rule 後，封包在轉送出去時，會改成 MSS 值為 1452，後續就會通



那為何大部份的網站都會通呢?
因為用了較小的 MSS，例如 Google 是 1412

pktmon - Windows tcpdump

pktmon 相當於 Windows 下的 tcpdump，是 Windows 10 的內建工具

列出網卡
pktmon comp

新增一個 filter
pktmon filter add tcp80 -t tcp -p 80

開始抓包，--pkt-size 0 是記錄整個封包，不然預設只會記 128 bytes
預設抓所有網卡，要指定網卡可以用 --comp 網卡編號 (參考pktmon comp)
pktmon start -c --pkt-size 0

停止抓包，預設會存在當前目錄 pktmon.etl，若要指定不同的檔名，在 start 時用 -f 參數
pktmon stop

轉成 Wireshark 格式檔案，會轉出 pktmon.pcapng
pktmon pcapng pktmon.etl

pktmon 無法過濾某個軟體的封包，還是只能用 Microsoft Network Monitor，這個功能似乎還沒有替代品

HiNet IDC mirror closed

http://mirror01.idc.hinet.net
HiNet 這個網址關了，要高速下載 Linux ISO 少了一個地方，感謝 HiNet 默默服務了多年
測了幾個 TW mirror 站，推 TWDC 台灣數位串流，常見的 Linux 都有，速度超快
https://mirror.twds.com.tw

RouterOS WireGuard

RouterOS 在 7 版以後支援 WireGuard
註: WireGuard 在 Linux Kernel 5.6 版開始內建

設定滿簡單的，在選單 WireGuard New Interface，Private Key 及 Public Key 不用填，會自動產生
在 IP / Addresses 綁一個 IP 給 wireguard1，例如 10.66.66.1/24
在 IP / Firewall / NAT 加上 srcnat 讓 wireguard1 區段 masquerade

在 Peer 加 Client，這邊就沒有自動產生功能，
要找一台有裝 wireguard-tools 的 Linux，用 wg 指令產生
wg genkey | tee privatekey # 產生 Private Key
wg pubkey < privatekey # 產生 Public Key
wg genpsk # 產生 Preshared Key

Client Address 填入 10.66.66.2 # 要在上面 wireguard1 網段內
Client DNS 填入 8.8.8.8
Client Endpoint 填入 RouterOS 的 Public IP
下面會自動產生 Client Config 及 Client QR 碼

但實測在 [Interface] 內 ListenPort 必需移除才會通，
掃 QR 碼後，需將 ListenPort (監聽連接埠) 設定移除，移除後欄位會呈現 (隨機)

ref. ROS WireGuard

Change Redhat Linux 9 /lib default size

Redhat Linux 9 (or Rocky Linux 9 or Alma Linux 9) 之前的 /lib，設跟 /dev/shm 相同，預設大小是記憶體一半，
在 9 之後，預設大小是記憶體的 20%，若要調整這個大小，可以在 /etc/fstab 加一行覆寫預設值
例如:
tmpfs /run tmpfs defaults,size=5G 0 0

systemd jounal 的預設存放位置就在這 /run/log/journal，
其預設最多使用所在 Partition 的 10%，若 Log 量多，希望保留多一多時間，
就需要調大 SystemMaxUse 及 RuntimeMaxUse 這兩個值

ESXi find what process lock file

ESXi 檔案刪不掉，出現 Device or resource busy
若檔案名稱是 windows-10-flat.vmdk
下此指令就可以知道那邊佔用

ps | grep `lsof | awk '/windows-10-flat.vmdk/ {print $1}'`

另外這個指令可以顯示機器名稱與 datastore 的檔案對應，

vim-cmd vmsvc/getallvms

改機器名稱，datastore 的檔案不會跟著改名，有可能出現與目錄名稱不一致的情況

Eazy way to install OpenWrt

這個方法網路要通，直接抓 image 寫入硬碟
隨便找一片 Linux ISO 開到 rescue 模式
fdisk -l 看一下硬碟位置，如果是 /dev/sda

curl https://repo.jing.rocks/openwrt/releases/23.05.3/targets/x86/generic/openwrt-23.05.3-x86-generic-generic-ext4-combined.img.gz | zcat > /dev/sda

一行解決，然後重開就可以了
上面的網址是 Japan Mirror 的網址，其他可參考 OpenWrt Downloads

Codeit repo for EL8/EL9

Codeit repo 對 EL8/EL9 的支援到 2023 年底才支援
用這個 repo 的主要是要使用最新版的 Apache 或 nginx

dnf -y install https://repo.codeit.guru/codeit-repo-release.el8.rpm
or
dnf -y install https://repo.codeit.guru/codeit-repo-release.el9.rpm

dnf -y module reset httpd
dnf -y module enable httpd:codeit

若是從舊版升級上來，ssl error log 可能看到這樣的錯誤，服務起不來
AH01898: Unable to configure permitted SSL ciphers
SSL Library Error: error:0A0000B9:SSL routines::no cipher match

需要調整 ssl.conf 這兩行的設定
SSLCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"
SSLProxyCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"
原本是
SSLCipherSuite PROFILE=SYSTEM
SSLProxyCipherSuite PROFILE=SYSTEM

ref. CodeIT Technical blog

Stunnel

Stunnel 有點像 SSH tunnel，可以建立加密通道
原本未加密的協議，讓它走 Stunnel，就可以達到不改變協議，數據有加密的效果
以下用一個實例說明:

A 要 telnet B，IP 12.34.56.78，因 telnet 協議本身未加密，
若要讓 A 到 B 的傳輸數據加密，此時就可以用 Stunnel

建立憑證
cd /etc/stunnel
openssl req -new -x509 -days 9999 -nodes -out stunnel.pem -keyout stunnel.key
把 stunnel.pem 及 stunnel.key copy 到另一台

A 要配置 Stunnel client
/etc/stunnel/stunnel.conf 內容如下
cert = /etc/stunnel/stunnel.pem
key = /etc/stunnel/stunnel.key
client = yes

[telnet]
accept = 23
connect = 12.34.56.78:2323

B 要配置 Stunnel server
/etc/stunnel/stunnel.conf 內容如下
cert = /etc/stunnel/stunnel.pem
key = /etc/stunnel/stunnel.key
client = no

[telnet]
accept = 2323
connect = 127.0.0.1:23

配置後兩邊啟動服務
systemctl enable stunnel --now

在 A 就可以 telnet localhost (取代直連 telnet 12.34.56.78)，
然後封包加密，送到 12.34.56.78:2323，
B 收到封包後解密，再送給 localhost:23

OpenVPN disconnect after 3.4.0

如果 OpenVPN 本來都連線正常，Server 也沒動，OpenVPN Client 升版到 3.4.0 以後的版本，就不能連了，
狀況是連上又斷線，一直重複 (repeat connect and disconnect)
我的環境 RouterOS 6.49.14 及 7.14.2 都遇到此狀況
很可能就是以下原因

OpenVPN Client 在 3.4.0 新增了一個功能 Security Level

Settings / ADVANCED SETTINGS (at bottom)

預設值是 Legacy
如果本來可以連，升版後不能連，把這邊改成 Insecure 可能就能連了
此功能將一些已不安全的協定禁用，若 Server 端暫時沒有新的支援，
Workaround 只能選 Insecure，不然就使用 3.3.7 版 ，意思一樣。