VyOS "zwykły" router
Czym jest VyOS i czemu nie "zwykły" router
VyOS to darmowy system routerowy (następca Vyatty), który konfiguruje się jak kod, nie klikaniem po webowym panelu:
set interfaces ethernet eth0 vif 3 address '10.10.3.1/24'
set interfaces ethernet eth0 vif 3 description 'services'
commit
save
Trzy rzeczy, które kupiły mnie na zawsze:
- commit z potwierdzeniem —
commit-confirmcofa zmiany automatycznie, jeśli nie potwierdzisz w X minut. Odciąłeś sam siebie regułą firewalla? Router sam się naprawi. - rollback — trzymam 100 ostatnich rewizji konfiguracji; powrót do dowolnej to jedna komenda.
- cała konfiguracja to jeden tekst — idealny do backupu, diffowania i wersjonowania w gicie (GitOps na routerze — kto czytał poprzedni wpis, widzi schemat 😉).
U mnie VyOS działa jako maszyna wirtualna na Proxmoxie, z dwoma interfejsami: WAN (światłowód) i trunk LAN z VLAN-ami.
Segmentacja: cztery VLAN-y, cztery światy
- VLAN 1 — LAN: domowe urządzenia, komputery, AdGuard (DNS)
- VLAN 2 — SIEM: Wazuh i narzędzia bezpieczeństwa — izolowane, bo monitoring nie powinien dzielić sieci z tym, co monitoruje
- VLAN 3 — services: Proxmox i klaster Kubernetes — serwery oddzielone od laptopów i telewizora
- VLAN 4 — attackrange: poligon do testów bezpieczeństwa — rzeczy, które z definicji mają być "zarażone", siedzą w klatce
Firewall na styku: default-drop — między VLAN-ami nie przechodzi NIC, czego jawnie nie dopuściłem. Każda reguła ma opis, po miesiącach wiadomo, co robi i po co.
Smaczek: dyktatura DNS
Dwie reguły, które polecam każdemu:
# AdGuard MOŻE pytać świat o DNS
rule 19: accept src=adguard dport=53,853 lan->wan
# nikt inny nie może (żegnajcie, wbite na sztywno 8.8.8.8)
rule 20: drop dport=53,853 lan->wan
Efekt: każde urządzenie w domu — łącznie z telewizorem, który "wie lepiej" i ma zaszyte własne DNS-y — przechodzi przez AdGuarda. Blokowanie reklam i lokalne domeny działają wszędzie, bez wyjątków.
Danie główne: BGP między routerem a Kubernetesem
Problem do rozwiązania: aplikacje w Kubernetesie dostają adresy typu LoadBalancer z puli 10.10.100.0/23 (rozdaje je MetalLB). Skąd router ma wiedzieć, na którym węźle żyje dany adres? I co, gdy węzeł padnie?
Klasyczne rozwiązanie (tryb L2/ARP) działa, ale ma wady: cały ruch na jeden adres wchodzi przez jeden węzeł, a failover bywa powolny. Rozwiązanie eleganckie: BGP. Każdy węzeł klastra mówi routerowi wprost: „adres X jest u mnie”.
set protocols bgp system-as '65000' # router: prywatny AS
set protocols bgp peer-group K8S remote-as '65001' # klaster: drugi AS
set protocols bgp neighbor 10.10.3.30 peer-group 'K8S' # cp1
set protocols bgp neighbor 10.10.3.31 peer-group 'K8S' # w1
set protocols bgp neighbor 10.10.3.32 peer-group 'K8S' # w2
set protocols bgp address-family ipv4-unicast maximum-paths ebgp '4' # ECMP!
Po stronie klastra siedzi MetalLB w trybie FRR i rozgłasza adresy usług. Efekt w praktyce:
Neighbor V AS MsgRcvd MsgSent Up/Down State/PfxRcd
10.10.3.30 4 65001 1611 1612 1d02h47m 0
10.10.3.31 4 65001 1617 1612 1d02h47m 3
10.10.3.32 4 65001 1617 1612 1d02h47m 3
Dwa workery rozgłaszają po 3 adresy usług. Dzięki maximum-paths (ECMP) ruch do tego samego adresu rozkłada się na oba węzły jednocześnie. Pad węzła = BGP wycofuje trasy = ruch płynie drugim węzłem. Bez VRRP, bez czekania na ARP, bez modlitwy.
I ważny bezpiecznik — prefix-listy w obie strony:
- import: od klastra przyjmuję WYŁĄCZNIE pulę
10.10.100.0/23— choćby coś w klastrze oszalało i próbowało rozgłosić trasę na cały internet, router to odrzuci - export: do klastra nie wysyłam nic (DENY-ALL) — Kubernetes nie musi znać moich tras
Pułapki, które zjadły mi wieczory
- Hairpin NAT: maszyna z VLAN services pyta o adres LoadBalancera... który jest w tym samym VLAN-ie. Pakiet wychodzi i wraca tym samym interfejsem — bez dodatkowej reguły source NAT odpowiedzi ginęły w czarnej dziurze asymetrycznego routingu.
- WireGuard i MSS: tunel VPN zmniejsza MTU. Objaw-klasyk: ping działa, małe strony działają, duże strony wiszą w nieskończoność. Lekarstwo:
adjust-mss 1340na interfejsach tunelu +clamp-mss-to-pmtuna WAN. Zapamiętajcie ten objaw — kiedyś wam to oszczędzi wieczór. - Opisy reguł: reguła bez opisu po trzech miesiącach to archeologia. U mnie każda ma opis — i mimo to znalazłem ostatnio jedną z opisem z zupełnie innej epoki. Audytujcie.
Podsumowanie
VyOS daje domowej sieci to, co Talos dał mojemu klastrowi: konfigurację deklaratywną, odtwarzalną i wersjonowalną. A BGP do MetalLB to najtańsza wysoka dostępność, jaką znam — protokół klasy operatorskiej, działający na VM-ce w szafie, za darmo.
W następnych odcinkach: WireGuard w praktyce (dostęp do domu z telefonu) i attackrange — po co mi VLAN z wirusami. Pytania? Komentarze są wasze.

Komentarze
Prześlij komentarz