VyOS "zwykły" router


 

Czym jest VyOS i czemu nie "zwykły" router

VyOS to darmowy system routerowy (następca Vyatty), który konfiguruje się jak kod, nie klikaniem po webowym panelu:

set interfaces ethernet eth0 vif 3 address '10.10.3.1/24'
set interfaces ethernet eth0 vif 3 description 'services'
commit
save

Trzy rzeczy, które kupiły mnie na zawsze:

  • commit z potwierdzeniem — commit-confirm cofa zmiany automatycznie, jeśli nie potwierdzisz w X minut. Odciąłeś sam siebie regułą firewalla? Router sam się naprawi.
  • rollback — trzymam 100 ostatnich rewizji konfiguracji; powrót do dowolnej to jedna komenda.
  • cała konfiguracja to jeden tekst — idealny do backupu, diffowania i wersjonowania w gicie (GitOps na routerze — kto czytał poprzedni wpis, widzi schemat 😉).

U mnie VyOS działa jako maszyna wirtualna na Proxmoxie, z dwoma interfejsami: WAN (światłowód) i trunk LAN z VLAN-ami.

Segmentacja: cztery VLAN-y, cztery światy

  • VLAN 1 — LAN: domowe urządzenia, komputery, AdGuard (DNS)
  • VLAN 2 — SIEM: Wazuh i narzędzia bezpieczeństwa — izolowane, bo monitoring nie powinien dzielić sieci z tym, co monitoruje
  • VLAN 3 — services: Proxmox i klaster Kubernetes — serwery oddzielone od laptopów i telewizora
  • VLAN 4 — attackrange: poligon do testów bezpieczeństwa — rzeczy, które z definicji mają być "zarażone", siedzą w klatce

Firewall na styku: default-drop — między VLAN-ami nie przechodzi NIC, czego jawnie nie dopuściłem. Każda reguła ma opis, po miesiącach wiadomo, co robi i po co.

Smaczek: dyktatura DNS

Dwie reguły, które polecam każdemu:

# AdGuard MOŻE pytać świat o DNS
rule 19: accept  src=adguard  dport=53,853  lan->wan
# nikt inny nie może (żegnajcie, wbite na sztywno 8.8.8.8)
rule 20: drop    dport=53,853  lan->wan

Efekt: każde urządzenie w domu — łącznie z telewizorem, który "wie lepiej" i ma zaszyte własne DNS-y — przechodzi przez AdGuarda. Blokowanie reklam i lokalne domeny działają wszędzie, bez wyjątków.

Danie główne: BGP między routerem a Kubernetesem

Problem do rozwiązania: aplikacje w Kubernetesie dostają adresy typu LoadBalancer z puli 10.10.100.0/23 (rozdaje je MetalLB). Skąd router ma wiedzieć, na którym węźle żyje dany adres? I co, gdy węzeł padnie?

Klasyczne rozwiązanie (tryb L2/ARP) działa, ale ma wady: cały ruch na jeden adres wchodzi przez jeden węzeł, a failover bywa powolny. Rozwiązanie eleganckie: BGP. Każdy węzeł klastra mówi routerowi wprost: „adres X jest u mnie”.

set protocols bgp system-as '65000'               # router: prywatny AS
set protocols bgp peer-group K8S remote-as '65001' # klaster: drugi AS
set protocols bgp neighbor 10.10.3.30 peer-group 'K8S'  # cp1
set protocols bgp neighbor 10.10.3.31 peer-group 'K8S'  # w1
set protocols bgp neighbor 10.10.3.32 peer-group 'K8S'  # w2
set protocols bgp address-family ipv4-unicast maximum-paths ebgp '4'  # ECMP!

Po stronie klastra siedzi MetalLB w trybie FRR i rozgłasza adresy usług. Efekt w praktyce:

Neighbor     V    AS  MsgRcvd  MsgSent  Up/Down   State/PfxRcd
10.10.3.30   4 65001     1611     1612  1d02h47m             0
10.10.3.31   4 65001     1617     1612  1d02h47m             3
10.10.3.32   4 65001     1617     1612  1d02h47m             3

Dwa workery rozgłaszają po 3 adresy usług. Dzięki maximum-paths (ECMP) ruch do tego samego adresu rozkłada się na oba węzły jednocześnie. Pad węzła = BGP wycofuje trasy = ruch płynie drugim węzłem. Bez VRRP, bez czekania na ARP, bez modlitwy.

I ważny bezpiecznik — prefix-listy w obie strony:

  • import: od klastra przyjmuję WYŁĄCZNIE pulę 10.10.100.0/23 — choćby coś w klastrze oszalało i próbowało rozgłosić trasę na cały internet, router to odrzuci
  • export: do klastra nie wysyłam nic (DENY-ALL) — Kubernetes nie musi znać moich tras

Pułapki, które zjadły mi wieczory

  • Hairpin NAT: maszyna z VLAN services pyta o adres LoadBalancera... który jest w tym samym VLAN-ie. Pakiet wychodzi i wraca tym samym interfejsem — bez dodatkowej reguły source NAT odpowiedzi ginęły w czarnej dziurze asymetrycznego routingu.
  • WireGuard i MSS: tunel VPN zmniejsza MTU. Objaw-klasyk: ping działa, małe strony działają, duże strony wiszą w nieskończoność. Lekarstwo: adjust-mss 1340 na interfejsach tunelu + clamp-mss-to-pmtu na WAN. Zapamiętajcie ten objaw — kiedyś wam to oszczędzi wieczór.
  • Opisy reguł: reguła bez opisu po trzech miesiącach to archeologia. U mnie każda ma opis — i mimo to znalazłem ostatnio jedną z opisem z zupełnie innej epoki. Audytujcie.

Podsumowanie

VyOS daje domowej sieci to, co Talos dał mojemu klastrowi: konfigurację deklaratywną, odtwarzalną i wersjonowalną. A BGP do MetalLB to najtańsza wysoka dostępność, jaką znam — protokół klasy operatorskiej, działający na VM-ce w szafie, za darmo.

W następnych odcinkach: WireGuard w praktyce (dostęp do domu z telefonu) i attackrange — po co mi VLAN z wirusami. Pytania? Komentarze są wasze.

Komentarze

Popularne posty z tego bloga

Zmniejszenie system Windows 10 i 11

Backup zdjęć i plików z telefonu