WireGuard

Lokale Sprachmodelle haben mich veranlasst einen gebrauchten Gaming-PC für Inference-Aufgaben zu kaufen. Die 1000 EUR sind gut investiert, denn die Nvidia RTX 3090 mit 24 GiB bringt sehr gute Tokens/Sekunde Werte mit den aktuellen Sprachmodellen. Das Ding steht bei mir im Büro, hört auf den Namen gpu-box und hängt dort in einem ganz normalen privaten LAN (192.168.11.0/24).

Für das erstmalige Einrichten eines Wireguard-VPN-Servers finden sich ja eine Vielzahl von Anleitungen im Internet, darum hier nur in aller Kürze. Das verwendete Setup sieht einen VPN-Server vor, mit dem alle Raspis als Clients verbinden. Als ersten Schritt installieren wir das wireguard Paket: