WireGuard VPN für Docker Compose Setups
·1008 Wörter·5 min
Lokale Sprachmodelle haben mich veranlasst einen gebrauchten Gaming-PC für
Inference-Aufgaben zu kaufen. Die 1000 EUR sind gut investiert, denn die
Nvidia RTX 3090 mit 24 GiB bringt sehr gute Tokens/Sekunde Werte mit den
aktuellen Sprachmodellen. Das Ding steht bei mir im Büro, hört auf den Namen
gpu-box und hängt dort in einem ganz normalen privaten LAN (192.168.11.0/24).