OpenClaw - interessante Spielerei?

Ey Leute xD

Ich bin mal wieder total im "Ki-Hype" haha :-D
Also mehr oder weniger...

Bildgenerierung mit Invoke und Comfy ist spaßig...
Mittlerweile kann ich auch mit Comfy so nen paar 3D-Modelle geht auch ( und teils nicht unnütz xD )
Und zur Belustigung der Kinder kann ich per Comfy Ui auch das
Ein oder andere kleine Liedchen generieren xD

Bis auf die Bildgenerierung würde ich das aber alles noch "halbgar" nennen...

OpenWebUi in Kombi mit Llama ist auch ganz funny zum testen, aber grade hier merkt man dann schon, dass es eeeecht ne Menge Power braucht.

Aktuell bin ich bei meinem Unraid mit 5950x, 128Gb RAM und RTX 4070 12Gb bin ich nicht ganz schlecht ausgestattet xD
Bildgenerierung geht "schnell genug" ( und "groß" genug ), 3D Modellgenerierung "geht auch"... Aber LLM's... Joa das ist so nen Ding xD
So alles über 14b Modell ( und die sind schon nicht mehr so schnell weil grenzwertig ) ist dann Feierabend.

Dadurch komm ich halt immer wieder an den Punkt:
Upgrade? xD
Preis/Leistungstechnisch sehe ich den meisten Sinn in Ner 3090...
Hat 24Gb, bekommt man unter 1000 Euro... Die 4070 würde ich den den Wohnzimmer-PC stecken ( ist nur ne Ventus X2 und passt perfekt ins LianLi Dan4h2o ).

Jetzt kommen mir aber die Fragen in den Kopf...
Hat jemand schon nen Weg gefunden so ganz sexy SLI-Mäßig mehrere Grafikkarten zu "stapeln"? Also in z.B nem Unraid.
Denn so... Würde ich "einfach" ne zweite RTX 4070 rein knallen xD
Dann komme ich auch zumindest auf meine 24Gb... Macht nicht die Welt, aber immerhin

Jetzt noch zur weiteren Fragen:
Hat jemand schon Erfahrungen mit OpenClaw gesammelt?
Finde das Thema mega interessant.
Und mich reizt es extrem das Teil mal auf Ner VM laufen zu lassen...

Die Frage die sich mir hierbei stellt:
Kann ich, das Ding auch mit Ner lokal gehosteten LLM laufen lassen? Und wenn "ja" -> wieviel Sinn würde das überhaupt machen? xD
Denn das Teil mit Chatgpt oder whatever zu verknüpfen und da zu latzen ohne Ende... Also da hole ich mir doch lieber ne "dicke" 3090 xD

Also ich nutze OpenClaw jetzt mittlerweile seit knapp 3 Monaten. Installiert in einem Proxmox LXC-Container auf meinem Homeserver.
Mittlerweile hab ich dem Teil Root-Rechte in seiner eigenen Umgebung gegeben und es läuft absolut stabil.

Was ich dir sagen kann: Nachdem du es installiert hast und die Telegram-Verbindung steht, kannst du mit deinem Agenten alles weitere direkt über Telegram konfigurieren — Skills, Crons, Modellwechsel, alles. Mach regelmäßig Backups, sonst heißt es lernen aus Schmerz.

Zu lokalen LLMs:
Ja, OpenClaw unterstützt jeden OpenAI-kompatiblen Endpunkt — also auch Ollama oder LM Studio. Du trägst einfach deine lokale Base-URL + einen Dummy-API-Key ein und bist dabei. Macht es Sinn? Kommt drauf an. Für einfache Tasks ja, für komplexere Sachen (Planung, Code, Reasoning) merkt man die Qualitätslücke zu Cloud-Modellen deutlich. Mit nem 14B Modell ist es schon grenzwertig, darunter wird's für einen echten Agenten-Workflow dünn.

Getestete LLMs bei mir:

• Anthropic Claude (Sonnet/Opus) — nach wie vor das beste Modell für OpenClaw, harmoniert am stärksten. Leider hat Anthropic OAuth für Drittanbieter gesperrt, also nur noch direkte API mit eigenem Token-Budget.
• OpenAI GPT-5.4 — OAuth möglich & erlaubt! Ab ~20€ dabei, aber mit Limits. Gute Alternative.
• Google Gemini — läuft, taugt als Fallback, Flash-Modelle neigen aber zum "laut denken" im Chat.
• Moonshot / Kimi K2.5 — überraschend gut, sehr günstig, empfehlenswert als Daily Driver
• DeepSeek — frisch integriert, funktioniert einwandfrei, Reasoner-Variante auch. Extrem günstig.

Zur Multi-GPU Frage:
Ollama und llama.cpp unterstützen mittlerweile beide Multi-GPU — nicht SLI, sondern Tensor Parallelism. Sprich: zwei 4070 mit je 12 GB werden als 24 GB Pool behandelt, das Modell wird aufgeteilt. Funktioniert, aber der PCIe-Overhead frisst etwas Speed. Für Inferenz trotzdem deutlich besser als eine einzelne Karte. Die 3090 mit 24 GB auf einer Karte wäre aber effizienter — weniger Overhead, mehr Bandbreite.

Kurz gesagt: OpenClaw mit lokalem LLM ist ein nettes Experiment, für den echten täglichen Einsatz empfehle ich ein günstiges Cloud-Modell als Hauptmodell und die lokale GPU für Bildgenerierung/3D. Best of both worlds.