Technik - Ecke zum Plaudern

[xNecromindx]

Heute heißt es eben nicht mehr: Schatz, würdes du für 1 Mio mit dem Typen schlafen? Nö... heute heißt es: Gehst für 2 128GB Kits mit dem in die Kiste?

 

[P-F-S]

Also ne 5080 muss schon bei rumspringen xD
Dafür darf der Typ aber auch gerne hässlich sein :-D

Für ne 5090 darf er gerne auch Sachen mit ihr machen, die ich nicht mit ihr mache hahahahahaha xD

 

[RobMitchum]

Selbst die 7600XT (16 gb) ist fast so viel, wie ich vor fast zwei Jahren für meine 9070 bezahlt habe.

Bei lokaler KI - schwanke noch zwischen "dann eben lokal am PC", wobei der nicht mehr als 32 gb RAM und eben die 16 gb der 9070 hat. Die mit deren 16 gb möglichen Modelle sehen für mich "ausreichend" aus. Vorteil: Kostet "nichts" außer Strom und der 5800X reicht eigentlich noch aus.

Sollte das lokal bocken, dann wäre der nächste ganz sicher mit ordentlich speicher. Obs dann eine UDMA Architektur wird (habs noch nicht 100% technisch verstanden, was AMD dort versucht zu ändern) - ich kann mich dann überraschen lassen. Irgendwann müssen die Speicherpreise wieder normal werden.

Bitte, Anmelden oder Registrieren um die Links zu sehen!

, die haben selbst Apple neidisch gemacht: Umsatz 133,9 Mrd bei einem Gewinn von 99,7 Mrd. Die Jahre zuvor etwas unter 10 Mrd und schwankend.... Herstellkosten für den Umsatz in etwa 25 bis maximal 30 Mrd wenn ich die Vorjahre grob überfliege.

 

[P-F-S]

Ich glaube das wird noch dauern bis da die Preise wieder runter gehen und die Ki-Blase platzt. Aktuell werden einfach zu viele Fortschritte gemacht und die genutzte/gebrauchte Rechenleistung steigt halt auch immer mehr.

Die Modelle werden größer und brauchen ohnehin mehr Power. Anbieter für Ki-Kram kommen auch immer mehr dazu für allen möglichen Stuss und die Leute nutzen es ja auch immer mehr.

Vor 3 Jahren war man noch unter seinen einer der wenigen die Chatgpt ausprobiert. Heute nutzt es jeder, hat bei mindestens einer KI, egal ob Claude, Gemini oder Chatgpt nen Abo und viele geben auch zunehmend ihr Hirn vollständig an die Ki ab.

Grade bei letztem sehe ich wirklich ne sehr große Problematik. Wobei meine Meinung ist: Es ist nen Werkzeug für mich, das nutze ich gerne, aber nur in Bereichen wo ich mindestens nen stabiles Basiswissen hab. Ne Erweiterung meiner Kompetenz, wenn man so will.

Macht halt nur nicht jeder so. Wenn heute jemand krank ist, wird nicht nur nach den Symptomen gegoogelt, sondern es wird die KI gefragt, was mal eben das 100-Fache, wenn nicht mehr, an Rechenleistung in Anspruch nimmt. Wobei ja auch hier mittlerweile bei fast jedem mal "googeln" Gemini direkt seinen Senf mit dazu gibt und auch entsprechende Rechenleistung nutzt.

Bald haste nen Kühlschrank der per Cloud angebunden ist und dir direkt den Inhalt per Inferenz scant und per KI Modell verarbeitet und Nachschub bestellt.

Nen Ofen der per Abo angebunden ist und der per Kamera den Bräunungsgrad des Käses an deiner Lasagne prüft und nen KI Modell drüberlaufen lässt um die Temperatur anzupassen und vorm rausholen noch nen Bild für Instagram zu generieren, zu bearbeiten und nen Kurzvideo für Tiktok draus macht.

Anstatt clevere Software zu schreiben wird doch mittlerweile für jeden Kram nach und nach KI genutzt was ein vielfaches der Rechenleistung benötigt.
Hauptsache man kann dann "KI" auf die Packung schreiben.

Was ich damit sagen will:
Der Speicherbedarf wird noch mehr ansteigen. Da wird die nächsten 5 Jahre unter Garantie nichts günstiger. Es wird eher noch schlimmer.

 

[RobMitchum]

Wenn der Bedarf für Speicher massiv steigt, wird es auch neue Speicherfabriken geben. Weil die nur dann gebaut werden, wenn diese mehr als eine Blase lang Auslastung haben. Sollte "demnächst" jeder PC statt 16-64 gb wie bisher auf "nicht unter 64 gb, eher 128-192 gb" wegen lokaler KI gehen - dann werden neue Fabriken kommen und damit sinken auch die Speicherpreise. Weil wenn Micron den Kram klar unter 30 Mrd Euro mit Gewinn herstellen kann, aber aktuell > 100 Mrd erlöst - es werden sich Profiteure finden, die davon was abhaben wollen.

Ich nutze selbst "gerne" KI, meist im Büro den Claude 5.5. Warum? Erschreckend gut, was Thermodynamik angeht. Aber: Man muss konkrete Fragen stellen und dessen Antworten inhaltlich bewerten können. Weil sonst merkst du nicht, wann die KI inhaltlich (Verfahrenstechnik) falsch abgebogen ist. Eine KI ergänzt Fachwissen, aber diese ersetzt es nicht. Ein Idiot mit Ki bleibt immer noch ein Idiot. Merkst du wahrscheinlich erst später als bisher. Was die KI aber kann - mal eben schnell eine Energiebilanz und Größenabschätzung einer Verfahrens-Stufe (wie z.B. eine Absorption) zu tätigen und eine ganz grobe Massenbilanz dieser aufzustellen.

 

[xNecromindx]

Für lokales AI (in gut) ist eigentlich selbst 32GB zu wenig.
Kleine Modelle sind jetzt nicht sooo gut und der Kontext, der mit unter groß sein muss, schluckt auch viel.
Für einfache Spielereien wie Haus-Automatisierungs-Gedönse geht das. So dass man mit natürlicher Sprache Aktionen auslösen kann.
Aber für Sachen die darüber hinaus gehen, wird es halt schwierig. Auch ein Qwen:27b, was auf mancher Heim-Hardware noch geht (braucht aber eben auch schon mehr als 16GB VRAM), ist doch relativ "dumm", wenn man es mit nur wenig größeren Modellen (die dann eben nicht mehr daheim laufen) vergleicht. Es dreht sich schnell in Denkschleifen oder redet nur noch Kauderwelsch...
Ich sag mal: Grafikkarten mit 64GB wären super. Aber bis da so weit ist......

 

[P-F-S]

@xNecromindx
Was nutzt du bei dir denn alles lokal? Mal so aus Neugierde

Ich hab bisher nur ComfyUI/Invoke AI ( kleinere Modelle für Bildgenerierung ), testweise 3D-Modell-Generierung per ComfyUI ( nicht sooooo gut ), Musikgenerierung ( auch deutlich besser als erwartet ), Paperless ( das funktioniert aber eigentlich recht gut mit :8b Modell ) und Gemma4:12b in Kombi mit Qwen-TTS:0.6B als Live-Kommentator für mein Autodartsystem. Das geht bisher alles ( natürlich nicht gleichzeitig ) auf der RTX 4070 12Gb im Unraid in angenehmer Geschwindigkeit ( ohne Auslastung auf die 128Gb Systemram mit dem 5950x )

 

[xNecromindx]

Die üblichen halt, die Qwen3.8 Modelle, aber auch Gemma4. Flint benutze ich auch jetzt öfter, weil es MoE ist und trotz seiner Größe auch auf normalen GPUs schnell läuft. Viele aber auch embedding und Decision-Modelle - das läuft lokal sehr gut.

Bilder generieren oder so ein Gedönse mache ich ja gar nicht.

 

[WolfKakashi]

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Eure durch zusammenhängende Buchstaben unverständlichen Wörter erinnern mich daran dass ich mal Navidrome am NAS installieren wollte und kläglich gescheitert bin.
Da fühle ich mich echt ein bisschen dumm....

 

[tastebin]

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Gott sei Dank. Wer weiß was dein AI Necro dann noch rausgehauen hätte.

 

[P-F-S]

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Naja du hast auch glaube bisschen mehr Rechenpower als ich im Haus :-D
Glaube ich zumindest...

Wobei ich demnächst ganz gerne mal Nvidia Pair ausprobieren wollte. Immerhin hab ich ne Menge Nvidia-PC's hier im Haus.
Mein Pc: 4070 Ti Super 16Gb
Meine Frau: 3080 12Gb
Sohn: 3080 Ti 12Gb
Tochter: 2080 8Gb
Wohnzimmer: 3060 12Gb

Zumindest könnte man mehrere kleine Agents damit zusammen arbeiten lassen. Wie performant das läuft und wieviel Sinn das macht... schwierig einzuschätzen bevor man es getestet hat. Kommt dann letztlich auch vor allem darauf an, was man damit macht.

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Ach für das ein oder andere Projekt ist das schon ganz funny weil man in der Auflösung nicht so begrenzt ist wie bei Chatgpt ( der durchaus verdammt gute Bilder erstellen kann ), Gemini ( finde ich deutlich hinter Chatgpt ) und Co. Außerdem ist man da generell sehr unreguliert und kann mitunter echt einfach witzige Sachen machen, die Chatgpt und Co aus 100 Gründen nicht zulassen ( Copyright und bla bla blaaaaa ).

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Jeder hat ja seine Bereiche :-D
Und alles ist auch irgendwie "relativ"...
Und etwas auf dem NAS zu installieren und erfolgreich zum laufen zu bringen kann auch "so und so" sein :-D
Nextcloud auf Unraid -> Hatte ich in 5min am laufen ( aber unelegant )
Nextcloud auf meinem TrueNas -> 2 Tage gebraucht weil ich immer irgendwie, irgendwo ne kack Berechtigung vergessen hab xD ( ist aber nun viel sauberer gelöst als aufm Unraid... )

 

[xNecromindx]

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Hm... Verbesserungsvorschlag ist angenommen

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Ne... ich Server werkelt "nur" eine RX9060XT mit 16GB. Das war es.
Schnell geht anders. Gut, die CPU bringt schon was. Aber für AI eher nicht.
Deswegen lasse ich auch nur Datenschutz getriebenes auf eigener Hardware laufen. Oder sowas wie der Spaß-Bot in der Shoutbox. Das kommt mit "etwas langsamer" gut klar.
Aber beispielsweise mein Mailserver-Projekt, da arbeiten Deepseek V4.1-flash, glm-5.3, glm-53-flash und kimi-k3 sowie kimi-k3.1 dran. Alles Cloud-Modelle. Bis man dieses Niveau an Rechenleistung daheim realisieren kann... hm... das dauert sicher noch ein Jahrzehnt.
So manche Kleinigkeiten erledigt dann noch qwen3.8 auf der eigenen Hardware. Aber da merkt man dann schon, wie lahm die im Vergleich ist

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

AI Agenten
Also mittlerweile habe ich z.B. ein OpenSSH auf meiner Windows Maschine eingerichtet. Das nutzen die Bots gerade fürs Code building und debugging.
Aber ich nutze es mittlerweile auch als Problemlöse: Hey, auf meiner Kiste ist das und das an Problem. Sieh dir das mal an, berichte mir und schlage mit Lösungen vor... 4 Minuten später ist mein Problem weg.
So wie am Wochende, wo "wir" ein Tool brauchten, um einen Crash der entwickelten Software genauer zu analysieren. "Ja, musst du dieses und jenes Tool installieren..." ... Ja toll, wo bekomm ich das jetzt her!? ... "Ähm, sag mal: Kannst du das nicht eben installieren und einrichten?" -> "Klar, soll ich?" -> "jau, hau rein!" ... "Moment....... fertig!"

By the way: Geht sogar auf Android mit dem Developer Debuggung per WLAN.
Als ich meine Navi hab cracken lassen, brauchten die Bots ne Testplattform. Also hab ich gesagt: Nehmt mein Handy. Verbunden, App installiert und dann haben die Remote die App benutzt. Echt "spooky" Die haben dann lustig drauf los navigiert. Und ich saß davor und hab zugeguckt

Ja, es birgt Gefahren. Im Zweifel können sich da Bots in die Irre führen lassen oder schlicht Blödsinn machen und wer weiß was auf dem System einrichten. Stand jetzt allerdings, benehmen die sich sehr überlegt und bevor sie loslegen, sichern sie erst einmal immer alles in der Form, dass sie es rückabwickeln können. Eine Art der sorgfalt, da stimmt mir sicher jeder zu, man selber so nicht immer an den Tag legt...

 

[P-F-S]

Oh krass, dachte da läuft ne Ecke mehr Hardware bei dir.

Aber ist das nicht sauteuer? Also so viele Agenten und die ganzen Tokens... klar "je nach Nutzung". Aber da kommt doch auch einiges, und vor allem teils nicht ganz was durchschaubares zusammen oder?

Und wie nutzt du die aktuell, beziehungsweise worüber "gezielt"? Über Openclaw?

 

[xNecromindx]

Hermes.
Und ja, klar... das kostet mit unter was. Deswegen nutze ich vorrangig günstige offene Modelle. OpenAI oder Anthropic nutze ich halt eher gar nicht.
An Token-Börsen wie OpenRouter z.B. kann man Überkapazitäten zu gewissen Zeiten schon recht günstig einkaufen. Teils sogar auch mal kostenlos.
Man lässt die Bots einfach den Harness etwas anpassen, dass er sich solche Infos zieht

 

[RobMitchum]

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Daher wären 64-128 gb mit Speicher gut, auf den auch eine Graka ausreichend schnell zugreifen kann. Weil was ich bei meinen ersten Gehversuchen gelernt habe - viel Speicher ist wichtiger als GPU Speed.

Ich werd mich am WE nochmal mit dem UDMA Konzept beschäftigen. Wenn nich diese Speicherblase wäre, würde meine AM4 Plattform übern Winter in den Ruhestand geschickt. Müsste ich heute konzeptionell nen neues NAS aufsetzen, dann wärs sicher was mit viel Speicher und einer Laptop CPU samt leidlich potenter NPU in dieser. Warum? Weil laptops heute bereits Speicher zwischen dem VPU/Videoteil (iGPU) und der CPU sharen.

Was das Thema "wir hacken was auf Android" angeht - siehe den Amazon-TV Stick in werbefrei als Beispiel:

 

[P-F-S]

Ah OK Hermes soll glaube auch bisschen besser wohl auf Coding ausgerichtet sein (von dem was ich so überfligen hab).

Ich hab gestern mal angefangen OpenClaw bei mir auf Proxmox innerhalb von nem Lxc zu hauen...
ChatgptGo verknüpft mit Codex auf Chatgpt 6.0 Luna Basis.

Dann mal testweise NvPair mit meinem Unraid und meinem Haupt-PC mit Ollama Instanz.
Zumindest die Verbindung von NvPair lief gut, kommen heute dann noch die anderen PC's mit rein.
Dann den ganzen Schinken für OpenClaw nutzbar machen (verbunden ist's generell schon) und mal schauen wo die Reise hingeht.

Der Tipp mit OpenRouter und dem Teils kostenlosen und/oder günstigem Kontingent ist gut. Werd ich heute auch direkt mal einrichten.

Bin gespannt was dann alles so kommt.
Muss meinen Chef mal dazu überreden und It-Lern nen Claude- Code Abo zu gönnen xD
Für die Arbeit brauche ich es nicht... Aber OpenClaw würde sich freuen haha

Wichtig ist mir nur, dass die Aufgaben die ich dem Ding gebe vernünftig gemacht werden. Die "Zeit" spielt weniger ne Rolle (solange es erträglich ist)

Ja was den Speicher angeht... Brauchste halt entweder nen Mac mit entsprechendem Speicher oder eben nem AMD System mit Unifid Memory... Aber preislich "schwierig".

Gibt da auch Systeme mit 190gb RAM... Also ca 160 dann für die iGPU nutzbar. Da kann man schon was geiles mit machen..Schnell ist was anderes. Aber große Modelle passen halt rein.

 

[Simmison]

So lange nicht mehr hier gewesen.
Bin noch keine KI und wurde auch nicht von ner russischen Drohne erwischt