xNecromindx
Namhafter Pirat
- Registriert
- 6 Mai 2021
- Beiträge
- 3.071
- Erhaltene Likes
- 7.720
Heute heißt es eben nicht mehr: Schatz, würdes du für 1 Mio mit dem Typen schlafen? Nö... heute heißt es: Gehst für 2 128GB Kits mit dem in die Kiste? 
-
Neu auf Boerse: Suche mit Live-Treffern und Filtern, Cover in den Top Downloads. Mehr lesen
Was beim Ausfall passiert ist und was wir daraus gelernt haben, lest ihr in unserer Stellungnahme zum Ausfall.
Ihr könnt das Forum jetzt auch direkt mit einer Spende unterstützen und helft uns so, Boerse werbefrei zu halten: Jetzt spenden. Mehr dazu im Thema Spende für eine werbefreie Community.
Technik - Ecke zum Plaudern
- Ersteller xNecromindx
- Erstellt am
P-F-S
Das bersonifiziere Pöse
- Registriert
- 26 Juni 2021
- Beiträge
- 845
- Erhaltene Likes
- 1.530
Also ne 5080 muss schon bei rumspringen xD
Dafür darf der Typ aber auch gerne hässlich sein :-D
Für ne 5090 darf er gerne auch Sachen mit ihr machen, die ich nicht mit ihr mache hahahahahaha xD
Dafür darf der Typ aber auch gerne hässlich sein :-D
Für ne 5090 darf er gerne auch Sachen mit ihr machen, die ich nicht mit ihr mache hahahahahaha xD
Kommentieren
RobMitchum
Namhafter Pirat
- Registriert
- 3 September 2021
- Beiträge
- 2.773
- Erhaltene Likes
- 3.379
Selbst die 7600XT (16 gb) ist fast so viel, wie ich vor fast zwei Jahren für meine 9070 bezahlt habe.
Bei lokaler KI - schwanke noch zwischen "dann eben lokal am PC", wobei der nicht mehr als 32 gb RAM und eben die 16 gb der 9070 hat. Die mit deren 16 gb möglichen Modelle sehen für mich "ausreichend" aus. Vorteil: Kostet "nichts" außer Strom und der 5800X reicht eigentlich noch aus.
Sollte das lokal bocken, dann wäre der nächste ganz sicher mit ordentlich speicher. Obs dann eine UDMA Architektur wird (habs noch nicht 100% technisch verstanden, was AMD dort versucht zu ändern) - ich kann mich dann überraschen lassen. Irgendwann müssen die Speicherpreise wieder normal werden.
Bei lokaler KI - schwanke noch zwischen "dann eben lokal am PC", wobei der nicht mehr als 32 gb RAM und eben die 16 gb der 9070 hat. Die mit deren 16 gb möglichen Modelle sehen für mich "ausreichend" aus. Vorteil: Kostet "nichts" außer Strom und der 5800X reicht eigentlich noch aus.
Sollte das lokal bocken, dann wäre der nächste ganz sicher mit ordentlich speicher. Obs dann eine UDMA Architektur wird (habs noch nicht 100% technisch verstanden, was AMD dort versucht zu ändern) - ich kann mich dann überraschen lassen. Irgendwann müssen die Speicherpreise wieder normal werden.
Bitte,
Anmelden
oder
Registrieren
um die Links zu sehen!
, die haben selbst Apple neidisch gemacht: Umsatz 133,9 Mrd bei einem Gewinn von 99,7 Mrd. Die Jahre zuvor etwas unter 10 Mrd und schwankend.... Herstellkosten für den Umsatz in etwa 25 bis maximal 30 Mrd wenn ich die Vorjahre grob überfliege.
Kommentieren
P-F-S
Das bersonifiziere Pöse
- Registriert
- 26 Juni 2021
- Beiträge
- 845
- Erhaltene Likes
- 1.530
Ich glaube das wird noch dauern bis da die Preise wieder runter gehen und die Ki-Blase platzt. Aktuell werden einfach zu viele Fortschritte gemacht und die genutzte/gebrauchte Rechenleistung steigt halt auch immer mehr.
Die Modelle werden größer und brauchen ohnehin mehr Power. Anbieter für Ki-Kram kommen auch immer mehr dazu für allen möglichen Stuss und die Leute nutzen es ja auch immer mehr.
Vor 3 Jahren war man noch unter seinen einer der wenigen die Chatgpt ausprobiert. Heute nutzt es jeder, hat bei mindestens einer KI, egal ob Claude, Gemini oder Chatgpt nen Abo und viele geben auch zunehmend ihr Hirn vollständig an die Ki ab.
Grade bei letztem sehe ich wirklich ne sehr große Problematik. Wobei meine Meinung ist: Es ist nen Werkzeug für mich, das nutze ich gerne, aber nur in Bereichen wo ich mindestens nen stabiles Basiswissen hab. Ne Erweiterung meiner Kompetenz, wenn man so will.
Macht halt nur nicht jeder so. Wenn heute jemand krank ist, wird nicht nur nach den Symptomen gegoogelt, sondern es wird die KI gefragt, was mal eben das 100-Fache, wenn nicht mehr, an Rechenleistung in Anspruch nimmt. Wobei ja auch hier mittlerweile bei fast jedem mal "googeln" Gemini direkt seinen Senf mit dazu gibt und auch entsprechende Rechenleistung nutzt.
Bald haste nen Kühlschrank der per Cloud angebunden ist und dir direkt den Inhalt per Inferenz scant und per KI Modell verarbeitet und Nachschub bestellt.
Nen Ofen der per Abo angebunden ist und der per Kamera den Bräunungsgrad des Käses an deiner Lasagne prüft und nen KI Modell drüberlaufen lässt um die Temperatur anzupassen und vorm rausholen noch nen Bild für Instagram zu generieren, zu bearbeiten und nen Kurzvideo für Tiktok draus macht.
Anstatt clevere Software zu schreiben wird doch mittlerweile für jeden Kram nach und nach KI genutzt was ein vielfaches der Rechenleistung benötigt.
Hauptsache man kann dann "KI" auf die Packung schreiben.
Was ich damit sagen will:
Der Speicherbedarf wird noch mehr ansteigen. Da wird die nächsten 5 Jahre unter Garantie nichts günstiger. Es wird eher noch schlimmer.
Die Modelle werden größer und brauchen ohnehin mehr Power. Anbieter für Ki-Kram kommen auch immer mehr dazu für allen möglichen Stuss und die Leute nutzen es ja auch immer mehr.
Vor 3 Jahren war man noch unter seinen einer der wenigen die Chatgpt ausprobiert. Heute nutzt es jeder, hat bei mindestens einer KI, egal ob Claude, Gemini oder Chatgpt nen Abo und viele geben auch zunehmend ihr Hirn vollständig an die Ki ab.
Grade bei letztem sehe ich wirklich ne sehr große Problematik. Wobei meine Meinung ist: Es ist nen Werkzeug für mich, das nutze ich gerne, aber nur in Bereichen wo ich mindestens nen stabiles Basiswissen hab. Ne Erweiterung meiner Kompetenz, wenn man so will.
Macht halt nur nicht jeder so. Wenn heute jemand krank ist, wird nicht nur nach den Symptomen gegoogelt, sondern es wird die KI gefragt, was mal eben das 100-Fache, wenn nicht mehr, an Rechenleistung in Anspruch nimmt. Wobei ja auch hier mittlerweile bei fast jedem mal "googeln" Gemini direkt seinen Senf mit dazu gibt und auch entsprechende Rechenleistung nutzt.
Bald haste nen Kühlschrank der per Cloud angebunden ist und dir direkt den Inhalt per Inferenz scant und per KI Modell verarbeitet und Nachschub bestellt.
Nen Ofen der per Abo angebunden ist und der per Kamera den Bräunungsgrad des Käses an deiner Lasagne prüft und nen KI Modell drüberlaufen lässt um die Temperatur anzupassen und vorm rausholen noch nen Bild für Instagram zu generieren, zu bearbeiten und nen Kurzvideo für Tiktok draus macht.
Anstatt clevere Software zu schreiben wird doch mittlerweile für jeden Kram nach und nach KI genutzt was ein vielfaches der Rechenleistung benötigt.
Hauptsache man kann dann "KI" auf die Packung schreiben.
Was ich damit sagen will:
Der Speicherbedarf wird noch mehr ansteigen. Da wird die nächsten 5 Jahre unter Garantie nichts günstiger. Es wird eher noch schlimmer.
Kommentieren
RobMitchum
Namhafter Pirat
- Registriert
- 3 September 2021
- Beiträge
- 2.773
- Erhaltene Likes
- 3.379
Wenn der Bedarf für Speicher massiv steigt, wird es auch neue Speicherfabriken geben. Weil die nur dann gebaut werden, wenn diese mehr als eine Blase lang Auslastung haben. Sollte "demnächst" jeder PC statt 16-64 gb wie bisher auf "nicht unter 64 gb, eher 128-192 gb" wegen lokaler KI gehen - dann werden neue Fabriken kommen und damit sinken auch die Speicherpreise. Weil wenn Micron den Kram klar unter 30 Mrd Euro mit Gewinn herstellen kann, aber aktuell > 100 Mrd erlöst - es werden sich Profiteure finden, die davon was abhaben wollen.
Ich nutze selbst "gerne" KI, meist im Büro den Claude 5.5. Warum? Erschreckend gut, was Thermodynamik angeht. Aber: Man muss konkrete Fragen stellen und dessen Antworten inhaltlich bewerten können. Weil sonst merkst du nicht, wann die KI inhaltlich (Verfahrenstechnik) falsch abgebogen ist. Eine KI ergänzt Fachwissen, aber diese ersetzt es nicht. Ein Idiot mit Ki bleibt immer noch ein Idiot. Merkst du wahrscheinlich erst später als bisher. Was die KI aber kann - mal eben schnell eine Energiebilanz und Größenabschätzung einer Verfahrens-Stufe (wie z.B. eine Absorption) zu tätigen und eine ganz grobe Massenbilanz dieser aufzustellen.
Ich nutze selbst "gerne" KI, meist im Büro den Claude 5.5. Warum? Erschreckend gut, was Thermodynamik angeht. Aber: Man muss konkrete Fragen stellen und dessen Antworten inhaltlich bewerten können. Weil sonst merkst du nicht, wann die KI inhaltlich (Verfahrenstechnik) falsch abgebogen ist. Eine KI ergänzt Fachwissen, aber diese ersetzt es nicht. Ein Idiot mit Ki bleibt immer noch ein Idiot. Merkst du wahrscheinlich erst später als bisher. Was die KI aber kann - mal eben schnell eine Energiebilanz und Größenabschätzung einer Verfahrens-Stufe (wie z.B. eine Absorption) zu tätigen und eine ganz grobe Massenbilanz dieser aufzustellen.
Zuletzt bearbeitet:
Kommentieren
xNecromindx
Namhafter Pirat
- Registriert
- 6 Mai 2021
- Beiträge
- 3.071
- Erhaltene Likes
- 7.720
Für lokales AI (in gut) ist eigentlich selbst 32GB zu wenig.
Kleine Modelle sind jetzt nicht sooo gut und der Kontext, der mit unter groß sein muss, schluckt auch viel.
Für einfache Spielereien wie Haus-Automatisierungs-Gedönse geht das. So dass man mit natürlicher Sprache Aktionen auslösen kann.
Aber für Sachen die darüber hinaus gehen, wird es halt schwierig. Auch ein Qwen:27b, was auf mancher Heim-Hardware noch geht (braucht aber eben auch schon mehr als 16GB VRAM), ist doch relativ "dumm", wenn man es mit nur wenig größeren Modellen (die dann eben nicht mehr daheim laufen) vergleicht. Es dreht sich schnell in Denkschleifen oder redet nur noch Kauderwelsch...
Ich sag mal: Grafikkarten mit 64GB wären super. Aber bis da so weit ist......
Kleine Modelle sind jetzt nicht sooo gut und der Kontext, der mit unter groß sein muss, schluckt auch viel.
Für einfache Spielereien wie Haus-Automatisierungs-Gedönse geht das. So dass man mit natürlicher Sprache Aktionen auslösen kann.
Aber für Sachen die darüber hinaus gehen, wird es halt schwierig. Auch ein Qwen:27b, was auf mancher Heim-Hardware noch geht (braucht aber eben auch schon mehr als 16GB VRAM), ist doch relativ "dumm", wenn man es mit nur wenig größeren Modellen (die dann eben nicht mehr daheim laufen) vergleicht. Es dreht sich schnell in Denkschleifen oder redet nur noch Kauderwelsch...
Ich sag mal: Grafikkarten mit 64GB wären super. Aber bis da so weit ist......
Kommentieren
P-F-S
Das bersonifiziere Pöse
- Registriert
- 26 Juni 2021
- Beiträge
- 845
- Erhaltene Likes
- 1.530
@xNecromindx
Was nutzt du bei dir denn alles lokal? Mal so aus Neugierde
Ich hab bisher nur ComfyUI/Invoke AI ( kleinere Modelle für Bildgenerierung ), testweise 3D-Modell-Generierung per ComfyUI ( nicht sooooo gut ), Musikgenerierung ( auch deutlich besser als erwartet ), Paperless ( das funktioniert aber eigentlich recht gut mit :8b Modell ) und Gemma4:12b in Kombi mit Qwen-TTS:0.6B als Live-Kommentator für mein Autodartsystem. Das geht bisher alles ( natürlich nicht gleichzeitig ) auf der RTX 4070 12Gb im Unraid in angenehmer Geschwindigkeit ( ohne Auslastung auf die 128Gb Systemram mit dem 5950x )
Was nutzt du bei dir denn alles lokal? Mal so aus Neugierde
Ich hab bisher nur ComfyUI/Invoke AI ( kleinere Modelle für Bildgenerierung ), testweise 3D-Modell-Generierung per ComfyUI ( nicht sooooo gut ), Musikgenerierung ( auch deutlich besser als erwartet ), Paperless ( das funktioniert aber eigentlich recht gut mit :8b Modell ) und Gemma4:12b in Kombi mit Qwen-TTS:0.6B als Live-Kommentator für mein Autodartsystem. Das geht bisher alles ( natürlich nicht gleichzeitig ) auf der RTX 4070 12Gb im Unraid in angenehmer Geschwindigkeit ( ohne Auslastung auf die 128Gb Systemram mit dem 5950x )
Kommentieren
xNecromindx
Namhafter Pirat
- Registriert
- 6 Mai 2021
- Beiträge
- 3.071
- Erhaltene Likes
- 7.720
Die üblichen halt, die Qwen3.8 Modelle, aber auch Gemma4. Flint benutze ich auch jetzt öfter, weil es MoE ist und trotz seiner Größe auch auf normalen GPUs schnell läuft. Viele aber auch embedding und Decision-Modelle - das läuft lokal sehr gut.
Bilder generieren oder so ein Gedönse mache ich ja gar nicht.
Bilder generieren oder so ein Gedönse mache ich ja gar nicht.
Kommentieren
WolfKakashi
Namhafter Pirat
- Registriert
- 29 April 2022
- Beiträge
- 471
- Erhaltene Likes
- 820
Eure durch zusammenhängende Buchstaben unverständlichen Wörter erinnern mich daran dass ich mal Navidrome am NAS installieren wollte und kläglich gescheitert bin.
Da fühle ich mich echt ein bisschen dumm....
Kommentieren
P-F-S
Das bersonifiziere Pöse
- Registriert
- 26 Juni 2021
- Beiträge
- 845
- Erhaltene Likes
- 1.530
Naja du hast auch glaube bisschen mehr Rechenpower als ich im Haus :-D
Glaube ich zumindest...
Wobei ich demnächst ganz gerne mal Nvidia Pair ausprobieren wollte. Immerhin hab ich ne Menge Nvidia-PC's hier im Haus.
Mein Pc: 4070 Ti Super 16Gb
Meine Frau: 3080 12Gb
Sohn: 3080 Ti 12Gb
Tochter: 2080 8Gb
Wohnzimmer: 3060 12Gb
Zumindest könnte man mehrere kleine Agents damit zusammen arbeiten lassen. Wie performant das läuft und wieviel Sinn das macht... schwierig einzuschätzen bevor man es getestet hat. Kommt dann letztlich auch vor allem darauf an, was man damit macht.
Ach für das ein oder andere Projekt ist das schon ganz funny weil man in der Auflösung nicht so begrenzt ist wie bei Chatgpt ( der durchaus verdammt gute Bilder erstellen kann ), Gemini ( finde ich deutlich hinter Chatgpt ) und Co. Außerdem ist man da generell sehr unreguliert und kann mitunter echt einfach witzige Sachen machen, die Chatgpt und Co aus 100 Gründen nicht zulassen ( Copyright und bla bla blaaaaa ).
Jeder hat ja seine Bereiche :-D
Und alles ist auch irgendwie "relativ"...
Und etwas auf dem NAS zu installieren und erfolgreich zum laufen zu bringen kann auch "so und so" sein :-D
Nextcloud auf Unraid -> Hatte ich in 5min am laufen ( aber unelegant )
Nextcloud auf meinem TrueNas -> 2 Tage gebraucht weil ich immer irgendwie, irgendwo ne kack Berechtigung vergessen hab xD ( ist aber nun viel sauberer gelöst als aufm Unraid... )
Kommentieren