Welche GPU für KI oder AI

Moin Leute,

ich selber steige so langsam nicht mehr durch welche Grafikkarte man für KI und AI nutzen soll.
Derzeit habe ich noch eine AMD RX 590 mit 8GB. Da läuft eigentlich kaum etwas mit.
Stable Diffusion nur mit NVIDIA GPU oder auch AMD / Intel mit den passenden Diffusion.
Aber die Preise gehen ins Nirwana einer guten GPU.
Ich selber, da ich kein Gamer bin, habe an die ARC 770 16gb gedacht. Mittlerweile ist sie sehr gut und schnell, dank neueren Treiber, geworden und soll für Stable Diffusion usw. sehr gut laufen. Hier stimmt zumindest der Preis. In manchen Shop's bekommt man die 16 GB Version NEU für unter 300,- €.
Andere mit solcher Ausstattung fast das Doppelte oder über die Tausender.
Leider liest man sehr wenig über die GPU was KI/AI angeht.
Für Games wurde sie niedergemetzelt bzw. schlecht gemacht. Obwohl sie auch jetzt dafür gut sein soll. Aber für Games brauche ich sie eben nicht.
Mein Hauptmerkmal liegt beim Rendern, Encoden, colorieren mit DeOldify, Übersetzungen von Video's usw usw. über die neue GPU !
Alles soll bei mir über Windows 11 laufen. Obwohl ich schon daran gedacht Linux als 2tes Betriebssystem zu installieren.
Mehr als 300,- € wollte ich auch nicht für eine GPU ausgeben. Bin halt ein Geizknochen.
Es gibt welche aber die sind älteren Baujahres die laufen sollen. Auch kann man sich bei Kleinanzeigen umsehen aber da kann ich mir gleich eine Neue kaufen bei den überzogenen Preisen.
Welche nutzt Ihr und hat jemand eine ARC A770 am Start ?
Preise und Zuverlässigkeit sind interessant.
Welche Erfahrung habt Ihr mit Euren GPUs bei KI und AI ?

Mein System :

Ryzen 5 5600X
32 GB RAM - auf 64 GB soll noch erweitert werden
Board Asus Prime B550m-k
Festplatte 1x M.2 500 GB / 1 Steckplatz für eine zweite ist noch frei
Sapphire Nitro + RX 590 8GB
Windows 11

Ach ja noch etwas.
Der Stromverbrauch ist mir relativ egal da ich diesen selbst produziere. Daher darf die Grafikkarte auch etwas mehr verbrauchen.

Moin,

grundsätzlich kann man wohl sagen umso mehr Dampf und Speicher umso besser. Du hast mit der Aussage das eine Nvidia GPU am kompatibelsten ist ebenfalls Recht. Gerade die Optimierungen für CUDA etc. machen einen Unterschied. Ich würde von der Intel GPU die Finger lassen und lieber eine 3060 mit 12GB GPU RAM nehmen.
Da du nicht zockst spielt die Spiele Performance sowieso keine Rolle und ob du pro Bild 20 Sek brauchst oder 23 Sek macht dann auch keinen riesigen Unterschied.

Da die Frage wahrscheinlich kommen wird, ich bin mit einer alten 2080 Super unterwegs und die hat nur 8GB GPU RAM. Die liefert aber auch immer noch brauchbare Ergebnisse. Wenn du mit FLUX arbeiten willst stößt die aber schon an ihre Grenzen. Mist ich muss aufrüsten.

Die 3060 12 GB hat leider nur 192 bits wobei die Ti 8 GB über 256 bits verfügt und dementsprechend auch wieder zu teuer wird.
Das liegt die ARC A770 bei weitem drüber mit ihren 256 bits und 16 GB.

Boosttakt überzeugt ebenso bei der ARC mit 2.100 MHz (3060 mit 1.777 MHz).
Speichertakt 17,5 Gbps, RTX mit 15 Gbps.
Bandbreite 560 GB/s, RTX 360 GB/s.

Hier sehe ich den einzigen Vorteil der RTX das Cuda 8.6 die API - Unterstützung vorweist.
Aber das allein ist kein Grund die RTX zu kaufen.
Auch wird die 3060 nicht für die Zukunft sein, da die Leistungs-anforderungen höher werden und die RTX dafür nicht mehr ausreicht.

Die Treiberentwicklung bei Intel hat innerhalb kürzester Zeit einen gewaltigen Schritt gemacht. Die vorherigen Probleme mit den Treiber sind ausgemerzt und können event. nur noch besser werden.

Auch wird wohl die KI Unterstützung wohl auch noch auf die anderen GPU's Hersteller ausgeweitet und Nvidia nicht mehr der Platzhirsch sein.

Technisch gesehen mag das alles stimmen, ich habe bisher aber noch nichts darüber gelesen ob oder wie gut eine Intel GPU z.b. mit Stable Diffusion performt. Probiere es gern und aus und berichte hier darüber. Für mich wird es in Zukunft wieder eine Nvidia GPU werden weil ich mit dem PC auch zocke.

Knolan schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Das ist ja der springende Punkt. Wie läuft die Intel Arc 770 mit Stable Diffusion ?
Diese Graka wird nur bei Spielen mit anderen verglichen. Aber so gut wie keine Meldung mit KI. Das was die Hersteller selber über ihr Produkt schreiben interessiert mich recht wenig. Hochloben können sie alle aber wie sieht es tatsächlich aus. Ebenso wie manche Seiten im Netz. Wo andere GPUs gelobt werden und gleich der Link zum kaufen dabei (Affiliate Link). Wobei man dann auch schon eine Provision bekommt wenn man darüber kauft (natürlich nicht der Käufer).
Das ist aber bei allen Grafikkarten gleich. Bei KI Werbung wird meist immer gleich die neuste GPU auf dem Markt angeboten.

Das zeigt eines: Die Intel Arc sind einfach nicht im Massenmarkt angekommen - schließlich werden die ja beinahe überall ignoriert.

Fakt ist leider, das bei AI/KI an NVidia aktuell keim Weg vorbei führt.
Eine RTX3060 Founders schlechtzureden, weil "mimimi, auf den Papers performt die Intel besser" hilft hier leider nicht.
CUDA hin oder her, NVidia performt bei geringeren Specs einfach besser.
Warum?
Weil NVidia gerade das Thema AI im Focus hat. Intel hat nur einen Focus...überhaupt erstmal relevant zu werden.
Nix für ungut, aber was AI betrifft führt kein Weg an Team Green vorbei.

Gibt es eigentlich schon Grafikkarten mit npu?
Ich hatte schon Orange Pi's mit neural Processing unit und auch Sticks mit npu aber das sind ja doch nur "bastellösungen" für mein Verständnis wäre es doch super ne npu direkt an die Grafikkarte zu binden. Gibt's ja vielleicht schon, aber keine Ahnung. Deswegen frag ich

GuyFawkes667 schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Da gibt es kein "mimimi". Ich stehe immer noch vor einem Kauf einer Grafikkarte. Es sind aber halt Dinge die mich an der 3060 stören.
Es ist jetzt aber schon abzusehen das mehr getan wird das KI unter Windows genutzt werden soll. Daher die Zusammenarbeit von Intel und Microsoft. Ebenso das AMD umstellen will auf NPU.
Auch hat sich AMD im Bereich KI auch schon etwas gebessert.
NVIDIA ist einfach zu teuer und für mich daher auch uninteressant. Ebenso auch als Gebrauchte.
Bei Stable Diffusion geht nichts über den Arbeitsspeicher der GPU. Je mehr umso besser.
Auch laufen AMD und auch Intel GPUs über Stable Diffusion. Nur die Installation ist nicht so einfach wie bei NVIDIA.
Das bedeutet das es auch ohne einer GPU von dem Platzhirsch möglich und auch machbar ist.

Da bringt AMD eine GPU raus und beschneiden die wie zB. die Radeon RX 7600 XT mit 16GB. Aber hier beträgt die Schnittstelle nur 128 bits. Das ist für KI ein reiner Flaschenhals und man kann die 16GB nicht voll ausschöpfen.
Für Games mag das vielleicht funktionieren aber für KI ?

Da ist Nvidia nicht besser. Die machen das genauso und auch anders herum. Bieten Grafikkarte an mit 256 bit aber nur mit 8GB.

Ich habe mich vor einigen Wochen ebenfalls damit beschäftigt und letztlich wäre eine CUDA-fähige Karte die beste Variante. Es soll auch mit AMD klappen, ich hab dies aber mit meiner 7800XT nicht hinbekommen. Es gibt vorgefertigte KI's die man aber verwenden kann und zum Beispiel auf einem Server laufen können. Nur trainieren und teilweise Übersetzen muss man die selbst. Einige muss man auch selbst zu Ende programmieren.

Leider hat AMD die CUDA-Kompatibilität inzwischen auch ganz aufgegeben, da wird also nichts mehr kommen. Von High-End Karten haben die sich inzwischen auch verabschiedet.

Ich selbst benutze eine 7900XTX im Haupt und eine RTX A4000 im Media-PC . Meine Anime Upscales oder Regrades sind meistens mit der Nvidia, die ist an und für sich schon schnell.


Für dich könnte je nach Geldbeutel die neue ADA Generation sinnvoll sein Beispiel

Letztendlich ist es die Acer Predator BiFrost Intel® Arc A770 OC 16gb für 240,- € geworden.
Gebraucht mit Restgarantie von etwas über 2 Jahren.

Ich habe viel gelesen auch stand ich kurz vor einem Kauf der RTX 3060 aber
ich konnte mich nicht überwinden da zuzuschlagen. Diese war aus 10.2024 für 200,- €. Da war aber dann noch jemand schneller.

Für mich war klar entscheidend die 16 GB und 256 Bit Speicherinterface.
Dadurch ergibt sich eine Speicherband- breite von 560 GB/s.
Der Basistakt beträgt 2.200 MHz und der Boosttakt 2.400 MHz.

Wie schon gesagt interessiert mich die Benchmark bei Spielen überhaupt nicht, da ich am PC nicht spiele.
Im Bereich Stable Diffusion wurde seitens Intel ordentlich gearbeitet. Mit Open Vino soll die Karte einen ordentlichen Leistungsschub bekommen haben.
Nvidia und AMD kann jeder ! Aber hier muss man tief in die Tasche greifen.
Bei den meisten GPUs stört mich das Verhältnis zwischen VRAM und Speicherinterface.
Das ist bei der ARC nicht der Fall.

Eine Graka für über 600,- € kam für mich auch nicht in Frage.
Nur im Preis ist die Intel mit der Hardware sehr interessant für mich geworden.
Zudem ist sie aufgrund der Hardware auch erst einmal zukunftsfähig.

Jetzt wird wahrscheinlich von Einigen kommen das die ARC in mehreren Test sehr schlecht abgeschnitten hat. Diese Test wurden hauptsächlich bei Gaming gemacht.
Das alles ist jetzt Anfang 2023 gewesen wo der Treiber Murks war.
Intel hat hier sehr dran gearbeitet um die ARC konkurrenzfähig zu machen. Das wurde auch geschafft.

Lest mal die jetzigen Test von 2024 !

Daher habe ich mir jetzt die ARC zugelegt ! Hoffe das sie Morgen kommt damit ich sie einsetzen kann und sie unter Windows 11 oder vielleicht auch Linux für KI nutzen kann.

Wenn Leute mit Zahlen jonglieren, die sie in keinen Kontext setzen können...

• Interfacebreite bringt nur was, wenn die das mehr an Daten umgesetzt werden kann
• Interface-Latenzen reduzieren drastisch den Durchsatt
• Mehr Datendurchsatz bringt als Produkt drauraus ebenso nur etwas, wenn das umgesetzt werden kann
• Die Bandbreitenangaben sind i.d.R. keine Messwerte, sondern eine theoretische Rechnung (Bits * Takt = Durchsatz)
• GDDR Speicher ist gut darin performant sequenziell Datendurchsatz zu liefern, AI Computation verursacht aber ordentlich random access - wo die Speicherbrandbreite dramatisch abnimmt
• Werden die Berechnungen in Registern ausgeführt - die GPU braucht also ein Vielfaches an Rechengeschwindigkeit um Durchsatzprobleme im Speicher zu bekommen
• Die Treiberprobleme bei ARC betrafen Spiele. Spiele machen "komische Dinge" die auf einer jeweiligen GPU ineffizient laufen. Sowas korrigieren Treiber transparent im Hintergrund (alle machen das, auch Nvidia)
• Die Verbessungen am ARC Treiber ändern nichts an der Compute-Leistung

Eine ARC 770 16GB ist etwa 10% langsamer als eine 3060. Die 3060 Ti ist fast doppelt so schnell wie die A770 in Stable Diffusion.
Treiberoptimierungen ändern hier nichts. Hier wird Compute-Code auf der Karte ausgeführt. Wenn Optimierungen möglich sind, sind diese bei Stable Diffusion selbst zu machen.
Intel kann ja auch nicht plötzlich ein Treiberupdate für seine CPU bereitstellen und auf einmal läuft Word doppelt so schnell. Das selbe Funktionsprinzip passiert bei GPUs. Anders als bei Games kann Intel da im Treiber nicht einfach transparent Shader-Code umändern, weil es für Compute-Aufgaben damit den Code ändert und damit seine Funktion. Register-Mapping ist da mit unter ein Thema zum Beschleunigen. Aber das musste Stable Diffusion ja bereits bei der Implementierung beachten, da ARC ja explizit implementiert wurde und anders als bei Games nicht über generische Shader-Compiler passiert (deren Register-Mapping auf mancher Hardware suboptimal sein kann).

xNecromindx schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Es mag ja sein das die ARC A770 laut "Testberichten" 10 % langsamer ist als die RTX 3060 aber die ARC ist zukunftsfähiger.
Das die 3060 Ti mit nur "8GB" zukunftsfähig ist bezweifle ich ganz stark. Zudem ist sie wesentlich teurer.

Ich gehe nicht nach Test's oder Berichten wobei noch die anscheinend bessere Karte gleich noch mit Affiate-Links angeboten wird.

Für mich ist entscheidend wie die Kunden bzw. Benutzer damit zufrieden sind.
Alles andere zählt nicht für mich. Wenn jemand zu mir sagt kauf Dir die Karte XY dann kaufe ich mir diese erst einmal nicht. Erst muss ich diese vergleichen und worüber die Käufer über Nutzen / Zufriedenheit berichten. Wenn dann gesagt wird das die Karte besser läuft als die oder die dann wäre es eine Überlegung wert.
Sind die Berichte aus Anfang 2023 dann lese ich sie nicht sondern gehe nach 2024. Jetzt gibt es wesentlich bessere Treiber für die ARC und Intel arbeitet weiterhin daran (auch für Stable Diffusion).

Wenn dann noch gesagt wird das die ARC besser ist als die RTX 3060 (nicht die Ti) dann weiß ich was ich mir zulege.

Klar hätte ich mir auch eine 4060 Ti kaufen können. Aber diese schneidet in den Programmen die ich nutze wie zB. Photoshop, DaVinci Resolve, Adobe Premiere Pro schlechter ab als die ARC. Dann steht ebenso fest welche GPU es "für mich" sein soll.

Ich kann daher die GPU's nicht verallgemeinern. Ich muss sehen wie läuft diese unter den Programmen die ich nutze. Das betrifft auch Stable Diffusion wobei ich selber kein Image selber machen will.
Hier geht es nur in Verbindung mit Automatic1111 und Open Vino, Open Voices und DeOldify.

Tilly schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Wird das die selbe faktenferne Diskussion, wie ich sie 2016 hier geführt habe, als es hieß, dass die "neuen AMD Karten mit 16GB viel zukunftssicherer sind!!!1^1!" ?
Mal ne Frage in die Runde: Wer benutzt jetzt noch seine Vega oder Radeon 7 mit 16GB HBM Speicher? ... ach, keiner mehr? Ah, der Treibersupport ist eingestellt. Na, komisch....

Zukunftssicher eine Erstlingskarte von Intel zu nennen, die überhaupt nur noch im Markt ist, weil deren Nachfolge noch immer auf sich warten lässt, ist mit einer "rosaroten Brille" allein nicht mehr wirklich zu begründen.
Das Ding ist für den Anwendungsfall ein absoluter Fehlkauf! Sollte eine neue ARC Generation kommen, ist die aktuelle alsbald obsolet. Scheitert Intel mit einem brauchbaren Nachfolger (Battlemage) und der ist schon ein Jahr überfällig, ist das komplette Thema dedizierte Intel Grafik Geschichte. Im Übrigen ein zweites mal. Denn Intel hat schon einmal dedizierte Grafik versucht...

Das einzig zukunftssichere an der Karte ist: Dass deren Zukunft extrem ungewiss ist.

Also ich nutze ja ComfyUI auf meinem Unraid...
Da kann ich dir nur ne 4070 empfehlen. Ist schon ganz gut vom P/L ( meiner Meinung nach )
Grade die Ventus x2 ist bei so ner Sache ganz gut weil sie Platzsparend ist ( zumindest für meinen Fall ).

12Gb sind für die meisten Sachen ausreichend. Die AI/Ki's werden ja auch immer performanter und optimierter
da merkt man schon fast Patch für Patch nen kleinen Unterschied.

Hatte es anfangs auf ner 2060 laufen, das war "ok" aber 6Gb VRAM sind oft an die Grenzen gestoßen.
Dann hatte ich ne 2080 im Betrieb, die 2Gb mehr hat man schon bemerkt, wobei auch die an die Grenzen
kamen und die Performance war auch besser. Dann ne 3060 12Gb drin, da kam ich natürlich sehr selten mal
ins VRAM-Limit, dafür war die aber deutlich langsamer als die 2080. 3070 war schon ganz gut, aber halt wieder
mit 8Gb gerne mal im VRAM-Limit.
Jetzt mit der 4070 ist das Erlebnis schon auf nem Level wo ich sagen würde "echt brauchbar".
Empfehle dir so oder so "ComfyUI" und nicht den ganzen anderen Driss den es gibt. ComfyUI geht mit
den Ressourcen deutlich besser um.

AMD kannste dafür vergessen. Hab auch schon Leute gesehen die sich den Docker so gebastelt haben, dass es
auf Ihrer CPU läuft ( in dem Fall war es nen 3900x ) und das war grauenhaft langsam al'a "ach komm dann lieber
einfach lassen" :-D

Fazit:
Bevor du dir ne 3060 schau lieber nach ner gebrauchten 2080, die bekommst du deutlich günstiger und die ist performanter.

Achja: ne 1070 hab ich auch mal versucht.... tu es dir nicht an ;-)
Alles unter Turing ist dafür einfach nur nen graus. Und auch wenn die 1070 2Gb mehr VRAM hat und vom Chip her
fast genauso schnell ist wie ne 2060 -> Da liegen WELTEN zwischen.

Kommt aber halt auch sehr drauf an was du nutzt.
Nutzt du ComfyUI -> günstige 2080 suchen
Nutzt du nen anderen Driss -> Lieber "geduldiger" sein und günstig ne 3060 12Gb suchen
Willst du wirklich Spaß damit haben -> 4070

Wovon ich abraten würde wären die 3080/3080Ti/3090/3090Ti
Bei dem ganzen generativen Kram laufen die Teile halt echt auf Anschlag. Und mit so ner 3090 zB verbrennst du
einfach nur Strom, zumal die in der Anschaffung selbst aufm Gebrauchtmarkt unverschämt teuer sind.
Bei der 3090 Ti sind die 24Gb zwar nice, aber 450-600w.... Weis nicht xD
Dann lieber ne 4070 die nur 220w zieht und ebenso schnell ist.

Warum bist Du so negativ auf die ARC eingestellt ? Lass mich doch kaufen was ich will. Ob sie gut für mich ist oder nicht muss ich selber entscheiden. Ich habe meine Einstellung zu NVIDIA und AMD und Du Deine !
Nur eine mit 16 GB und mit hohem Speicherinterface kommt für mich in Frage. Alles andere nicht.!

Tilly schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

ist doch ok, wenn du dich für die ARC entschieden hast. hast ja auch geschrieben, was dir daran wichtig ist und das du keine games damit zocken möchtest. also alles richtig gemacht musst dich doch deshalb nicht vor den anderen rechtfertigen.

aber hab bitte immer im hinterkopf, du hast hier folgendes erfragen wollen:

Welche GPU für KI oder AI​

ist doch klar das die jungs und mädels hier sehr viel erfahrung und ahnung von der materie haben. deshalb wirst du vieles seiten mit pro und contra lesen können, genauso wie empfehlungen

Ich glaub zwar du meinst @xNecromindx , aber ich gebe ihm da schon Recht.
So gerne ich auch hätte, dass die Intel Karten Konkurrenzfähig werden würden, so sind sie es dennoch nicht.

Selbst wenn man über die anfänglichen Treiberprobleme hinwegschaut sind es noch immer keine
ausgereiften Karten.

Klar kann man "seine Einstellung" zu AMD und Nvidia haben, aber ist Intel da in irgendeiner Form besser?
Jahrelang von Gen 2 bis einschließlich Gen 7 Fortschritt verhindert nur weil sie ohnehin vor AMD mit ihren
miesen FX-CPU's lagen. 13/14Gen die so hohe Powertargets haben, dass sie sich selbst nach und nach fetzen...

Man darf nicht vergessen -> Egal ob Intel, Nvidia oder AMD:
Die wollen alle nur unsere Kohle xD
Gibt bei allen 3 zu meckern ;-)


Positiv:
AMD hat nen gutes P/L wenn man "nur" gamen will ( GPU )
AMD hat faktisch die besten Gaming-CPU's ( x3d )
Nvidia ist unerlässlich wenn es um Ki geht
Nvidia hat bei den GPU's seit Jahren die Krone ( Kepler... Maxwell, Pascal.. Turing.. usw )
Alte Intel CPU's sind selbst heute noch für viele Fälle brauchbar ( Liebe geht raus an Sandy-Bridge 2500k/2600k )

Und negativ:
AMD will deine Kohle und versucht sich oft an Sachen die nicht ausgereift sind ( HBM ist nen Paradebeispiel )
Nvidia will deine Kohle und haut bei fast jeder Gen unterschiedliche Versionen einer Karte raus die irreführend sind und sich massiv in der Leistung unterscheiden
Intel will deine Kohle und reizt seine CPU-Architekturen so weit aus bis sie sich selber zerfetzen xD