Stable Diffusion - Unraid

Jooo Leute ^^

ich hab vor auf meinem Unraid Server nen Docker für Stable Diffusion laufen zu lassen.
Why?
... Hmmm Spaß an der Freude würde ich sagen :-D

Zumal ich gestern ne RTX 2080 ( Evga ftx3 ) bekommen hab die jetzt im Rechner meines Sohnes Werkelt und seine 3070 in den Unraid-Server stecken will ( die 2080 reicht ihm dicke für FHD 60 FPS und Emulation... außerdem fand er sie geil wegen dem RGB an der EVGA Karte... also ein Gewinn für alle haha )

ALSO: Hab ich jetzt ne 3070 übrig auf die ich per Kraken G12 ne 240er AiO gebastelt hab.
UND: Ich hab noch ne 3060 12Gb und ne 2060 6Gb "übrig"

Die 2060 ( Ghetto mod mit Arctic F12ern ) oder 3060 12Gb kommt in den Rechner im Wohnzimmer. Tendiere eigentlich dazu die 2060 reinzubauen weil die dank Ghetto-Mod leiser ist und nicht viel schwächer als die 3060. Bisschen Crash Bandicoot und so paar Multiplayer Games und Emulation reicht die 2060 dicke.

Weil in dem ServerCase genug Platz ist ( Fractal Meshify 2 ) würde ich da also die 3070 mit der AiO bauen und auch gerne die 3060 12Gb ( auf die ich dann nen Morpheus baue den ich hier noch liegen hab, sollte auf den ersten Blick passen ).

Die Frage ist:
Macht das bei dem Aorus b450 elite Board welches im Server rumwerkelt Sinn?
Netzteil ist aktuell nen 400w ( glaub Purepower ) von beQuiet drin, kann aber durch nen 750w ( glaub auch Purepower... das 11er ) von BeQuiet ersetzt werden was ich hier noch liegen hab.

Das 750w hätte auf jeden Fall genug Anschlüsse für beide Grafikkarten ( die 3070 hat 2x8Pin, die 3060 1x8Pin )

750w müssten eigentlich reichen oder?
CPU ist in dem Server nen Ryzen 7 5700G drin.

Aktuell werkelt da ne GTX 960 4Gb rum... einfach weil ich die noch hatte und Plex-Coding über die laufen lassen wollte, was ich bisher noch nichtmal getestet hab xD
Nvidia Treiber sind aber schon auf Unraid.

Was haltet ihr davon?
Hat da schon jemand Erfahrung?
Macht das von der Performance viel aus wenn ich die 3070 und 3060 zusammenstecke?
Hab zumindest gelesen, dass das gehen soll. also generell, dass man unterschiedliche Nvidia GPU's dafür zusammenstecken kann.

Die Frage ist halt ob das auf dem Board Sinn macht wegen den Lanes und ob der 5700G überhaupt bei Stable Diffusion flott genug ist um beide GPU's damit Ansatzweise zu füttern.

Puhhhh das war viel xD
Bin gespannt ob auf eure Antworten

EDIT: Aktiviere @Finus04 und @RobMitchum muhahaha

Sooooo liebe Leute,

leider kam von euch nichts (heul), aber wie immer brumm ich euch meine Ergebnisse aufs Auge
Zu eurem Leid allerdings mit der ganzen Geschichte xD

Aaaaalso:

die 3070 in das Meshify 2 ( meinen Server ) samt AiO eingebaut = Pumpe pumpt nicht, weil Lüfter "nur" um Push und der Radiator dann minimal wohl zu hoch für die alte Pumpe des Liquid Freezers ( 1 ). An Pull hatte ich in dem Moment nicht gedacht weil.... ich manchmal auch doof bin ( denn dann hätte es klappen müssen, hatte die 3070 ja damals in dem Case als es noch mein "Hauptrechner" war im Push/Pull ). Also normalen Kühler wieder drauf, weil Morpheus nicht auf die 3070 passt weil Zotac so gerne eigene PCB's macht. Da dann 2x P12er drauf weil ich die original-Lüfter nicht mehr hatte.

DANN: 3070 ca 3,5 Slots fett.... zu dick um darunter in den PCIE-Slot die 3060 zu knallen... fuck
Achja und generell hätte ich auf meine 10Gbit Karte mit 2 Slots verzichten müssen wenn ich ne zweite GPU reinbauen will. Also... fuck xD

3060 rödelt jetzt also doch im Wohnzimmer PC wo ich den Morpheus nicht draufklatschen kann obwohl es vom PCB passen würde, aber dann wäre die 3060 zu fett für das Lian Li DAN 4...
Ok die ist sowieso "ok" von der Kühlung, hätte ich aber dennoch geil gefunden umzubauen.

Weil 3070 ja zu fett und PCIE-Slot verdeckend, die wieder bei meinem Sohn rein und die 2080 Evga ftw3 in den Server weil die "nur" 3 Slots fett ist...
Dann passte auch wieder die 10Gbit-Karte.
Könnte zwar die 3060 unter die 2080 setzen, aber das würde die Lüfter der 2080 verdecken die dann wahrscheinlich an Hitze sterben würde weil max 2mm dazwischen sind.

Performance von StableDiffusion per Docker?
Für 512x512 top... Bild dauert nur wenige Sekunden. Meisterwerke wie bei Dall-E darf man nicht erwarten. Spaß machts dennoch. Für Bilder in Full HD muss man mehrere Minuten warten.

Mein Fazit:
Stable braucht viel VRAM. VRAM geht vor Chipspeed ( meiner Meinung nach ) also @RobMitchum du wirst dich über folgenden Satz freuen wie Sau:
Ich würde ne 3060 12gb unter umständen einer 3070 8gb und auch der 2080 vorziehen.

Wieso? Weil man dann in den Bildgrößen Flexibler ist. Chipspeed machts schneller, VRAM ist hier aber halt nen begrenzender Faktor. Chipspeed gibt nur die Dauer vor.

Warum bei mir trotzdem die 2080 drin ist? Weil ich die nicht mit der 3060 im Wohnzimmer Rechner tauschen kann wo nur nen kleines SLX Netztweil von BeQuiet mit 300w drin ist und die nur 1x8Pin PCIE hat, da geht die 2080 nicht.

Meine Empfehlung:
Wer an ne 3090 gut rankommt -> Go 4 it
Ansonsten: 2x ne 3060 12Gb mit Dualslot. Dann hat man auch 24Gb VRAM, das reicht dicke, mit Dualslot wird man kaum Probleme mit der Kühlung bekommen wenn zwei Karten drin stecken und zwei 3060er müssten von der Performance definitiv ne geile Sache sein da Stable auch von den Tensor Kernen usw profitiert. So ist ne 2060 schneller als ne 1080, obwohl die 1080 den "schnelleren" Chip hat.

Irgendwie hab ich bei deinen Ausführungen langsam die Übersicht verloren, was du wo mit wem gegen was tauschst und warum das nicht passt. Erinnert an GZSZ. Ansatzweise. Oder betreibst du heimlich einen Grafikkarten-Swingerclub?

Edit: Spass bei Seite, gutes VRAM gabs bei AMD ab der 6700XT mit 12 gb und drüber (RX6800) haben die typisch 16 gb. Und nach kann man mit einem kleinen "Konverter" namens OLIVE das Zeugs nochmal massiv beschleunigen.

Wer gerade eine günstige und nicht lahme Graka sucht: Die RX6800 bzw. die Reste dieser Serie sind für gerade mal bei Mindfactory zu haben.

Hahahaha der Einstieg war gut xD
Ja ich schreib immer bisschen viel ^^ tut mir leid xD

Was hast Du denn für eine Software benutzt? Ich habe auch eine 2080 und bei mir dauert ein FullHD Bild maximal eine Minute wenn überhaupt. Vielleicht noch als Ergänzung 32GB RAM sind verbaut.
Tip von mir, lieber ForgeUI oder ComfyUI benutzen. Die fressen nicht so viele Resourcen.

Ich hab mich da rausgehalten. Was soll ich über Hardware fachsimpeln die ich nur theoretisch kenne. Aber das es so lange dauert... wir hatten da doch mal nen fix den ich @tanljeft ans Herz gelegt habe. Ich glaube da fehlt nur ne Kleinigkeit. Ich such mal ob ich es finde.

Edit: hier wars.

Schon was in der Art versucht?

tastebin schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Bin mir nicht sicher, ob du mich angesprochen hast, konnte und kann mich nicht damit auseinandersetzen.
Nochmals, Danke für die Tipps.

Cool, kam ja doch ein bisschen was

Danke natürlich erstmal

RobMitchum schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Das ist natürlich cool. Die Frage ist aber wie die von der Performance gegen Team Green abschneidet. Zumindest bei so Tools wie "Topaz Video AI" usw ists auch so, dass ne Mittelklasse-Nvidia gegen ne High-AMD locker ankommt.

RobMitchum schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Für den Preis schon ne feine Sache. Wobei ich aktuell echt auf Nvidia eingeschossen bin. Hab im Haus ne 1070, 2060, 2080, 3060, 3070, 3070 Ti, 4070 TiS und alle laufen ausnahmslos problemlos. Mein Bester Kumpel bekommt derzeit absolute Depressionen mit seiner RX 6600xt ( Asus Dual ) die trotz gutem Airflow im Case bei Ark: SE so heiß wird, dass sie drosselt wie Sau und der Rechner dann einfach mal freezt und neustartet. Ok.. Asus halt... würd ich ohnehin nie und nimmer kaufen, weil ich bisher mit jedem Asus Ding unglücklich war. R9 290 die nur gedrosselt hat weil -> to hot. R9 390 die im Idle schon 70° hatte und unter Last zu ner Boing 747 wurde. Mainboard was Festplatten zerschießt, anderes Mainboard was ständig den BeQuiet CPU-Lüfter beim start nicht erkennt, generell meiner Meinung nach miese Lüftersteuerung... Support will ich gar nicht erst anfangen, da gibts ja aktuell genug zum nachlesen xD

Knolan schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

-> Docker "Stable Diffusion" von SuperBoki

Comfy hat ich grade mal gezogen, teste ich nachher mal

tastebin schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Müsste ich nachher mal schauen. Als Docker hab ich das noch nicht gefunden, würde ich wenn dann mal über ne VM laufen lassen
Muss ich nur noch die GPU mal zur VM durchschleifen lassen.

Edit:
Holy fucking shit! Hab grade Comfy ausprobiert und das sind ja Welten unterschied zu dem Docker von SuperBoki! FHD-Pic einfach mal in 20 Sekunden!? 100 mal geiler von der Bedienung!
Vielen Dank @Knolan @RobMitchum @tastebin

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Kann ich absolut nicht bestätigen, die Karte geht beim Gaming kaum über 70 Grad bei mir und ich hab deutlich OC (etwa 10%) drin. Simple Powercolor, nicht Asus, immer Sync auf 60-70 Hz. Damals das einzige, was ich nahe UVP bekommen konnte. Sonst wärs auch nicht meine erste Wahl gewesen, aber 800-1000€ für ne 3070/Ti - ich war nicht so verzweifelt.

Edit: Mein aktuell anspruchsvollstes Spiel mit etwa 98% GPU Auslastung kommt irgendwo um 85 Grad aus, nix Absturz oder sowas.

RobMitchum schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Ja ne 3070(ti) zu der Zeit hätte ich auch nicht gekauft. Generell ist die 6600xt ja auch keine schlechte Karte von Preis/Leistung. Denke mal, dass die Kühlung der Asus einfach zum kotzen ist. Sieht schick aus, aber ist einfach nur mies.

Vermute eher, dass entweder die Wärmeleitpaste "hin" ist oder beim Thema Kontaktfläche-Kühler gepfuscht wurde bzw. zu große mechanische Differenzen auftreten und somit lokale Hotspots entstehen. Für 1080P ist die 6600XT nach wie vor eine tolle Karte, für meine 1440P/60 leider zunehmend "grenzwertig". Aber alles außer eine Enttäuschung.

Freut mich das Comfy für dich genauso gut funktioniert wie für mich.
Darüber hinaus gibt es für Comfy die neuesten Updates auch in der Regel zuerst. SD3 gibt es für Comfy auch schon.

Ja Comfy ist schon echt geil. Hab mir jetzt über Kleinanzeigen ne 3070 besorgt. Die wird dann noch bisschen besser laufen als die 2080.
Jetzt bin ich grade mit zwei auf Kleinanzeigen am verhandeln und tausche evtl was. Entweder bekomm ich ne 4070, ne 380 Ti oder vielleicht sogar beides wenn ich Glück hab. schade, dass ich nicht mehrere reinpacken kann weil es nicht passen würde...

Mal was anderes:
Hat jemand geschafft Stable VIDEO Diffusion über Comfy zum laufen zu bekommen? Bei mir haut der immer ne Fehlermeldung raus. Das Modell hab ich aber geladen

@P-F-S
Darfst auch gerne mal ein paar Outputs showcasen.

Mich interessiert primär die config zu den Werken. Ich bin mit Fedora auf PS4 jetzt soweit das zu installieren. Wie man den Kram benutzt weiss ich aber nur stichwortartig.

Wie sieht es da dann eigentlich mit "Ethik"-Filtern aus? Alles frei? Oder sind die auch den selbst zu installierenden Varianten mitgegeben worden?
Ich frage für einen Freund

@level9 hatten wir vor kurzem, weil ich unbedingt den Wendler als Burgerbrater in ner schmierigen Imbissbude wollte. Da kam schon was dazu. Ich such mal eben..

Beschäftige dich mal mit Roop. Einfach bei YT nach Roop und Stable Diffusion suchen. Da gibt es etliche Videos dazu. Ob das gut funktioniert kann ich nicht beantworten, habe es noch nicht selbst getestet.

Knolan schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Allerdings ist mit aufgefallen, dass "ComfyUI-Magic", also der Docker im "Appstore" von Unraid ( ist glaub von FUTR-Labs ) auch einige Fehler hat. Zumindest ist das echt so ne Sache mit den Workflows... Hab zwar schon echt tolle Ergebnisse erzielt und mit einigen Modellen rumgespielt, aber Text-to-Vid und ähnliches hab ich bisher noch nicht geschafft.

Auch ist es bei dem Docker ziemlich blöd, dass man irgendwie nichts updaten kann. Bin da auch mit Google und Chatgpt nicht viel weiter gekommen.

Text-to-Image klappt wie gesagt wunderbar und ist auf der 4070 echt gut.
Klar... wenn ich Bilder in 7680x1440 kreieren will ( als Desktophintergrund für meine 3 2560x1440 Monitore ) dauerts ein bisschen xD
Aber das sind halt auch mal eben 11Mio Pixel. Logisch, dass das Länger dauert als so nen Standard 512x512 Bild mit grade mal 262Tsd Pixeln xD

level9 schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Auf jeden Fall
Wo war nochmal der Thread wo alle hier ihre Kreationen reinposten? ^^
Ich hab grade gesucht aber finde den ums Verrecken nicht xD

tastebin schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Bisher nutze ich immer die Standard-Config vom ComfyUi-Magic Docker. Bleib meist bei 25 Samples, außer ein Bild gefällt mir Extrem, dann geh auch auch mal auf 100 um nochmal bisschen mehr Schärfe zu bekommen. Modelle nutze ich je nach Bild halt unterschiedlich, manchmal lass ich auch nen Bild in mehreren Modellen erstellen und Pic mir dann das beste raus.

Ansonsten arbeitet das bei mir bisher mit einem Prompt und einem Negativ-Prompt. Meistens versuche ich Chatgpt zu erklären was ich haben will und er haut mir entsprechend nen Prompt raus den ich Copy-paste.

Geht natürlich auch viel viel krasser. Hab mal bisschen geyoutubed usw... Comfy-Ui ist schon ne Wissenschaft für sich und manche drehen richtig durch xD

level9 schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Also bei dem ComfyUi-Magic Docker konnte ich bisher keinen Filter feststellen. Hab da schon einiges getestet. Meckern tut das Ding nie. Natürlich kann man dann solche Prompts nicht mit Chatgpt erstellen weil der gute Chatgpt dann halt meckert xD
Hatte so dumm es klingt schon überlegt ob ich ne freizügige Dame für OnlyFriends erstelle xD Ich bin mir allerdings sicher, dass ich da nicht der Erste bin der schon auf die Idee gekommen ist xD

RobMitchum schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Hab das Ding rauf und runter getestet. Temps sahen gut aus, Kühler dennoch mal abgeschraubt, WLP erneuert, Temps noch besser xD
Wieder rauf und runter getestet. Furmark stundenlang laufen lassen, keine Ruckler -> Bei Games allerdings alle paar Minuten. Verschiedene Settings und Games getestet da ich zumindest bei Ark den Verdacht hatte, dass es immer passiert wenn der VRAM vollläuft. Aber selbst bei Stardew Valley kamen die komischen Ruckler.

Ende vom Lied -> Ich hab ihm meine EVGA 2080 FTW3 eingebaut da ich die "übrig" hatte. Leistungstechnisch etwa auf dem selben Niveau wobei er jetzt wenigstens noch DLSS hat und die 2080 bei den meisten Games eher noch vorne liegt. Natürlich verbraucht die 2080 bisschen mehr, aber lieber so als ne Karte die diese Fragwürdigen Ruckler hat.
Lautstärke und Temp-technisch geben sich die beiden nicht viel. Vllt mal irgendwann bei der 2080 die WLP erneuern, denke dann wirds sogar besser mit dem 3 Slot Kühler und 3 Lüftern.

Interessant allerdings. Hatte jetzt so viele Karten der letzten Gens.
Nvidia: 4070TiS, 4070, 3070Ti, 3070 ( sogar 2 Stück ), 3060(12Gb) 2080, 2060 (6Gb), 1070, 1060, 980Ti, 960 (4 und 2Gb), 780Ti, 780, 710m, 675m(xm), 670, 660.... ich hoffe ich hab keine vergessen... xD Oh Achja -> 9600Gt, 8800gt... xD
AMD: RX 6600 ( zumindest Tagelang getestet ), R9 290, R9 270, HD 7770, 6870...

Und muss tatsächlich sagen, dass es immer wieder interessant ist die Leistungssprünge zu sehen. Kann mich noch dran erinnern als ich nen Laptop mit ner 710m hatte und dann bei meinem Kumpel DayZ aufm Desktop mit seiner GTX 760 gesehen hab und mich dachte ( boa krass ich wünschte ich hab die Karte irgendwann mal ) xD
Dann hatte ich den Lappi mit der 675m und Fallout 4 lief grade so. Dann auf Desktop mit 780 umgestiegen -> Fallout 4 und ich dachte mir so (boaaa kraaass) xD
Egal ich weiche vom Thema ab. scheiß Schrauberei und Testerei macht zuviel Spaß, ihr wisst worauf ich hinaus will xD

Achja worauf ich hinaus wollte:
War erstaunt wie stark die RX 6600 eigentlich ist. Und irgendwie war ich auch kurzzeitig verwirrt über die Sprünge von 2xxx -> 3xxx bzw AMD 5xxx -> 6xxx
Denn für mich war ne 2060=5600 / 2070=5700 / 2080 = ( für AMD zu der Zeit unerreichbar ), dann hatte ich immer im Kopf 2080=3070 / 5700=6600
Ich hatte ne Zeit lang die 3070 und mein Kumpel die 6600. Meine Settings waren dabei immer besser als seine.
Dann dachte ich mir "ok dann muss der Unterschied von der 6600 zu 2080 ja für ihn echt geil sein". Und dann war ich übelst verwundert als ich die 2080 bei ihm eingebaut hab und die dann doch nicht so stark war wie erwartet, beziehungsweise wieviel stärker die 3070 eigentlich gegenüber der 2080 ist xD

Und da muss ich echt sagen: Böses Nvidia und seine ganzen Namen für die Karten.
Ey jeeede gen wirds schlimmer. Zumal es ja die "low-End" Karten einfach mal sogut wie gar nicht mehr gibt. also xx10, xx30, xx50 ( ja ok es gibt ne 2050 für Mobile und auch 3 versch. Versionen der 3050 wo NV so richtig hart verarscht ).
Aber da ists mir halt echt hart aufgefallen weil die 3060 ja nur minimal stärker ist als die 2060, die Lücke aber bis zur 3070 dann aber sooo krass ist. Ok 3060 Ti... Nvidia Move eben... xD

@P-F-S
Schönbitte: https://boerse.cx/thema/ki-ai-künstliche-intelligenz-output-bilder-texte-musik.204211/

Schonmal jemand mit der Dream Machine rumprobiert?

Ich habe die Variante "Foto hochladen und prompt eingeben" versucht.
Also... Ehm ja, es kommt was in Bewegung raus. Was im ersten Moment schon erstaunlich ist. Bei einem _flüchtigen_ Blick funktioniert das vielleicht gerade so.
Wenn man aber genauer hinschaut, sieht man, dass zumindest diese KI noch nicht allzuviel von menschlicher Anatomie im Sinne von Bewegung versteht.
Oder sagen wir... in diesem Arm können keine Knochen in menschlichem Sinne gewesen sein... So wie sich der von A nach B bewegt hat
... dann werden auch mal gerne während der Bewegung Brüste auf den Rücken gemorpht (angezogen, Ihr Ferkel!)... oder einfach mal die Person ausgetauscht
Ok, die Quelle war in diesem Fall lediglich EIN Foto, dass da nicht so viel bei rauskommen kann... auch irwie klar... Aber witzig is schon, wenn sich das weisse Mädel mit gebräunter Haut in wenigen Augenblicken in eine Latina verwandelt

Da ich hier mit privaten Fotos probiert habe, kann ich hier aber leider keine Outputs posten.