Mainboard, CPU, viele Lanes -> Unraid

Na Leute ;-)

Ich hab... naja mehr oder weniger ein Problem.

Ich möchte meinen Unraid-Server ein bisschen upgraden.
Aktuell ist folgendes verbaut:

Gehäuse: Fractal Meshify 2
CPU: Ryzen 7 5700G + Liquid Freezer II 280mm ( 2x140mm Push )
Ram: 4x32Gb 3200mhz ( gemischter Ram )
GPU: RTX 3070 ( MSI Suprim )
Mainboard: Aorus b450 Pro
Netzteil: BeQuiet Purepower ( ich glaub 11 ) 750w ( Bronze )
Laufwerke: 4x8 TB Seagate Barracuda ( 2 Array, 2 Parität ), 2x500Gb Samsung SATA-SSD ( für Docker und VM's ), 2x512Gb NVME ( gemischt ) als Cache

Dazu noch eine Netzwerkkarte von HP mit 2x10Gbit Anschlüssen ( hatte ich halt noch liegen )
und eine PCIE to SATA Karte ( an der hängen die 4x8Tb Platten )
Die 2x500Gb hängen direkt am Board.

Ich nutze den Docker für VM's, Plex, Minecraft-Server, paar kleinere Docker, bisschen Testerei und vor allem auch viel für StableDiffusion ( über ComfyUI Docker )

Jetzt ist es so, dass ich mir noch sehr günstig ne 4070 besorgen konnte ( MSI Ventus x2 ). Die kommt auf jeden Fall in den Server und ersetzt erstmal die 3070.
Generell ist es aber so, dass ich auf die Netzwerkkarte verzichten könnte. Aktuell hängt der Unraid-Server zwar mit 2 Anschlüssen am Router ( einmal von der Karte einmal vom Mainboard ), aber der vom Mainboard würde auch reichen, da das glaub nen 2,5Gbit Anschluss ist und somit schnell genug ( hab auch nur ne 250k Leitung ). Netzwerk zuhause Läuft über WIFI 4/5/6 Mix mit ner Menge Routern ( 2x7530, 7590, Repeater 1200, 2400 und 3000 und ne 7530 AX als Hauptrouter ). Datenaustausch zum Server läuft "schnell genug"

Jetzt ist es so, dass ich halt wie gesagt auf die Netzwerkkarte verzichten könnte... kommt dann evtl bald in nen Proxmox wenn ich mal ein baue xD ) und die 3070 gerne zusätzlich reinbauen würde. StableDiffusion kann ja auch 2 Grakas nutzen.

Die Frage ist: Wie ist das mit den Lanes?
AM4 hat wenn ich mich recht entsinne 24 Lanes. Davon 4 Chipsatz, 4 für M2 Slots und 16 für GPU. Werden da nicht eh schon Lanes abgezogen in meinem Fall wegen der Netzwerkkarte und / oder dem PCIE to SATA-Adapter?
Und: Hat das b450 Aorus Pro nicht ohnehin nur PCIE 3? ( Kann das in Unraid leider nicht sehen aber es gibt ja manche b450er mit PCIE 4 ). Leidet die 4070 dann nicht ohnehin schon wenn du nur mit 8 Lanes läuft?

Ich glaub ihr versteht mein Problem xD
Die Frage die sich mit stellt: Machts Sinn den 5700g mit was anderem auszutauschen? ( möglichst günstig ). Generell würde ich sagen, dass der 5700g relativ overpowered ist, alles läuft sehr flüssig und wirklich ausgelastet ist der.... -> Nie xD Plex-Transcoding läuft ja z.B über die 3070.... joa die lacht halt drüber xD

Würde halt mal auf Kleinenanzeigen nach sowas wie nem 4820k oder halt besser schauen. Was von den Threads halt ähnlich ist, die IPC ist ja "fast egal". Haben die alten "extreme"-CPUs bishin zum 78xx nicht mehr Lanes? Macht das Sinn?

Für den KI Krampf ist doch wurscht mit wievielen Lanes die GPUs angebunden sind. Das ist wie beim Mining, wo eben der Datenaustausch mit dem System als solches eher gering ist. Deswegen sind da die GPUs ja auch nur per PCI x1 angebunden.

Das kann hier letztlich genau so laufen. Einfach reinstecken und schauen. Entweder laufen die GPUs dann x4 oder halt x1 oder eine x8 und die andere x4... hängt halt vom Board ab. Wirst dann ja sehen.

Ach krass echt? :-o

Dachte weil der KI Kram das ja auch zu 100% auslastet ( seh ich ja dank GPU-Statistic-Server auf dem Dachboard ), dass da die volle Bandbreite halt auch genutzt wird. Wenn ich so nen paar Bilder zum Beispiel in Stable Diffusion generiere, seh ich ja immer die Speicherlast bei 100% und Core entsprechend halt auch bei 100%

Wäre natürlich total geil wenn das so ist wie du sagst.
Einfach mal so ne 4070 + 3070 für Stable, das geht ja dann ab wie Schmitz Katze

PS: @xNecromindx : Keine Ahnung wo du arbeitest, aber braucht ihr noch jemanden? xD
Nichts gegen meinen Arbeitgeber, der ist Top. Aber ist irgendwie doof wenn die ganzen Vorgesetzten meist weniger wissen als man selber, beziehungsweise relativ "festgefahren" sind

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Damit ist der VRAM gemeint. Der ist ja auf der Karte. Wenn die Daten über den PCIe da einmal reingefüttert sind (was dann ggf. etwas langsamer geht), dann läuft das alles auf der Karte selbst (wie auch beim Mining).
Wieviel da "untereinander" und mit dem System kommuniziert, insbesondere wenn man zwei Karten nutzt, musst du dann halt ausprobieren.

Wie gesagt: Teste es. Auch um zu sehen wie dein Board die GPUs dann anbindet. Wenn die am Ende auf x4 laufen, da wir ja von PCIe 4.0 sprechen, hast du selbst, wenn du auf dem Server Gaming machen würdest, nur recht geringe Performanceeinbußen. Spätestens bei x8 merkst da nur ne Zahlenänderung bei Benchmarks.

Probieren geht da über studieren.
Ausprobiert habe ich es konkret noch nicht, rein von der zugrundeliegenden Funktionsweise her, dürfte der Unterschied zu einer vollen x16 Anbindung aber von marginal bis hin zu völlig irrelevant schwanken.

Ja das mit dem Speicher der VRAM gemeint ist, war klar :-D
Sooooo ungebildet bin ich dann doch nicht xD

Über den Server zu Gamen hab ich auch schon mal überlegt...
Wäre halt eigentlich schon geil den Server einfach hardcore auszubauen und dann sonst im Haus nur die anderen Rechner faktisch zu downgraden und nur als kleine Clients zu nutzen.
Hab das mal beim Wohnzimmer-PC ähnlich gemacht indem ich über Steam Tekken 8 auf meinem PC ausgeführt und halt auf dem Wohnzimmer-PC gestreamt hab. Schon funny generell.
Wird nur schwierig wenns mit der Auslastung nen bisschen höher wird weil meine Frau und ich ggf Videobearbeitung machen während meine beiden Kinder jeweils dann zocken würden.
Klar kann man das über VM's separieren und jedem einfach seine VM zuweisen, aber dann wäre trotzdem das maximale was derzeit im Haus ist nen 5950x ( der derzeit in meinem PC werkelt ). Das wäre dann bisschen "Semi".

Mal schauen wie ich das in Zukunft alles ausbaue. Erstmal Haus kaufen und dann kommt nen 2 Meter 19Zoll Schrank und alles wird verkabelt xD
Hab da schon so paar Projekte aufm Plan.

Bis dahin aber erstmal der Unraid-Server für alles und nach meinem Urlaub demnächst dann nen NAS mit TrueNAS, 5600g/16Gb und 8x2Tb im Raid5 im Aerocool-Cipher. Oder Proxmox zusammenfuckeln und schauen ob ich das als NAS nutzen kann und per WebDav anbinde... mal schauen xD

Die Schrauberei und Bauerei macht mir einfach zu viel Spaß xD
Meiner Frau gehts schon aufn Sack. Mein Sohn freut sich über jedes Upgrade xD
Aber der kann sich mit deinem Rig ( 5600x/4x8Gb/3070 und ausreichend RGB ) nicht beklagen xD

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Dort ist dann jeder Steckplatz belegt?

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

wenn jedoch Server down, dann alles down

doofi schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Ne das NT hat 4x8 PCIE
Die 4070 Ventus x2 braucht nur einen. Die 3070 MSI Supreme X braucht 2.
Die 3070 braucht laut Unraid bei Stable 255w Max, hab aber auch glaub das "silent" Bios an... muss das morgen mal umschalten xD
Die 4070 zieht glaub max 200 oder so.

doofi schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Da haste Recht

Sooo nun abschließend mal wie es jetzt gelaufen ist :-D

4070 MSI Ventus x2 kam heute an. Guter Zustand, niedlich wie klein der Kühler ist.
So ne Dualslot, wenn auch recht breit komm einem heute so winzig vor.

Joa... Netzwerkkarte ausm Server ausgebaut, 3070 MSI Suprim X hätte ganz oben in den slot
gemusst wegen Platz, 4070 MSI Ventus x2 drunter. Da die 3070 dann aber nur 1-2mm Platz gehabt hätte um Lust anzusaugen war mir das zu Riskant wegen der Wärmeentwicklung.

Witzig übrigens am Rande, wieviel größer die 3070 MSI Suprim X gegenüber der 4070 MSI Ventus x2 ist und einfach lustig zu sehen wie effizient die 4xxx tatsächlich ist, wenn man bedenkt, dass die 4070 einfach mal 60w weniger zieht und dennoch deutlich stärker ist.

Naja kurzer Hand dann die 3070 Suprim X raus aus dem Server, die 4070 ganz oben in den PCIE Slot, die 3060 12Gb ( Zotac Dualslot ) aus dem Wohnzimmer PC raus und in den mittleren PCIE Slot im Server. Die 3070 Suprim X wegen dem geilen RGB ( sieht wirklich gut aus mit dem beleuchteten Drachen auf der Backplate usw ) im Rechner meines Sohnes gegen die 3070 Zotac mit 2x120 P12 getauscht. Die 3070 Zotac mit den beiden P12ern bau ich auf Slim-Lüfter um und steck sie dann in den Wohnzimmer-PC, muss mir dazu nur das dicker SFX NT von BeQuiet ( 450w ) holen, weil das aktuell ( SFX Bequiet 300w ) nur einen 8-Pin PCIE hat.

Ergebnis also:
Mein Sohn hat noch mehr geileres RGB ( hat sich gefreut xD )
Der Wohnzimmer PC hat bald ne 3070 ( Oh ja Tekken auf Ultra Settings mit den Kiddies hehe )
Server hat jetzt ne 4070 und 3060 ( 12Gb ) drin, beide Dualslot und Kühlungstechnisch "ok".

Leider -> Hatte mich irgendwie doof verlesen, denn StableDiffusion ( ComfyUI ) spricht immer nur eine GPU an. Natürlich merkt man nen spürbaren Unterschied von der 3070 auf die 4070 und hat dabei auch noch das Benefit, dass die unter Last 60w weniger zieht. Aber leider nicht so wie ursprünglich gewünscht.

Man kann natürlich nen zweiten Docker im Unraid laufen lassen und könnte gleichzeitig auf beiden generieren indem man dem zweiten Docker einfach die 3060 zuweist. So kann man halt, bei Generierung größerer und länger dauernder Bilder ( bald auch Vids ) natürlich Parallel arbeiten, was durchaus Praktisch ist.

Oder kann natürlich auch ner VM ne einer der GPU's zuweisen ohne, dass das Hostsystem ( Unraid ) auf eine verzichten müsste.
So könnte ich z.B die 3060 für Plex nutzen ( was ohnehin schon overpowered ist ) und die 4070 an ne VM durchschleifen um ComfyUI über Windows zu nutzen weil der "ComfyUI Magic" Docker teils Bugs hat und wenig geupdatet wird. Oder oder oder.

Generell auf jeden Fall dennoch ne coole Sache

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Eindeutig das, zumindest aus meiner Sicht.

P-F-S schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Die kommt dann wie oft zum Einsatz?

---

Nutze ja auch super gerne mein Unraid Server, aber das mit den PCIE Lanes hatte ich damals nicht so in Gedanken.
Gerade da ich auch ne Mellanox Connect X3 drin hab, die nochmal Lanes klaut, zu den 2 HBA.
Ne GPU für ne Gaming VM war somit leider nicht mehr drin.

Kannst du denn die GPU's und Co voll nutzen?

Ich lese bei so Projekten wie Deinen super gern mit