[Suche] Coding Assistant wie Cody lokal betreiben

Ich bastel ja gerade an einem kleinen Java Programm. Da drängte sich zwangsläufig die Frage auf, ob es nicht auch die möglichkeit gibt sowas lokal zu betreiben. Ich bin seit vier Tagen in einer Sitzung und je länger sie dauert, desto langsamer antwortet er damit die Leute bezahlen. Das geht doch auch besser, oder? Ich setze da voll auf unser Schwarmwissen. ?
So, If you see something - say something?

Ich selber fange wieder an mit KI zu experimentieren. Benutze derzeit so gut wie alle um sie zu vergleichen. Jedenfalls werde auch versuchen lokal etwas aufzubauen, vor allem weil die KI dermaßen zensiert & WOKE ist oder antwortet "das kann ich nicht tun weil Konventionen, Copyright und und und tun blah" Will meine unzensierte Version haben

Werde wohl so etwas wie das austesten, aber es gibt einige Modelle oder Branches davon...

Und da gibt es noch andere DeepStack, The Odin Project, Exercism, Codeasy - um ehrlich zu sein würde auch einiges springen lassen wenn es auch kauf Modelle gibt die unzensiert sind, Bilder von Bildern erstellen, beim coden helfen und vor allem frei von BIAS sind und nicht lügen. Mal schauen was man hier finden kann ?

prana schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

Die derzeitigen ki modelle wo man runterladen kann finde ich ehrlich gesagt nicht so gut wie chatgpt o1 von der leistung, das andere problem ist das man für die großen modelle eine oder 2 extrem starke grafikkarten bräuchte, damit man für einen einfachen simplen code nicht eine stunde warten müsste.

ich selbst nutze eine 4070 gtx, bilder generieren geht ohne probleme ruckzuck, aber fürs coding mit den großen modellen ist es zu langsas

tastebin schrieb:

Bitte, Anmelden oder Registrieren um den Inhalt zu sehen!

Zum Vergrößern anklicken....

NVidia hat da jetzt auch eine App für den lokalen Rechner:
für User die eine der RTX-Serien 30 oder 40 oder NVIDIA RTX-Grafikkarten der Ampere- oder Ada-Generation mit mindestens 8 GB VRAM Ihr eigen nennen.
Bei einer Download-Größe von 35 GB ist außerdem eine robuste Internetanbindung zu empfehlen. Sind die Voraussetzungen erfüllt und die Applikation entpackt, bietet ChatRTX ein simples Interface, das einfach und intuitiv zu bedienen ist.

Hier mal meine Lokalen

Was benötigt Ihr?
- für den Download
- Hier je nach Hardware die Modelle
- hierüber laden wir die Modelle
- eine nützliche GUI

Ollama.com aufrufen und Installer herunterladen

Installer starten

PowerShell ausführen

je nach Rechenleistung dann

ollama run deepseek-r1:32b ( :7B :8B :14B usw ) Achtung , Download dauert und kann abbrechen, also immer mal neu starten mein 32b Modell hat 19 GB

währenddessen installieren

Und nach erfolgreichem Download vom Modell unter Einstellungen

Ollama

Modell deepseek-r1:32B (oder welches ihr auch immer nutzen wollt) auswählen.

Mit einem lokalen AI-Bot arbeiten und Spaß haben

Sehr geil! Schön wieder was von dir zu lesen!!

Ollama ist irgendwie ziemlich lahm. LLAMA.CPP rödelt da echt flotter.
Aber davon mal abgesehen, ist das DeepSeek Modell fürs Coden echt Fehleranfällig.
Ja, es denkt drüber nach, was es da macht. Die Denk-Schritte werden ja mit ausgegeben.
Aber jetzt bin ich ja mehr im Bereich C unterwegs und hab diesem Modell mal die ein oder andere Frage gestellt.
Dabei kam zum Teil echt haarsträubendes raus.
Da fängt er z.B. eine eine Sub-Funktion in einer Funktion zu verschachteln, was überhaupt nicht erlaubt in der Sprache.
Gezielt darauf hingewiesen, hat das Modell den Code dann schon korrigiert, ja, aber insgesamt ist das doch echt nicht das wahre...

Und da sind ja dann noch ganz andere Fehler drin: Dass das Teil anfängt Dinge zu definieren, die es dann später gar nicht mehr nutzt oder Limits definiert, diese aber überhaupt nicht prüft, usw...
Ich habe bisher noch keine KI gesehen, die da zufriedenstellende Ergebnisse abliefert.

Kurzes follow-up:
Weil es ja speziell zum Programmieren trainierte LLM's gibt, habe ich mal nach einem besseren Modell dafür gesucht.
deepseek-coder-v2 erscheint mir, von all den getesteten als relativ "kompotent" und flott in der Beantwortung.

Hab da am Abend mal zum Spaß verschiedene probiert und das genannte Modell hat meiner Meinung nach den sinnvollsten Code erzeugt.