KI lokal nutzen: Günstig, sicher & datenschutzfreundlich | c’t uplink

00:00:00: Egal ob es Ausufern der Gespräche mit KI Chatbots sind, ob man mit KI programmieren will oder vielleicht Katzenbilder generieren möchte.

00:00:08: Das wird schnell teuer – das ist der eine Nachteil und der andere ist, man kann da ja auch nicht alle Daten mit hinschicken!

00:00:14: Deswegen gucken wir uns heute mal an wie das ist wenn man KI lokal betreibt und was damit eigentlich für coole Projekte gehen?

00:00:26: Herzlich willkommen beim CT-Ablink dem Podcast aus der CT Redaktion.

00:00:30: Ich bin Liane Dubowie und mit mir sind heute da Jan Kenoyansen und Dianne Mahan.

00:00:35: Hallo!

00:00:37: So, ihr habt euch beide viel schon mit KI-Beschäftigt?

00:00:40: Ja, du hast vor ich glaube einem Monat ein Artikel geschrieben über WMA LLMs auf einem lokalen KI Server installiert für kleine Teams und so... Und Kenu, die kennt man ja eh von CT-Dreitausenddrei.

00:00:51: Du hast schon ziemlich viele Videos zur KI Sachen gemacht sitzt auch aktuell an einem und auch in deinem eigenen Podcast, CT-Fürthausendvier.

00:01:01: Hast du glaube ich schon viel über KI gesprochen?

00:01:03: Ja auf jeden Fall!

00:01:05: Ja es ist ein großes Thema.

00:01:07: Ich hoffe wir kriegen das heute ein bisschen eingefangen.

00:01:10: Schauen wir mal... Ja lokale KI.

00:01:14: Gut, ich bin Linoxer Rennen.

00:01:15: Ich benutze LokaleKI auf meinem Rechner aber warum sollte immer ... KI überhaupt lokal nutzen?

00:01:21: Tja, ich finde Argumentik...

00:01:22: Fangen wir an.

00:01:23: Ja,

00:01:23: Argumenti gibt es glaube ich genug eben.

00:01:25: Ich bin so ein bisschen aufgewacht,... ...ich habe das lange so von der Seitenlinie verfolgt,... ...so ein bisschen aufgewacht bin ich als da vor ein paar Wochen, so Mitte Juni,... ...kam das neue Modell von Entropic raus,... ...das Fable hieß also das abgespeckte Mythos.

00:01:42: Oh ja klar gespannt!

00:01:43: Das haben wir dann mit zwei Kollegen getestet und dann haben wir einen Test... veröffentlicht.

00:01:48: und ein Tag später nachdem wir fertig waren.

00:01:50: Und zwei Tage nachdem es veröffentlich war, das Modell gab's dann eine Direktive der US-Regierung dass nur noch Amerikaner dieses Modell benutzen dürfen.

00:01:59: Niemand anderes auch keine nicht amerikanischen Mitarbeiter von Entropic und hat Entropic gesagt ja das können wir nicht so richtig einfangen.

00:02:07: Wir müssen das Ganze... Vom Netz nehmen.

00:02:09: und

00:02:10: ich weiß von Leuten die sich extra das Wochenende freigenommen haben, weil sie weil dies fable konnte man ja quasi mit dem entropik mit dem normalen abo nur für kurze zeit verwenden.

00:02:20: Und dann haben Sie sich das extra feige genommen um irgendwelche programmierprojekte zu fahren und dann.

00:02:26: Das

00:02:26: zeigt schon wenn du irgendwelchen wichtigen Sachen darauf aufbaus vielleicht auch in deiner firma dass du.

00:02:33: Ja dass du auf ein bestimmtes llm bestimmte workflows.

00:02:37: Abstimmts und dann wird dieses LLM einfach abgeschaltet.

00:02:40: Dann hast ja ein Riesenproblem, deswegen ist es ja viel cooler wenn du einfach einen Server am Keller stehen hast und da sind die Daten drauf.

00:02:49: Gut also die Festplatte, die SSD kann ihr abbrauchen aber... Wenn du die Daten gebacken abhast, kannst

00:02:55: bis ans

00:02:55: Ende der Tage dieses Llm an Abzapfen.

00:02:59: Ob das weiter State of the Art bleibt?

00:03:01: Ist eine Frage.

00:03:02: Ja gut,

00:03:03: aber theoretisch geht das!

00:03:04: So Workflows ändern sich ja auch nicht von jetzt auf gleich und das dauert, der auch sowas im Betrieb zu etablieren.

00:03:08: Und bis dann alle eingearbeitet sind.

00:03:10: Ich meine es ist bei uns nicht anders.

00:03:12: aber wenn das dann verschwindet und man alles umbauen muss von heute auf morgen ist natürlich schwierig.

00:03:17: Das machen die halt.

00:03:18: also das hat Open AI hat dass sie in ihrer API immer wieder sagen, dass Sie Modelle abschalten und das ist natürlich aus deren Sicht sinnvoll weil... Das ist natürlich Ressourcenkostel in den rechten Zentren, die ganzen Lamps vorzuhalten.

00:03:35: Aber wenn du halt deinen Workflow auf irgendwas ausgelegt hast und dann wird das Ding abgeschaltet, ist doof!

00:03:41: Also wir haben uns in eine Abhängigkeit rein navigiert, die eigentlich nicht sonderlich klug ist.

00:03:46: Gerade wenn ich das konventionell mache, weil ich das nicht nur just for fun mache, dann kann das ja wirklich auch richtig teuer werden... ... oder unangenehmen werden, wenn so ein Modell plötzlich mal weg ist.

00:03:55: Ja da schlägst du voll in meine Kerbe.

00:03:56: also digitale Unabhängigkeit... Da bin ich ja mit meinen Themen auch sehr erpicht drauf.

00:04:01: aber das ist nicht das Einzige sondern es geht da ja auch immer... Da gehen ja mit den Fragen und mit den Dingen die man da hinschickt und Bildern.

00:04:08: Da gehen auch immer Daten mit.

00:04:09: Richtig!

00:04:10: Und das ist so dass wenn Du zum Beispiel deinen LLM bei Entropic oder OpenAI im Abo verwendest dann kannst Du eigentlich davon ausgehen, dass das Modell auch damit trainiert wird.

00:04:22: Ich glaube es gibt bei einigen Schalter den du in den Einstellungen ausschalten kannst und wegen bitte benutzen meine Sachen nicht fürs Training, aber soweit ich da informiert bin garantieren dir diese Firmen das nur wenn du dass deine Sachen, dass deine Daten nicht fürs training verwendet werden.

00:04:43: wenn du über api abzapst was halt nochmal deutlich teurer ist als ein abo.

00:04:48: also du zahlst dann jedes token quasi nicht einzeln aber so in so millionen token paketen, was richtig ins geld geht.

00:04:57: Also was so richtig richtig ins Geld geht das?

00:05:00: Wenn du da permanent softwareentwicklung mitbetreibst und kann dir das schon passieren wenn du sag mal sowas wie entropic opus über apI abzapst Dann hast du mehrere tausend Euro im Monat an Kosten.

00:05:17: Noch, noch würde Jürgen Klopp jetzt sagen also noch vielleicht sind es auch bei Zehntausen nicht weil irgendwo... Da könnt

00:05:23: ihr mal geregelt werden Leute für einsteigen die das machen.

00:05:26: Das muss auch so teuer werden weil sonst dieser ganze Wahnsinn der da in den Rechenzentren passiert war daher unfassbar viel Geld gerade rein gesteckt wird.

00:05:37: Die müssen ja irgendwann ihre Kohle zurückkriegen und das passiert dann über ... über diese Kosten.

00:05:43: Und was auch noch ganz wichtig ist, dass natürlich... ... viele Server in den USA stehen und man weiß ja,... ... das es da Gesetze gibt die besagen, dass... ... hilf mir mal auf die Sprünge wie heißt dieses Gesetz?

00:06:00: Das ist der Cloud-Act.

00:06:01: Genau!

00:06:01: Der Bundesbehörden also FBI zum Beispiel berechtigt im Interesse zu dem Anbieter zu geben.

00:06:08: so sagen wir bräuchten jetzt mal.... ....das was auf euren Servern da ... mitgelockt wurde.

00:06:13: Das gilt

00:06:13: doch eigentlich gar nicht nur für Server, die in den USA stehen... ...sondern für US-amerikanische Unternehmen auch.

00:06:19: Auch

00:06:19: wenn die Server in Europa stehen.

00:06:21: Und das Kass ist, dass sogar wenn das passiert, also wenn die Bundesbehörden, die US-Bundesbehörde die Daten anfordern,... ...dann können sie auch gleichzeitig sagen, dass der Besitzer, die Besitzerinnen der Daten sonst was... ...nicht darüber informiert werden dürfen.

00:06:38: Also wir haben uns da... Abhängigkeit finanzielle Abhängigkeiten verfügbar abhängig.

00:06:43: Wir haben einen Abschluss von sensiblen Daten also sowohl persönlich mit Personen bezogen data aber auch geistige Meigentum.

00:06:49: das darf man nicht vergessen.

00:06:51: wenn ich eine Software Entwicklungsfirma in Deutschland habe und damit programmiere dann fließt einfach die gesamte Codebase einmal über den Umweg dieses LLMs an diesen Anbieter, also... Wenn ich sage wenn ich dem Modell sage hier ist mein Git Repository mit einem mit einem Code mit einer Software die ich erfunden habe Gucken wir was da drin steht und sagt mir mal, was diese Dateien machen.

00:07:13: Dann wird dieses ganze Codebase einmal dahin hochgeladen.

00:07:16: Und... Da bin ich ja spätestens dann irgendwie bei Problemen wenn ich besondere Verträge unterschrieben habe mit meinen Kunden.

00:07:22: Wenn ich vielleicht für die Rüstungsindustrie arbeite, dann darf ich sowas nicht tun weil einfach die gesamten Geheimnisse abschließen.

00:07:29: Naja und ich meine wir haben jetzt auch diese FIFA-Geschichte mit der roten Karte und so weiter gesehen dass wenn du Trumps Freund bist sozusagen und sagst Diese deutsche Firma da, da passieren interessante Sachen.

00:07:43: Kannst du da vielleicht mal?

00:07:44: Also das ist jetzt ein bisschen verschwörungstheoretisch.

00:07:48: aber ich meine wir haben die US-Politik alle mitverfolgt in den letzten Jahren und wir wissen dass das nicht komplett... Absurd ist so eine Situation, dass jemand Trump umgefallen bittet und dann werden halt Daten freigegeben.

00:08:02: Also ich finde man muss da nicht auf Verschwörungstheorien ding.

00:08:05: es ist einfach diese Regeln von denen wir eigentlich mal davon auslegen konnte das die immer noch, immer gelten und das würden die nie machen.

00:08:12: Das gibt's eigentlich.

00:08:13: Richtig genau!

00:08:14: Und es geht eben noch

00:08:15: einen Schritt weiter als diese klassische Datenverarbeitung wie Microsoft sie zum Beispiel tut mit Word, Excel, PowerPoint was in der Cloud liegt und da Daten liegen.

00:08:23: nochmal durch diese Modelle geht einfach alles.

00:08:25: Da gehen Fragen durch, da gehen Dokumente durch.

00:08:28: ich kriege von einem Kunden als wenn ich jetzt aus einer Mitarbeiterperspektive... Ich krieg von einem kundenden PDF Jagders in die KI und es wird erst mal hochgeladen.

00:08:36: Es landet erstmal bei Anthropik oder bei OpenAI.

00:08:39: Und selbst wenn ich als Firma sage, das finden wir nicht so toll.

00:08:42: Wir buchen jetzt hier kein Account bei Entropic und OpenAI.

00:08:46: Ja was werden denn wo die Mitarbeiter nach ein paar Wochen machen?

00:08:48: Wenn sie sehen dass das Nutzen bringt dann treffen sich eine individuelle Entscheidung und machen individuelle Datenverarbeitung.

00:08:54: Dann hast du überhaupt keine Kontrolle darüber.

00:08:55: Genau!

00:08:55: Da

00:08:56: gibt es schön den Privatkunden-Account auf eigene Kreditkarte und da gehen da die Firmen... Das heißt als Firma kann ich mich gar nicht dazu verhalten.

00:09:04: Ich muss eine Entscheidung treffen, sonst treffe es andere für mich.

00:09:07: Und

00:09:07: jetzt werde ich mal frech und provokant... das finden viele bestimmt total schlimm.

00:09:11: aber wenn ich lokale LLMs benutze die agentisch verwende,

00:09:15: d.h.,

00:09:15: dass die meinen Computer bedienen dann will ich den vielleicht auch mein Sogepasswort geben weil das dann besser funktioniert und wenn das alles lokal bei mir läuft und da nichts rausgeht habe ich da auch weniger Bauchschmerzen.

00:09:30: Ja, also da... ich würde es nicht tun.

00:09:34: Da haben Leute alle so...

00:09:36: Aber das ninkt vielleicht auch davon ab ob man dafür seinen ein und alles Rechner benutzt auf dem alle Zugänge, alle Datenlieden oder ob man sagt, dass ist hier ein Rechener den habe ich speziell für

00:09:45: Karriere.

00:09:46: Das würde ich nicht tun, das mache ich ganz ehrlich.

00:09:49: diese die Sudo Passort weitergeben, den mache ich halt wirklich auch rechnern

00:09:53: Ja,

00:09:54: die ich zum spielen.

00:09:55: Aber das muss man immer dazusagen weil manche Leute haben vielleicht Bock zu experimentieren und denken hier besprechen von ihrem eigenen...

00:10:00: Nein nein, kein Fall!

00:10:02: Das muss man vielleicht auch direkt als Disclaimer dazu sagen.

00:10:06: gerade wenn wir gleich später über agentische Sachen reden das ist so früh und dass es auch so gefährlich würde ich sagen weil sie ja dann auch mal diese Prompt Injection passieren können.

00:10:18: das heißt wenn die Agenten über Engentex stolpern der ihnen eigentlich eine versteckte anweisung gibt dann befolgen sie halt womöglich diese anweisungen und dann passieren dinge auf meinem rechner die ich nicht will.

00:10:29: das heißt man sollte diese dinge am besten irgendwo probieren.

00:10:34: also ich sage immer Das wäre nicht schlimm wenn der Rechner komplett gelöscht wird und es wäre auch nicht schlimm, wenn Daten von dem Rechler abfließen.

00:10:42: Und wenn die Zugangsdaten, die du da wirklich an ein Messenger rausgegeben hast oder so?

00:10:47: Also das mache ich nicht, Messenger-Zugangstaten.

00:10:51: Das braucht man noch nicht, das funktioniert ja irgendwie über...

00:10:55: Aber zum Beispiel Github, wenn du jetzt sagst du willst damit Kot bearbeiten dann musst du einen GitHub-Account rausrücken.

00:10:59: Das funktioniert meines Wissens über Tokens.

00:11:06: Also ich muss da... also auch dem lokalen LM gebe ich nicht mal einen wichtigen Passwörter.

00:11:13: Das

00:11:13: muss man vielleicht auch einfach machen, was man damit macht.

00:11:16: und aber man sollte wirklich gucken, was gebe ich daraus?

00:11:19: Was wäre der worst case?

00:11:22: Okay, aber ich glaube wir sind eigentlich uns einig dass das in jedem Fall eine gute Idee ist, aber gibt es denn auch Fälle wo ich vielleicht einfach doch noch ein Online-Dienst brauche, weil das mit einem lokalen Modell nicht geht.

00:11:35: Habt ihr da Erfahrungen gemacht oder irgendwas getestet wo ihr sagt für die und die Fälle ist super aber es gibt noch so ein paar.

00:11:42: Na

00:11:42: ja dann gibts halt so diesen Begriff des Frontiermodels oder SOTA-State of the Art.

00:11:49: also das is natürlich so dass die großen Firmen um AI & Tropic das ist halt quasi die Speerspitze... ...des technisch möglichen was es gerade so gibt ist die letzten Jahre immer so gewesen, was heißt wenn ich wirklich das maximal beste Modell haben will.

00:12:06: Dann ist das... Das ändert sich auch witziger als alle paar Wochen.

00:12:10: aber das ist im Moment Entropic Cloth Fable super teuer und das bekommt man lokal so nicht sondern man bekommt.

00:12:19: Ich würde sagen wenn du einen richtig fetten Rechner hast dann kriegst du.

00:12:23: GLM-VII Ist ein chinesisches Modell Da kriegste so... Ich sag mal In den benchmarks wenn fabel so eighty-fünf Prozent eines benchmarks knackt dann knack gelm fünf zwei vielleicht Einen achtzig oder also.

00:12:39: in dem bereich sind wir das so leicht schlechter.

00:12:45: aber Und das wird wahrscheinlich auch erst mal noch so bleiben dass die state of the art dinger weil die halt auch wirklich auf extrem.

00:12:53: erstmal läuft das halt wirklich auf In Milliarden teuren Rechenzentren wo halt Hardware läuft die du.

00:13:01: Nicht hast.

00:13:01: ne das ist erstmal das Thema.

00:13:04: und auch, Ist dass ja deren Geschäftsmodell also alle ihren Laden dicht machen wenn ich mir jetzt einfach irgendwas auf meiner Zieh was halt die gleiche Qualität leistet wie oder

00:13:18: Gut, aber das heißt du schaust dir immer die neuesten Sachen an oder wir schauen uns mal die neuersten Sachen an.

00:13:23: Das heißt, ich will das im Zweifel immer ausprobieren auch um diese Grenze zu verschieben.

00:13:27: was kann KI eigentlich überhaupt erreichen?

00:13:30: Aber wenn ich jetzt darüber rede dass sich mit meinem Team in der Alltagsarbeit wo ich ja eh erstmal Workflows etablieren und Dinge einrichten und gucken das alle auf einen einer Ebene sind, wenn ich diese Sachen einrichte dann brauche ich ja oft gar nicht das neueste Modell.

00:13:44: Also da geht der Trend auch so ein bisschen hin dass man halt nicht ein super schlaues Riesenmodell benutzt für alles oder dass man keine Ahnung.

00:13:53: fürs Koden nimmt man das, für Terminalbedienungen nimmt man es, für Kommunikationen dies

00:14:00: usw.,

00:14:01: dass man unterschiedliche Kleine hat

00:14:03: ... kommt ganz stark davon ab, was man vorhat.

00:14:08: Wenn man jetzt sagt ich möchte Texte schreiben... ... dass ich persönlich noch nie getan habe weil KI hilft mir nicht beim Texte Schreiben,... ...ich kann selber sehr gut Texte schreiben, ich hilft mir wirklich überhaupt nicht.

00:14:17: Irgendwie eine leere Seite zu füllen kann ich eigentlich besser als die KI.

00:14:23: Ich nutze es v.a.

00:14:24: für Programmieraufgaben oder auch für so Problemlösungsaufgabe im Programmierumfeld.

00:14:29: Und da ist es schon so, wenn man wirklich eine richtig harte Nuss hat.

00:14:33: Dann ist natürlich das aktuelle Opus... ...was am besten Problemlösungskompetenz hat.

00:14:39: Wenn man dann ein etwas abgespeckteres was auch auf einer etwas fetteren Grafikkarte läuft benutzt wie zum Beispiel Quencode oder so.

00:14:49: Schafft das auch Dinge, es braucht manchmal so ein bisschen Tritt zurück in die Spur.

00:14:54: Ganz klassisches Programmierbeispiel ich hab irgendwie einen Arpy... Das steht so jetzt

00:14:58: Cloudcode und Quen in einem zusammengebrochen.

00:15:02: Quen-Dreisek.

00:15:03: Quendreiseks und Quentn...

00:15:04: Da kann man mit Cloudcode... Es gibt

00:15:06: Quen Code.

00:15:07: Nee der NextCoder heißt nicht so?

00:15:09: Ja Coder... Quendcode

00:15:10: gar.

00:15:11: Aber ihr merkt, ihr merken also ist es wahnsinnig...

00:15:14: Ich finde das auch ziemlich übersichtlich.

00:15:15: Alter!

00:15:17: unfassbar und übersichtlich weil es ja diese ganzen modelle auch noch in unterschiedlichen nachtrainierten versionen gibt und unterschiedliche quantisierungen.

00:15:28: die quantisierung gibt ist auch noch von unterschiedlichen laboren und anbietern.

00:15:32: das ist dann die gleiche quantisierung.

00:15:34: aber das eine ist dann von an wie heißen die ansloss genau?

00:15:42: und das andere ist dann Bartowski oder so und du denkst dann sowohl.

00:15:47: Also es ist wirklich leider, man muss da ein bisschen ins Rapitol holen.

00:15:51: Bei mir ist ich probier so Sachen ja gerne aus und interessiere mich auch dafür und ganz besonders halt für lokalie KI-Modelle.

00:15:56: aber ich habe manchmal das Gefühl ich hab kurz nicht hingeguckt und es sind drei oder vier Sachen passiert.

00:16:00: also zurück zu programmieren.

00:16:01: ganz kurz

00:16:02: jetzt haben wir hier einen Begriff eingeführt den wir nicht erklärt haben.

00:16:05: ich meine wir erklären hier selten.

00:16:06: wir sind auf einem hohen nördigen Niveau glaube ich.

00:16:08: wir klären selten alle Begriffe aber quantisieren wäre, was wo wir vielleicht noch mal kurz drauf eingehen könnten.

00:16:14: Weil verschiedene Modelle das setzen jetzt hier so ein bisschen voraus dass alle das wissen oder wir gehen einfach mal einen Moment zurück und sagen was ich habe im Laptop zu Hause Ich will KI lokal benutzen Sondern solche Leute mal kurz mit einfangen.

00:16:30: Also LLMs sind ja eigentlich quasi nur Zahlen ... die sogenannten weights, die Gewichte.

00:16:39: Und diese Zahlen... ...die sind in unterschiedlicher, also die sind,... ...die kann man ja unterschiedlich genau darstellen und das Genauste ist, korrigiere mich, FP-Sechzehn.

00:16:51: Also das ist sozusagen viele LLMs.

00:16:54: Das ist quasi die Grundvariante, in denen die angeboten werden mit denen man dann Sachen machen kann.

00:17:02: Der FP-Sechzehn ist ein Sechzehntbit Floating Point, also eine Fließkommazahl ... damit kann ich eben in sechzehn Bit einen Fließkomma-Wert angeben.

00:17:10: Und diese Gewichte sind ja, wenn man die jetzt irgendwie vom Gehirn kommt... ...vom menschlichen Gehirnen und dieser Analogie dann ist es ja so dass da künstliche Neuronen existieren... ...und die werden getriggert.

00:17:21: also die werden so angepigst oder haben dir ein Gewicht ab welchem Schwellwert von anpiegsen sie... ...an ein anderes Neuron weiterfeuern sollen.

00:17:28: und das ist dieses riesige Netzwerk aus künstlichen Neuronen, wo jedes einzelne Neuron abgebildet ist über Eingangs- und Ausgangsverbindungen.

00:17:37: Und eine Zahl die Verbindung zu einem anderen.

00:17:39: Genau

00:17:39: diese Zahl ist das kann man halt durch Quantisierung verringern.

00:17:45: also man kann dann halt dieses FP-Sechzeh... Also das sind dann halt auch so die Sachen Die ich auch nicht so genau weiß.

00:17:52: also meines Wissens werden oft Modelle in FP-Sechzehn angeboten.

00:17:57: zum Beispiel auf Hugging Face liegen die dann so, aber die eigentliche Inferenz auch im Rechenzentrum findet nicht in den FP-Sechzehn Genauigkeit statt.

00:18:05: Sondern da wird dann oft schon auf acht Bit runtergegangen.

00:18:12: Ich habe euch jetzt noch größere Nerd-Tiefen.

00:18:16: Eigentlich hätte mir auch so etwas gereicht, wie das ist eine Art komprimiertes Modell was auf weniger heftiger Hardware gut läuft.

00:18:23: Also der Witz ist jetzt damit das alles überhaupt funktioniert Reicht es nicht, wäre das auf meiner Festplatte dicht.

00:18:28: Das ist einfach schnarch langsam.

00:18:30: Es reicht auch nicht wenn's in meinem Ramm liegt Der ist im Vergleich immer noch schnachlangsam.

00:18:34: Damit das richtig gut funktioniert muss dieses gesamte Modell also diese Gesamtengewichte müssen in den Videorammen meiner Grafikkarte passen Und dass is die Aufgabe.

00:18:43: Dann macht das ganze Spaß.

00:18:44: Wenn Teile der Gewichte auf der Festplatten oder im Ramm liegen Ist das Modell unbenutzbar dann kann ich eine Stunde auf ne Antwort warten.

00:18:51: Deshalb brauche Ich modelle die möglichst viele Parameter haben.

00:18:54: Die müssen quantisiert werden, indem ich einfach ungenauere Werte nehme.

00:18:59: Also ich sage jetzt, ich gehe runter von einem Fließkomma-Sechzehn-Bit auf kleinere Wärte... ...auf acht-Bitt oder vier-Bett

00:19:06: und... Geht runter bis ein Bit.

00:19:07: ne?

00:19:07: Wir sind auch immer noch benutzbar da in interessanter Weise!

00:19:10: Muss das also so

00:19:10: runterquantisieren?!

00:19:11: Und dann kann ich das in Gänze in den Videoramm rein dübeln und dann kann Ich damit arbeiten.

00:19:16: und so eine Videoram ist halt ein teures Hobby.

00:19:18: Ich

00:19:19: auch keine so tolle

00:19:21: selbst bei einer fetten Gamer Grafikkarte.

00:19:23: da muss ich halt viel Geld für viele Videoräume auf dem Tisch

00:19:25: leben.

00:19:25: Also die die leistungsfähigste.

00:19:28: Konsumer Grafikade die erdex fifty neunzig von entweder kostet.

00:19:33: wenn man Glück hat kriegt man sie für drei fünf.

00:19:36: Ist das die mit zwei und dreißig Gigabyte?

00:19:38: Ja jetzt mein Dreißig gigabyte und gelm fünf zwei von dem ich geredet habe, dass hat in fp sechzehn Genauigkeit.

00:19:46: Ich glaube, es ist eine Sekunde.

00:19:49: Und dann nochmal

00:19:50: die Relation aufzumachen.

00:19:51: Wir wissen nicht was Opus hat und wir wissen

00:19:54: noch

00:19:54: etwas.

00:19:55: Das können auch mehrere Terabyte an einen Videorammen verschlingen und das in ganz vielen Instanzen.

00:20:01: Also das sagt entroping oder sagt auch Open AI gar nicht?

00:20:03: Wir wissen nur, was so ungefähr mit bis zu sechsundneunzig geht weil das sind so Zahlen, die wir

00:20:08: haben.

00:20:09: also als Kaktika gehe ich auch nicht davon aus dass Fable eine Sekunden Das ist ja nicht, wir sagen jetzt Videoram aber das sind ja KI-Beschleuniger also irgendwelche coole Teile.

00:20:22: Aber das wird auch nicht eins kopf...das wird auch nie mit eins komm fünf terabyte da im Ramm liegen sondern es wird auch schon irgendwie quantisiert sein.

00:20:34: Die weiß einen neuen Tropic.

00:20:35: Also für mich sind das e-bewegliche Ziele, weil noch vor wenigen Jahren war überhaupt nicht dran zu denken irgendein so ein KI-Modell lokal auf meinem Freund.

00:20:42: Also selbst dieser Framework kann LM Studio mit irgendwie Gemma weiß ich nicht was laufen lassen?

00:20:50: Ja es ist lahm!

00:20:51: Das muss man dazusagen und es föhnt sich ein ab aber es geht... Aber das was ihr jetzt Also du mit dem Server, das sind ja ernsthafte Sachen.

00:20:59: Wenn es im Betrieb nutzender sollen ein paar Leute drauf zugreifen können.

00:21:02: man will ernsthaft damit programmieren.

00:21:04: für solche um solche Dinge solls uns jetzt hier gehen.

00:21:07: Das heißt wir schieben jetzt mal so die Einsteiger-Sachen beiseite...

00:21:11: ...Zwanzig Gigabyte ist da die Untergrenze für macht Spaß würde ich sagen also unterhalb von zwanzig brauche Für ernsthaftere Arbeiten.

00:21:18: und jetzt komme ich zurück zu meinem Coding Beispiel.

00:21:20: Mit zwanzig Gigabyte kann ich Modelle betreiben, die so quantisiert sind... ...dass sie da im Rhein passen also... ...sechzehn plus ein bisschen Platz für das Kontext Window.

00:21:28: Passend in zwanzzig Gigabyte ganz gut rein.

00:21:30: Da kann ich vergnüglich mit programmieren.

00:21:33: Dann kann ich eine Aufgabe geben und sagen kümmer dich um diese Aufgabe und dann wird die... ...im Zweifel ganz okay gelöst.

00:21:39: Welches

00:21:39: Modellen nimmst du denn?

00:21:40: Ich habe jetzt mit diesem Quen-Code gearbeitet.

00:21:43: kurz das Nebotron von Nvidia probiert und Gemma hat auch ziemlich gute Ergebnisse.

00:21:49: Ja, Gemma vier genau da gibt es auch unterschiedliche Sachen.

00:21:54: bei mir war der Sweetspot ich habe eine RTX-Cfz-Chz-Khz mit Vierundzwanziggearbeit und da passt das QANN drei Punkt sechs, siebenundzwantzig B Kuhvier rein, da sind die Wades ungefähr so fünfzehnsechzehn Gig.

00:22:10: und dann braucht man noch damit ... auch Bilder und Videos erfassen kann.

00:22:15: Braucht man noch so eine ... ... M-M-Pro-Datei, diese nochmal mit Gigabyte, die musst du noch rein... ... und dann nochmal den sogenannten Kontext also den Kurzzeitgedächtnis quasi.

00:22:28: das muss dann ja auch noch mit rein und da komme ich mit meinen ... Also es ist ehrlich gesagt sogar deutlich schneller als ein Opus

00:22:38: oder so.

00:22:39: Ich wünschte ich hätte schon

00:22:41: richtig.

00:22:41: Ja, ich glaube deswegen auch dass die Karten noch teurer werden weil wir jetzt wirklich zum allerersten mal ganz ehrlich... ...ich habe schon vor Jahren Videos gemacht wo ich gesagt ey lokale KI müsste euch angucken ist voll geil.

00:22:56: aber ganz ehrlich hab immer gedacht ja das is die Idee ist geil und existiert ist toll.

00:23:03: aber wenn ich ganz ehrlich bin das ist doch deutlich wirklich deutlich schlechter als die state of the art modelle diese netz gibt.

00:23:10: aber mit diesem quen drei sechs und auch dem gamma vier sind jetzt zum ersten mal model rausgekommen wo ich sage okay krass dass macht irgendwie Spaß mit denen und dass

00:23:21: die Schwellen zur Benutzbarkeit ist absolut erreicht.

00:23:24: Ja,

00:23:24: und ich meine wer weiß wie sich das noch weiterentwickelt?

00:23:27: Also ich bin da... Habt

00:23:28: so eine Ahnung wie es sich weiter entwickelt in zwei Richtungen.

00:23:31: Es gibt ja auch immer neue Techniken und es wird auch noch Groundbreaking-Technik geben also Dinge die nochmal das Doppel daraus holen zum Beispiel weil sie noch mal ganz neu im

00:23:40: Thema Multi-Token Prediction ist einfach so ne Technik.

00:23:45: Also das war ganz kurios, ich habe dann mit dem Modell rumgespielt und dann hab ich eben gelesen es gibt ja mtp.

00:23:50: Da habe ich mich da ein bisschen mit beschäftigt und dann habe ich halt in meiner LLM abzapf Software Das ist jetzt lama cpp gewesen Habe ich halt diese option gesetzt.

00:24:00: also die bates waren noch mal egal aber auf alle fälle hat das nochmal Ich weiß nicht wie viel also doppelt soviel ein bisschen übertrieben aber eins Komma siebenfache geschwindigkeit dann auf einmal nur dadurch Das ist halt und ohne Qualitätsverschlechterung.

00:24:15: Also MTPs sind eine ganz geile Technik, da habe ich mich jetzt auch intensiver reingelesen.

00:24:20: MTP hat die Idee.

00:24:21: früher war so dass das Modell jedes einzelne Token also quasi das nächste Wort komplett durch das gesamte Modell durchgearbeitet hat und gesagt hat das nächste wort.

00:24:30: also kann es naivig schreibt jetzt ein Text.

00:24:32: Das nächste Wort ist wahrscheinlich jetzt ein Ist er geht über die Straße und so wird ein Satz gebaut.

00:24:39: Und da muss man das gesamte Modell einmal durchfeuern, um das nächste Wort oder das nächste Token zu generieren.

00:24:45: Gerade wenn wir jetzt programmiert sind ganz viele Dinge total absehbar weil es sind geschlossene Klammernzeilen, Umbrüche

00:24:50: usw.,

00:24:51: kostet aber so ein ganzes Modell viel Arbeit.

00:24:53: und MTP Multitoken Prediction ist die Idee.

00:24:56: ich nehme ein kleines Modell davor.

00:24:58: Das kleine Modell versucht schon mal so acht bis zehn weitere Token sich auszudenken und wirft den großen Modell vor.

00:25:04: Und wenn das Großmodell sagt, ja es hätte ich auch so gemacht.

00:25:07: Dann nimmt es das!

00:25:09: Ja, genau mal eine Meinung.

00:25:11: Und dadurch muss

00:25:12: das

00:25:12: Modell immer nur noch diesen nächsten Achter-Block nehmen und kann damit in der Theorie, das ist jetzt rein hypothetisch, könnt ihr damit auch achtmal so schnell oder zehnmal so schneller werden je nachdem wie gut das kleine Modell quasi Prediction gemacht hat.

00:25:24: Genau, mein Probe an Endfunktionen ist besser.

00:25:27: Wie du sagst da es ist ein bisschen...

00:25:29: Was wird wohl nach dem Semi-Groland kommen?

00:25:30: Wahrscheinlich ein Zeilenumbruch.

00:25:31: Das kann auch ein Modell mit hundert Parametern ... keine Qualitätsverschlechterung, weil das große Modell sagt er immer.

00:25:39: Ja ja genau so sehe ich das auch und

00:25:41: solche Durchbrüche passieren halt gerade wirklich ständig... Also es ist wirklich krass!

00:25:48: Lass uns vielleicht mal zu deinem Artikel kommen um die Leute nicht weiter auf die Folter zu spannen.

00:25:53: Was hast du denn da für ein Setup gebaut?

00:25:57: Ich habe mich damit mit der Frage beschäftigt Man kann das lokal beschätten, benutzen auf einem eigenen Laptop mit ausreichend Grafik alles schön und gut.

00:26:05: Was können jetzt zum Beispiel kleine Teams machen?

00:26:07: Ich denke nicht an die großen DAX-Konzerne... ...die das für tausend Personen ausrollen wollen sondern ich denke jetzt an kleinere Teams.

00:26:15: Eine Werbeagentur eine Programmierfirma vielleicht mit wenigen Mitarbeitern.

00:26:19: ist es denn jetzt schon realistisch zumindest als Plan B oder als Erweiterung zu den kompensären Modellen so einen eigenen Server zu betreiben.

00:26:28: Als Hardware habe gemietet der Hardware genommen, also das nicht läuft keiner unterm Schreibtisch mit eben zwanzig Gigabyte.

00:26:36: Das ist so eine RTX-Fürthausend Adder Generation in der Workstation Grafikkarte drin.

00:26:42: Zwanzig gigabyte Videoramme und sehr viel normaler RAM.

00:26:46: Sechsneinzig Gigabyte oder so.

00:26:49: Den habe ich gemietet.

00:26:51: Den hab' ich bei einem deutschen Hoster gemietet Und das ist glaube ich ne Ausgangsbasis mit der kann man arbeiten.

00:26:57: Kostet zu zweihundert Euro im Monat.

00:27:00: Klingt jetzt nach viel ist ungefähr die Abschreibung über drei Jahre, wenn man die Hardware kauft.

00:27:05: Also kann man sich so überlegen ob man so eine Hardware für sechstausend Euro sich auch hinstellt oder ob man sowas bietet.

00:27:11: zum Einstieg und darauf laufen zwei Softwares.

00:27:16: die einer heißt Open Web UI eine Web-Oberfläche, die sieht verdächtig so aus wie das Interface von Claude oder auch wie TreadCity.

00:27:27: Ich habe in der Mitte einen Schlitz, indem ich einfach Dinge eingebe also den Text schlitzt und darunter habe ich so Dinge wie Lade ein Bild hoch.

00:27:38: Das kann

00:27:38: man ja auch lokal auf dem Rechner einfach so machen.

00:27:40: Open Web UI sieht ziemlich genauso aus, wie ich das erwarte.

00:27:43: Ich kann also Arbeitsbereiche definieren... ...ich kann eine Userverwaltung dahinter legen was für Teams eben interessant ist dass auch an meinen LDAP anbinden und sagen folgende Gruppen dürfen da jetzt Modelle benutzen Und dann muss sich im Backend, das läuft eben als Container auf diesem Server.

00:28:01: Im Backend muss ich dann einen weiteren Containerstarten in dem die Modelle laufen ... der Bequemlichkeit halber, Kino darf dir jetzt gleich was zu sagen... ... weil er deine Meinung zu hat.

00:28:12: Aber ich mich für O-Lama entschieden, OLL-Ama.

00:28:15: Das ist irgendwie ein Wortspiel, weil es gibt einen Modell das heißt Lama und... ...O-LAMA ist eine Möglichkeit wie ich Modelle runter lade oder ausführe.

00:28:24: Sie läuft im zweiten Container.

00:28:25: die beiden sind intern per Netzwerk verbunden.

00:28:28: Dass du von den meisten auch schon mal gehört haben, die dich damit beschäftigen?

00:28:30: Genau!

00:28:30: O-LAMA ist vergleichsweise einfach in der Bedienung Und steht nach außen, das ist der Witz.

00:28:36: Nach außen stellt dieser Quantäne einen API bereit oder nach innen ein API bereit.

00:28:41: was dem API von OpenAI...

00:28:45: ...der sei es OpenAI kompatibler Endpoint sozusagen?

00:28:48: Der macht eben das was OpenAI auch tut nämlich hallo hier ist ein HTTP endpoint.

00:28:53: da wirfst du die Frage und den Kontext hin und dann kommt die Antwort des Modells zurück.

00:28:57: Das steht olama ... intern auch bereit, Lama Server läuft da drin und dann kann Open Web UI darauf zugreifen.

00:29:04: oder habe ich eben meinen eigenen Server.

00:29:06: Kann mir der User einrichten Passworder vergeben?

00:29:08: Und

00:29:09: das sind die Modelle einfach für das was du damit...

00:29:12: Aber dass du da mit dem Server angefangen hast, das klingt jetzt als bräuchte man eine fette Hardware für also dieses... Die Software selber läuft ja auf Mars Pi ne?

00:29:23: Also du kannst ja Nur das LLM selber musst du halt irgendwo.

00:29:28: Das Open Web UI theoretisch, das könnt ihr auf allem, dass läuft auf einer Karamist absolut keine Ansprüche.

00:29:33: Das ist eine Website, Webseiten haben keine KI-Funktionen sondern der im Hintergrund angebundene Olama und ich könnte auch mehrere Olamas zum Beispiel in dem Hintergrund einen Open WebUI anbinden.

00:29:45: Und Du kannst dann halt mit Drop Down Menü das Modell umschalten?

00:29:48: Genau!

00:29:48: Und es wird dann an andere Rechner geroutet?

00:29:50: Mit

00:29:50: Atmen rechten kann ich die Modelle runterladen oder direkt auch darüber ... mit Userrechten, kann ich die mir zugeteilten ... ... Modelle benutzen.

00:29:58: So könnte ich eben das...

00:29:59: Ist ja eigentlich eine sehr einfache Konstruktion ... ... KI-Server irgendwo im Unternehmen oder eben außerhalb der ... ... einmal für alle aufgesetzt wurden und jeder lockt sich im Browser ... ... auf seinem uralte Laptop da ein und benutzt es?

00:30:11: Genau!

00:30:11: Im Browser oder sogar noch einen Schritt weiter.

00:30:13: Ich könnte an das öffentliche API was dann Open WebUI bereits steht auch wieder andere Dienste also andere Tools anbinden die nach außen die gleiche Sprache sprechen wie ein Cloth oder wie ein OpenAI.

00:30:28: Also auch das geht, ich könnte es sogar noch in meine Entwicklerumgebung im Visual Studio Code einbinden und damit lokal programmieren.

00:30:35: Ich weiß das eigentlich schon weil ich habe dein Artikel vorher gelesen.

00:30:37: aber kannst du vielleicht für alle die zuhören oder zuschauen nochmal kurz einordnen?

00:30:42: Wie schwierig ist das?

00:30:43: also braucht man dann einen richtigen Atmen dafür.

00:30:45: da kann man sich so selber zusammenstöckeln.

00:30:49: Ich wäre mich dagegen zu sagen, Atmen kann jeder.

00:30:52: Ich brauche schon jemanden der weiß was er tut weil ich habe natürlich wenn ich das jetzt für ein kleines Team und gewerbsmäßig oder wie auch immer einsetze dann hab' ich einfach die Verantwortung dass es läuft und ich hab' einfach so ganz profane Atmen in Aufgaben die ich auch bei einer Next Cloud und bei jeder anderen selbst gehosteten Software habe.

00:31:11: Ich hätte auch gesagt, also Linux-Kände sind auf jeden Fall hilfreich und vor allem läuft das ja aus einem Server.

00:31:16: Und den muss ja auch irgendjemand verwalten.

00:31:18: Der braucht einfach Security-Updates, aber auch ein Monitoring hilft durchaus zu wissen wie diese Grafikkarte ausgelastet ist.

00:31:24: Also ich habe Monitoring, Backup, Security Updates als ganz klassische Atmenprobleme die ich mit jeder selbst gehosteten... Software.

00:31:32: Aber

00:31:32: das ist alle die zu Hause, also Zuhause in der Firma ihren Server den server der firma quasi warten und administrieren.

00:31:38: Die können das problemlos installieren weil das sind einfach.

00:31:41: sagen wir es mal so Es war ich eine handvoll befähig glaube ich.

00:31:43: Komplexität level würde Ich sagen wie next loud ausführen nur dass da halt irgendwie noch ein fetter GPU intensiver task im hintergrund läuft.

00:31:52: Jetzt hast du aber schon kino angepiegt

00:31:54: Olamah Olamaa.

00:31:56: Oh nee ich finde Olamaha gar nicht so schlimm Olamas ist ist halt also Open Web UI.

00:32:03: Zapft einen Endpoint an und dieser Endpoint der Endpoint ist quasi das LLM.

00:32:09: und wie das Llm jetzt zur Verfügung gestellt wird, is open web UI ziemlich egal oder nicht ziemlich sondern total egal.

00:32:16: dass kann sonst woher kommen

00:32:18: es kann sogar aus dem Internet komme.

00:32:19: ich kann den Open Web Ui auch einfach ein kommerzielles Modell einbinden.

00:32:22: als

00:32:22: Richtigion Und als LLMs Server hat Jan jetzt Ulama benutzt.

00:32:27: oder als Inferenz in Engine nennt es immer abzapfer sozusagen, zappanlage sozusagen und da ist olama tatsächlich.

00:32:38: also ich würde sagen für die kommandozeile ist olamat im moment das einfachste.

00:32:44: muss man echt sagen da tippt man olama ein und dann fragte er auch so durch direkt model runterladen dann drückt man return nimmt der modell und dann wird das geserved und fertig.

00:32:54: Ich habe mit olama nun ein bisschen das problem dass man das nicht.

00:32:58: Das ist ein bisschen so wie Apple, das läuft entweder.

00:33:02: Aber wenn es nicht läuft dann fängt's an richtig frickelig zu werden und das mag ich an olama nicht so gut.

00:33:07: zum Beispiel Ich habe olama auf meiner rtx vierzig neunzig hab ich dieses modell von dem ich gerede hab quen drei sechs sieben zwanzig b kurvier installieren lassen Und dann hat er das aber so zur achtzig prozent in den auf die cpu ausgelagert.

00:33:24: Ich weiß nicht warum er das gemacht hat und dann war es halt frickelig.

00:33:31: Deswegen würde ich auf der... Wenn ihr auf der GUI unterwegs seid, auf GUI-Ebene würde ich LM Studio eigentlich empfehlen weil da auch dieser Open Web UI Part schon mit eingebaut ist.

00:33:47: also das kann man direkt das LLM Serven und gleichzeitig hat man auch diesen Eingabeschlitz von dem du da geredet hast da direkt mit drauf.

00:33:56: Und LM Studio stellt aber auch so einen Endpoint zur Frühung, wenn man das haben will.

00:34:03: Ich benutze aber am liebsten Lama CPP.

00:34:08: Das ist auch das was sowohl LM Studio als auch O-Lama unter der Haube benutzen.

00:34:14: Das sind quasi Rapper dafür und das ist ein bisschen Spröde in der Bedienung.

00:34:19: Aber wenn es läuft dann läuft das halt wie ein Trecker und ich muss auch zugeben dass ich das so mache, wenn ich ein Rechner habe auf dem ich ein lokales Modell... ...surfen will.

00:34:30: Also einen Rechler den ich als Server für ein lokales Modell benutzen will.

00:34:34: Dann benutze ich einen Cloudmodell und sage.. ..und einen Codingharnis sowas wie Cloudcode oder sonst was?

00:34:42: Oder auch Hermes und sag dann Ich möchte diesen Rechners als server für das um das Modell benutzen.

00:34:50: stellen wir das mal so ein Maximal schnell und mit möglichst viel Kontext funktioniert.

00:35:00: Dann sagt das meistens, ich probiere mal ein paar Benchmarks und dann fängt es an Messreihen zu machen und am Ende habe ich Lama CPP optimal konfiguriert.

00:35:13: Hauen mich vielleicht Leute für dass ich das absolut aber es funktioniert halt gut.

00:35:17: also

00:35:17: die olama steht auch ein bisschen in der kritik immer mal wieder weil olama hat quasi so eine konviniens schicht um lama cpp gebaut.

00:35:24: lama cpp ist ne open source software.

00:35:26: Die olama jungs, die beiden haben früher am ihr start up verkauft an eine docker Ich glaube sogar an docker selbst.

00:35:34: Ja die kommen aus diesem universum haben ihre start-up verkaufen gesagt jetzt machen wir den ki startup und Die haben eben eine Convenient-Schicht um Lama CPP gebaut ohne so richtig.

00:35:44: Zu sagen, dass da drin Lama CPP steht und das der andere Typ der Lama cpp programmiert hat vielleicht wesentlich ein Anteil in der Idee ist

00:35:51: ja unschön.

00:35:52: Und haben erst so ein bisschen unter Druck überhaupt das reingeschrieben?

00:35:55: Das ist die Kontribution oder diese sind nicht so sympathisch.

00:35:58: Nee, das ist ein bisschen doof.

00:35:59: und sie wollen nebenbei halt auch noch ein Geschäftsmodell aufbauen.

00:36:03: Sie wollen mit Lama auch irgendwie noch Geld generieren und sie haben gerade Venture Kapital immer wieder eingesammelt Und die Venture Kapitalgeber wollen halt auch mal irgendwann ein Geschäftsmodell sehen.

00:36:12: Ja

00:36:12: und Olamah hat als Default inzwischen jetzt sogar, dass du dann Abo abschließen sollst.

00:36:18: also das ist Cloud-Modelle.

00:36:20: Das

00:36:20: haben diese ganzen

00:36:22: KI-Unternehmen ja.

00:36:24: Sie sind groß geworden mit dem Thema lokale KI und wollen jetzt so'n bisschen, ja du kannst die lokaleKI auch bei uns zentral machen.

00:36:31: Du kannst

00:36:32: doch

00:36:33: gar nicht mehr so lokal aber ihr könnt dir da was vermieten weil... ... vermieten ist halt das Geschäft und nicht irgendwie so eine Registrie bereitstellen.

00:36:40: Also ich glaube nicht, dass Ulama jetzt irgendwie die glorreiche Zukunft der nächsten hundert Jahre haben

00:36:43: wird?

00:36:44: Ja ja, da sind auch... Ich meine es ist halt jetzt ideologische Kritik.

00:36:48: Ich benutze Ulama eben wegen dieser Konfigurationsgeschichte aber weil es einfach nur ein Rapper ist, ist es auch wenn es optimal funktioniert meiner Erfahrung nach immer ein ganzes Stück langsamer als wenn du Ulama CPP manuell Konfigurierst.

00:37:06: Du hast ja jetzt schon so ein paar Sachen raushängen lassen, was du so mit KI machst?

00:37:13: Weil wir haben jetzt quasi den... Du hast einen sehr soliden Teil.

00:37:17: das ist etwas, was man haben möchte im Alltag und du experimentierst jetzt eher ein bisschen so bleeding edge ganz an der Front würde ich sagen und da kommen ja auch gerade richtig viele Neuerungen.

00:37:28: Wir können auch schon verraten weil die Sache erst scheint wenn Dein Video schon draußen, du sitzt ja gerade an einem Video auch zu so nem Thema.

00:37:37: Was kann man denn noch viel cooleres mit einem lokalen KI-Sover machen?

00:37:42: Also das was Jan erzählt hat ist halt so dieser klassische Chatchi PT Anwendungsfall.

00:37:47: ich habe halt ein Fenster und stelle da eine Frage rein und er wird mir die Frage beantwortet.

00:37:53: vielleicht... ...kann ich da auch einen Bild reinschieben und vielleicht kriege ich dann auch einen Code zurück.

00:37:57: aber da muss ich den Code so copy pasten.

00:37:59: Was aber für mich was ich im moment interessanter finde sind halt so agentische systeme die halt nicht nur text ausgeben oder bilder sondern die halt direkt sachen machen.

00:38:12: Also dieser schritt dass ich erst das copy paste muss der fällt halt weg, sondern die bedienen mein linux.

00:38:22: Ich würde sagen man macht das eigentlich unter linux einfach so pauschal.

00:38:26: das bedient meinen linux selbstständig.

00:38:29: das heißt Ich kann einfach sagen, mir gefällt mein Desktop-Hintergrundbild nicht.

00:38:35: Machen wir mal ein neues.

00:38:36: Suchen wir mal eins über die Google Bilder suche und wenn das nicht findest dann generieren wir eins.

00:38:43: Und dann installiert ist selbstständig, guckt es sich an auf dem System da kann ich ConfiUI drauf laufen lassen, da kann man einen Bildgenator laufen lassen.

00:38:53: Da kann ich dies machen Kann ich wirklich zugucken wie auf der Zeit Dinge passieren und dann ändert sich mein Desktop.

00:39:01: Das heißt eigentlich so ein bisschen, was ich zum Beispiel programmier eigentlich wenn dann überhaupt nur direkt aber... Ich benutze KI klar ich mach mir mal ein Bild ich lass mir bei der Recherche helfen weil Wenn ich hab was im Hinterkopf, es war so was wie ... Und ich werfe diese ganzen Sachen dann einfach in ein Chatbot und sag, such mir mal raus.

00:39:21: Was ist dafür Sachen geben könnte?

00:39:23: Oder ich lass mir beim Troubleshooting helfen.

00:39:26: Das heißt wenn ich verfolge die Sachen, die auf meinem Linux-System nicht gut laufen... ...und wenn ich an einem Punkt komme wo ich nicht weiterkomme, wo ich weiß, naja irgendwo hier zwischen Wayland und Ich Weiß Nicht Wars da sind irgendwelche Variablen irgendwas stimmt nicht.

00:39:39: Ja und das

00:39:39: könntest du nicht sein.

00:39:41: Da wirst

00:39:43: du alles rein.

00:39:43: Ich kann bei mir keine hundertzwanzig Hertz einstellen, das hat glaube ich was mit Weyland zu tun.

00:39:49: Und dann fängt das Ding an zu arbeiten und guckt auch in irgendwelchen... guckt auf Reddit oder so oder in irgendwem Foren oder so und dann versucht es das Problem zu lösen.

00:39:59: Und erstaunlicherweise funktioniert das!

00:40:02: Ist natürlich riskant, weil wenn es dann nicht funktioniert, dann weiß du nicht mehr genau wo du anfangen sollst.

00:40:06: Aber wenn das richtig

00:40:07: gut funktioniert, macht's... Ja ja, im Limain oder wie das heißt bei Cashy OS da kann ich halt auch mit Badda FS immer...

00:40:16: Snapshots, ja Liminé steht glaube ich auf der GitHub Seite aber ich versuch mir auch abzugewöhnen.

00:40:20: Wie Liminée?

00:40:21: Liminee.

00:40:22: Liminés okay.

00:40:23: Ja irgendwie Latein und so.

00:40:26: Da hab' ich jetzt erst, wie gesagt, ich benutze diese Sachen.

00:40:29: Das ist natürlich auch ein bisschen so eine Luxusposition, dass ich probiere krasse Sachen aus damit ich darüber Videos mache.

00:40:36: Ich würde das aber natürlich nicht auf meinem Produktivsystem machen.

00:40:39: Das ist halt ein System.

00:40:41: Wo mir das alles egal ist.

00:40:42: und

00:40:43: na gut Aber du machst so wie das auch für Leute wie mich?

00:40:44: Ich will das nicht machen!

00:40:46: Ich löse solche Probleme selber und ich frage auch gerne KI.

00:40:49: Ja, aber ich will schon mal sehen was geht

00:40:51: und

00:40:51: wie sie sich dabei schlagen weil ich mir denkt Naja wer weiß was da noch kommt.

00:40:55: ja und das habe ich früher halt auf mit klot.

00:40:58: also das muss ich sagen dass habe ich mir tatsächlich echt angewöhnt.

00:41:01: wenn ich ein komputerproblem irgendwo habe dann habe ich klot code installiert ich hab einen entropik abbo und habe dann in kloat code gesagt ihr löst das mal und dann wird es halt gelöst.

00:41:15: und ich hatte aber auch ein bisschen schlechtes gefühl weil das halt einfach alles an entropic geschickt wird und ich dann auch nicht weiß was ist noch so offen system und das kann ich halt jetzt seit quen drei sechs.

00:41:31: Mit lokal mit meinem lokalen system machen funktioniert das schon spannend so gut dass ich das muss sich einmal kurz erzählen diese geschichte, ich habe das zum ersten mal laufen lassen in hermes ich erkläre gleich nochmal was hermes ist.

00:41:47: Mit quenn drei sechs und dann hat es so gut funktioniert dass ich gedacht hab ich habe hier glaube ich noch entropik das Cloud-Modell irgendwie konfiguriert.

00:41:59: Das kann ja nicht sein, dass das hier von diesem... ...fünfzehn Gigabyte Daten da von meiner Grafikarte kommt und dann habe ich wirklich physisch mein Internetkabel rausgezogen weil ich nicht glauben konnte, dass es so gut funktioniert.

00:42:13: und das war tatsächlich das Quellenmodell der Grafikate Und Hermes ist eben... Ich glaube Hermes nennt sich selber nicht so aber ich nenne das jetzt alles mal Harnis.

00:42:26: Also ein Harnis ist quasi so der, was ist denn ein Harness?

00:42:30: Ja so eine Art Rüstung.

00:42:31: So einen Gerüst,

00:42:32: sowas

00:42:32: was Sachen zusammenhält.

00:42:34: Ja genau also das man sozusagen... ...was die LLM-Ausgabe quasi so filtert dass ich das direkt, also das es direkt mit dem Terminal oder auch dem Desktop interagieren kann.

00:42:48: Das is' auch oft ne Zusammenführung von von tools, also dass das harness sozusagen weiß.

00:42:55: Ah ja es gibt dieses tool und dieses tool Und ich benutze dann das und das und harness und Hermes ist eben... ...Hermes ist eigentlich genau gleich wie OpenClaw wenn man ehrlich ist.

00:43:07: Das haben wir vielleicht einige habt ihr wahrscheinlich auch schon gehört.

00:43:11: Openclaw ist halt dieser.

00:43:14: Ja die... Das ist ein bisschen kompliziert weil clotcode das kennt ihr auch ne?

00:43:20: Das ist einfach auf der Kommando-Zeile Coding Tool, was aber auch Dinge tun kann auf der Kommande.

00:43:26: Es kann also Verzeichnisse schreiben machen, es kann Dateien lesen und es kann Dinge auf der Platte machen.

00:43:33: Und deswegen ist Cloud Code gar nicht mal so weit entfernt von Hermes.

00:43:38: Hermes hat und OpenClaw haben zusätzlich noch einen Layer drin Der mit unterschiedlichen Messenger Anwendungen arbeiten kann.

00:43:51: das heißt Ich kann dann zum Beispiel mit Telegram auch damit kommunizieren.

00:43:57: Ich muss das nicht alles auf der Kommando Zeile machen und das ganze drumherum, dass quasi die Intelligenz eines LLMs so verwendet wird, dass mein... Das möglichst viel Computer damit bedient werden kann!

00:44:15: Und das ist halt auch wieder, da kommt jetzt Olama ins Spiel.

00:44:18: Was halt wirklich cool ist, dass Olama Hermes jetzt per Default unterstützt.

00:44:22: wenn du jetzt in die neuste Olama Version dir runter lädt.

00:44:25: Tippst du ein Olama und dann kannst du... Kommt da direkt zum Menü?

00:44:29: Dann kannst du direkt aus Olama heraus Hermes installieren und unten lokales Modell und dann hast du direkt Hermes laufen und das lokale Modell wird halt von Olama gefiedelt.

00:44:43: Und dann kannst du halt, es klingt alles wahnsinnig.

00:44:47: So merken das selber wie kompliziert das klingt.

00:44:49: aber eigentlich hat man eine Kommando-Zeile die sagt da ein Hallo hier ist Hermes und dann sagt man mach mir mal guck mal bitte auf meiner Platte ich hab ganz viele JPEGs auf der Platte.

00:45:03: kannst du mir die mal sortieren und dann fängt er an.

00:45:05: Ich hatte jetzt total Angst.

00:45:07: Aber in dem Moment Peter wirklich dabei dass ich mir denke... Das möchte ich nicht mit einem Cloud-Modell machen.

00:45:11: Richtig, genau!

00:45:12: Richtig?

00:45:13: Ich

00:45:13: möchte ja nicht alle Verzeichnisse einmal durchgehen und vielleicht auch in der Inhalte... Also allein dieser Teilnamen soll bitte nicht...

00:45:19: Ganz genau.

00:45:20: also das ist halt genau.

00:45:21: das ist der Punkt warum dass gerade so ein Matchmade in Heaven ist diese diese agentische Systeme unlokale Modelle weil das dann sich, weil es da nicht mehr wehtut Weil ich dann weiß wie gesagt ihr habt mein Kabel abgezogen Es geht nichts raus.

00:45:35: Bilder wählen ist das eine um die zu sagen hier ist mein E-Mail Postfach.

00:45:39: Das wäre ja mal schön, wenn das mal einer sortiert.

00:45:40: Kannst du das machen?

00:45:41: Ohja bitte!

00:45:42: Immer nach Priorität sortieren.

00:45:44: Da möchte ich aber wirklich mal so gar nicht das Entropik oder Open-Mail IDER

00:45:47: Finger

00:45:48: dran.

00:45:48: Aber

00:45:48: da habe ich ehrlich gesagt ein bisschen Angst vor und das ist halt auch so'n Ding.

00:45:52: man kann als Faustregel also dass es ein bisschen... Also wenn ich damit so normalen Leuten drüber rede die nicht zu krass in der Bubble drin sind Die denken immer, dass sie am einfachsten einfache UIs sind.

00:46:05: Also sowas wie Gmail oder Google oder so oder keine Ahnung, wo es halt im Zweifel wenig Schaltflächen gibt.

00:46:13: Und das ist aber bei FLLMs aus LLM sich genau umgekehrt.

00:46:19: die können am besten Terminal Kommandozeile bedienen.

00:46:23: also das kann auch waren das können solche langen Befehle sein ist denen egal Das können ja am Besten.

00:46:30: wenn sie eine grafische Benutzerfläche bedienen müssen dann Sieht das so aus wie eine Person, die zum ersten Mal eine Maus benutzt?

00:46:38: Also es ist schmerzhafter anzusehen.

00:46:41: Klicken dann da sehen klicken hier sehen funktioniert nicht

00:46:45: einfach mal die maus mit der anderen hand bedienen.

00:46:46: Aber

00:46:48: das sagt vielleicht auch was darüber aus wie schlecht grafische oberflächen sind total unterschiedlich und wie wenig vereinheitlich auch so ui konzepte sind.

00:46:56: Ist halt menschen seid fürs augen und die müssen halt wirklich jedes bild die müssen hat die haben die ui da und den müssen die das bild Auf die Bilderkennung drauf schieben und da könnte eine Schaltfläche sein.

00:47:08: uns ist halt super umständlich.

00:47:10: Und Kommando zahlen wir sind ja oft Linux das ist ja alles exzellent dokumentiert

00:47:14: genau also, deswegen kann man das wirklich pauschalisieren.

00:47:19: Alles was auf der Kommandoseile machbar ist kann ein LLM.

00:47:24: Also definitiv besser als ich weiß nicht ob es besser ist aber das funktioniert halt wahnsinnig gut und wahnsinn schnell.

00:47:34: kommt, wir haben halt beruflich unser e-mail Postfach auf Outlook.

00:47:41: Gibt's ein Kommando-Zeitool?

00:47:43: Was ist mein Outlook-Postfach?

00:47:45: Wir werden es rausfinden.

00:47:46: ja...

00:47:46: Ich

00:47:47: bin sicher wenn es jemand herausfindet dann wir!

00:47:49: Aber ich meine so das traue ich mich tatsächlich auch noch nicht dass ich mein lokales Hermes wird nicht auch meine kompletten Mails ansetzen und sagt, löscht mir mal alles unwichtige.

00:48:00: Ich finde die Vorstellung toll.

00:48:02: auf einem lokalen Rechner meiner gesamte Bildersammlung als ich Fotografier seit ewigen Zeiten habe sehr viel digitale Fotos die durchsuchen und kommentieren.

00:48:12: Ich weiß, ich hab mein Bild von XY gemacht.

00:48:14: Kannst du mir das bitte mal raussuchen?

00:48:18: Das wär natürlich schon geil.

00:48:19: Und zwar ohne dass irgendwie Google einmal über meine kompletten privaten Fotos rödelt.

00:48:25: Wir stehen so einer Schwelle zu einer neuen Bedienenphilosophie vom Computer.

00:48:32: Das ist halt das Ding ... Es ist schwierig Beispiele zu finden weil... Weil halt, weil es so ein bisschen alles aber nichts.

00:48:42: Also was ich zum Beispiel relativ krass finde ist dass ich einfach sage Such mal das und das Lied raus Okay da muss man dem vielleicht im Spotify Account geben oder YouTube oder was weiß ich Und spiel das dann auf meiner Sonosbox ab und das Ding mehr sag' ich gar nicht.

00:49:01: und das ding findet dann in meinem Netzwerk.

00:49:03: meine Sonos Box Findet raus.

00:49:06: wie spielt man das ab?

00:49:08: Also was absolut ersetzbar werden wird, glaube ich sind Windows User kennen das ja.

00:49:13: Ich bin manchmal so Teilzeit-Windows-User.

00:49:16: die neuen Einstellungen Windows stoßen nicht nur auf Gegenliebe.

00:49:20: Da hat man sich ein völlig verschachtetes Menü gebaut.

00:49:23: Das einzige was hilft ist oben in die Suche das einzugeben und zu hoffen dass man die richtige Lautstärke oder Lautsprecherkonfiguration findet.

00:49:30: Die Bedeutung solcher UIs... ... die auch die Betriebssystemhersteller bauen, nimmt total ab, weil man einfach sagen kann... ... andere Audio-Ausgang bitte.

00:49:39: Spielt das nochmal an den Audioausgang?

00:49:40: Ja okay!

00:49:41: Ich

00:49:41: find' die Idee schön, dass da eine NKI im Hintergrund Linux Befehle benutzt um ein Windows bedienbar zu machen.

00:49:47: Das finde ich ist eigentlich damit...

00:49:49: In meinem Beispiel lief jetzt eine lokale KI unter Windows.

00:49:52: Auch das geht wohl.

00:49:54: Also es geht halt auf.

00:49:56: Windows lässt sich ja auch bei Kommandozeile bedienen.

00:49:58: Und auch aber es geht mit Linux besser als besser Dokumente.

00:50:02: Aber ich muss schon sagen, dass ich beim Testen wirklich gedacht habe.

00:50:06: Das ist eigentlich genau das was Microsoft mit Co-Pilot Plus eigentlich... Also so hab' ich mir das jedenfalls vorgestellt, ...was Microsoft damit Co-pilot Plus vorhat'.

00:50:17: Und auch was Siri und Apple und so mit KI machen können wollen.

00:50:24: Ich glaube es ist wirklich genau das, was die sich vorstellen Irgendwann in der Zukunft und das geht halt jetzt einfach.

00:50:32: Ich bin sehr gespannt, wie lang es dauert.

00:50:34: Würde an dieser Stelle glaube ich mal... ...das ganze Rund machen?

00:50:39: Habt ihr noch was, was dringend raus muss?

00:50:41: Sonst würde ich sie einfach direkt zu deinem Artikel und zu dein Video weiter schicken!

00:50:45: Ja, ich möchte eigentlich nur nochmal aufrufen auszuprobieren.

00:50:49: Wir haben jetzt natürlich sehr viel über teure Hardware und über High-End Hardware gesprochen, trotzdem lohnt es sich einfach mal auszuprobieren was mit der eigenen Hardware vielleicht geht.

00:50:56: Alle die irgendwie spielen und vielleicht schon eine mittelfette Grafikkarte haben, einfach die nehmen.

00:51:01: Es gibt eine Webseite die ich noch empfehlen möchte, KenItRun.dev.

00:51:04: also läuft das Punkt Dev.

00:51:07: Ken It Run dev gebe ich oben ein welche Grafikkart ich habe und dann legt es mir vor welche Modelle da wohl in den Videorammen passen.

00:51:14: Man kann aber auch so gerade...es gibt solche die heißen Mixture of Experts-Modelle Wo sozusagen nur ein Teil des Modells in dem schnellen Speicher laufen muss, der Rest kann dann im normalen Ram sein.

00:51:27: Das habe ich jetzt mit der Steam-Machine ausprobiert, die hat ja nur acht Gigabyte Grafikspeicher und oh Gott, sechzehn Gigabyte glaube ich... ...normalen Speicher.

00:51:37: Und da hab' ich zum Beispiel auch einen Gamma vier Modell.

00:51:42: Es war jetzt nicht toll aber es hat auf jeden Fall funktioniert.

00:51:46: Könnte damit laufen lassen also.

00:51:48: LMS

00:51:49: Studio installieren?

00:51:51: LM Studio und einfach mal ausprobieren, was so geht mit der eigenen Hardware ohne großes Investment ist sicherlich mehr Spaß als auf GTA VI warten.

00:52:01: Dein Artikel auf Heise Plus ist ewig eine Schritt-für-Schrittanleitung.

00:52:05: Den werde ich noch mal in den Shownotes und YouTube-Beschreibungen verlinken, dann könnt ihr euch da angucken.

00:52:12: Und dein Video, da hab' ich noch keinen Link dazu aber das kommt ja diesen letzten Freitag quasi raus.

00:52:20: Da weiss ich, wirst du auch nochmal mehr über Modelle erzählen?

00:52:23: Nämlich an... ...und bisschen tiefer gehen wie diese Sachen alle zusammenspielen.

00:52:29: Ihr merkt ja, ich kann gar nicht aufhören.

00:52:32: Das ist so ein... Es spreit sich dann so auf wenn man dann alleine über Hardware zu sprechen wie komplex das ist dass man jetzt also denkt.

00:52:44: So'n Mac Studio der hat ja ganz schnell einen Unified RAM da müsste das ja super mit funktionieren was so nicht stimmt und denn gibt's noch.

00:52:55: Jetzt kann ich wieder anfangen, aber es gibt also wirklich sehr viel worüber man da sprechen kann was man beachten muss.

00:53:03: Deswegen kann ich auch nicht unbedingt sagen dass das alles in dem Video ist schon länger als die anderen Videos und es ist glaube ich sehr informationsdicht das aktuelle.

00:53:13: Aber alles werde ich ja auch nicht besprochen haben, ihr könnt gerne meinen Podcast hören.

00:53:18: Unseren Podcast viertausendvier ct-viertausendsvier der dreitausend zwei Podcast da reden wir viel.

00:53:24: darüber

00:53:24: werden wir auch unten nochmal verlinken

00:53:26: sehr gut.

00:53:26: und was ich gut finden würde wenn ihr da draußen mir Anwendungen praktischer Anwendung für so agenziechte Systeme wie Hermes oder Omklar gebt die anschaulich sind, weil ich hab wirklich Probleme damit.

00:53:44: Ja das

00:53:44: ist gut!

00:53:45: Das ist eine gute Idee.

00:53:46: Probleme damit Leuten das zu erklären was man damit machen kann.

00:53:49: also gerade Leute nicht so computerfreaks sind die sagen was ist denn ne Kommandozeile?

00:53:55: und dann sag' ich denen meistens ja ihr wenn ihr irgendwas verändern wollt was du grad gesagt hast mit dem wo das welches Mikrofon ihr benutzt dann müsst ihr nicht mehr in irgendwelchen Einstellungsminus gucken sollen.

00:54:06: ihr sagt dann einfach was ihr wollt und ihr könnt das auch als Sprachnachricht Reinsprechen und das verstehen die dann.

00:54:13: Die leute aber man kann natürlich auch noch ganz

00:54:16: vollere

00:54:16: sagen

00:54:17: ist es ganz schwierige herauszufinden was?

00:54:19: Also ich find's immer wieder spannend mit neuen Leuten drüber zu sprechen, wie die eigentlich KI im Alltag benutzen.

00:54:24: Weil ich weiß es nicht!

00:54:25: Ich bin zu tief in dieser Techbubble drin und in der Redaktion sind wir noch mal ganz vorne mit dabei und haben den ganzen Tag Zeit uns mit solchen Sachen zu beschäftigen.

00:54:32: also das wäre wirklich spannend.

00:54:34: und in dem Fall würde ich sagen schreibt uns eine Mail an, ich schau nochmal ablinketct.de oder schreibts uns unten in die YouTube-Kommentare.

00:54:45: Ich keine Ahnung, ihr werdet einen Weg finden.

00:54:47: Das Wissen zu lassen ist wert total toll.

00:54:51: und dann würde ich sagen Lassen wir es.

00:54:52: diesmal werden das Thema sicherlich noch häufiger aufgreifen glaube ich.

00:54:55: die Aussichten sind auf jeden Fall ziemlich cool.

00:54:58: Wir sind damit am Ende der heutigen Ablehnung vor euch beiden vielen Dank Kino.

00:55:04: schaut euch gerne Kinos Podcast an bei CT-Dreitausend drei vorbei oder bei Heise, da schreiben wir regelmäßig.

00:55:11: Hoff

00:55:12: man Heft vielleicht?

00:55:13: Oder hofft

00:55:13: man die

00:55:13: City?

00:55:13: Wir haben Heft!

00:55:14: Genau, ich weiß nicht in welchem Heft dein Artikel war... Ich habe ihn nur auf Heise Plus gesehen aber das lässt sich sicher herausfinden.

00:55:23: Vielen Dank fürs Zuschauen und Zuhören da draußen und bis zum nächsten Mal.

00:55:29: Tschüss!

00:55:29: Viel Spaß im Kaninchenbau.