Prompten wie ein Profi: KI versteht dich doch!

00:00:00: Schreibt

00:00:00: mir einen Businessplan.

00:00:02: Nein, nicht so.

00:00:03: Mach das noch mal, aber besser.

00:00:05: Warum verstehst du mich nicht?

00:00:08: Kommt dir das bekannt vor?

00:00:10: Wenn bist du entweder Manager oder versuchst, gerade mit einem Chatbot zu kommunizieren.

00:00:15: Die gute Nachricht?

00:00:17: Im Gegensatz zu Menschen kann man Chatbots tatsächlich beibringen, einen zu verstehen.

00:00:22: Man muss nur wissen, wie.

00:00:24: Heute geht es ums Promting, die Kunst einer KI zu sagen, was man wirklich will.

00:00:29: Von Rollen über Beispiele bis zu Edge-Cases.

00:00:32: zeigen wir euch, wie ihr das Beste aus eurem digitalen Gesprächspartner herausholt.

00:00:37: Herzlich willkommen zur neuen Folge von Künstlich Klug, dem KI-Podcast ohne Hype, dafür mit Fakten und Begeisterung von Afritz-Konsulting und TV-Series.

00:00:47: Aus dem windigen Köln begrüßen euch Christoph

00:00:49: und Andreas.

00:00:51: Oh, hallo Andreas.

00:00:52: Hi Christoph.

00:00:54: Und herzlich willkommen zu einer neuen Folge von Künstlich Klug.

00:00:59: dem KI-Podcast.

00:01:00: Das ist immer ein Zungenbrecher.

00:01:01: Es ist ein Zungenbrecher.

00:01:02: Wir haben schon sehr viele Aufnahmen verkackt, gerade am Anfang.

00:01:08: Die Zuhörer wissen nicht, wie oft wir diese Einleitung jetzt schon aufgesagt haben.

00:01:11: Richtig,

00:01:12: genau.

00:01:12: Ach

00:01:12: Gott, dass wir es jetzt geschafft haben.

00:01:14: Ja, dann wollen wir mal prompt

00:01:17: zum Thema

00:01:18: kommen, dass heute prompting ist.

00:01:21: Genau, prompting.

00:01:23: Sehr cool.

00:01:23: Ja.

00:01:24: Auch wieder den Anglismus mal kurz auflösen.

00:01:27: prompt, die im Sinne von die Aufforderung jemandem auffordern etwas zu tun, ist ja das, was sich in ein Chatbot, in ein LLM, in ChatGPT und Co.

00:01:38: reintun, damit sie mir eine Antwort geben oder tun, was ich sage.

00:01:42: Das soll das Thema sein, wie man das gut

00:01:44: macht.

00:01:44: Genau.

00:01:45: Ich glaube, das Thema Chatten im ... Sinne mit, also im Kontext mit einer KI sozusagen, ist ja auch erst durch Zufall entstanden.

00:01:58: Und dadurch sind diese Dialoge erst entstanden und die Proms, die Befehle, die man eingibt, um... Was rauszubekommen?

00:02:06: Genau, dieser erste Chat, das Chat-Shipt war eigentlich mehr ein Test-Ballon, dass das funktioniert.

00:02:15: Wie wir ja sagten in unserer Einführungsfolge, eigentlich sind LLMs dafür da.

00:02:20: Text fortzuspinnen.

00:02:22: Und da hat halt jemand die Idee, Moment, wenn der Text ein Dialog ist, dann kann ich das, was der User reingibt, ja quasi in die eine Rolle tun und das andere in die andere.

00:02:30: Das heißt, die unterhalten sich ja nicht wirklich mit uns, weil, Giacci, ich weiss, was du sagst und was ich.

00:02:36: Das Promting ist allerdings schon älter, denn das Promting, das hat man da noch nicht so genannt, der Begriff kam erst später, ist eigentlich ein Beispiel von, also es gibt das Beispiel, View-Shot-Learning ist der englische Begriff, aus wenigen Beispielen etwas zu lernen.

00:02:53: One-Shot-Learning aus einem Beispiel, man hat also nur einen Shot, One-Shot, ein Beispiel, das man geben darf und das... In-Context-Learning nennt man das andere, dass es sich gar keine Beispiele gibt, sondern ich gebe nur den Kontext und dann lasse ich so ein System eine Aufgabe lösen.

00:03:11: Das gab es tatsächlich schon vorher, also man hat gemerkt, dass diese neuen Transformer mit diesen Techniken auf einmal klar kamen.

00:03:18: Ich weiß das noch, ich kenne die Systeme noch vorher, wo man mit ... Der erste Knaller bei den Transformern, das ist die Technik, die unter ChatGPT steht, war, dass man bei vielen Aufgaben nur noch ein paar Hundert Beispiele brauchte.

00:03:33: Du lachst, das war vorher mit klassischen NLP-Techniken.

00:03:36: Da hat man Zehntausende Beispiele gebraucht.

00:03:39: Ein ganz klassisches NLP-Problem ist Named Entity Recognition.

00:03:44: Also Entitäten wie Person, Orte, Produktname usw.

00:03:47: in dem Text einfach zu markieren.

00:03:49: Der klassische Datensatz, den man da im Deutschen benutzt hat, der hatte Zehntausende Beispiele und da hat man das noch nicht perfekt mitgelöst.

00:03:56: Das ist heute, bitte markiere alle Personen in folgendem Text.

00:03:59: Da brauche ich noch nicht mal mehr ein Beispiel zu nehmen, das können die out of the box.

00:04:03: Deshalb war ein paar hundert Beispiele, ich war baffig, kann mich jetzt noch dran erinnern.

00:04:06: Ich war so stolz, ja, das ist den komplett selber programmiert.

00:04:09: Total.

00:04:10: Baff.

00:04:10: Und deshalb, dann kam es, oh, es waren nur noch ein paar Dutzend, nur noch fünf, Viewshot Learning, nur noch eins, gar keins mehr.

00:04:18: Und dann kam halt ChatGPT und der ganze ChatKram.

00:04:22: Und jetzt immer beim Prompt.

00:04:22: Wir haben einen kleinen

00:04:24: Exkurs.

00:04:25: Aber warum auch nicht?

00:04:26: In der Historie des Promptings.

00:04:27: Warum

00:04:27: auch nicht?

00:04:28: Ich habe es kennengelernt, als ChatGPT dann quasi öffentlich zugänglich wurde und man am Anfang sehr schnell gemerkt hat, Die Ergebnisqualität schwankt noch sehr und man konnte durch gute Befehle bessere Ergebnisse erzeugen, bzw.

00:04:47: die Wahrscheinlichkeit, dass die Fortsetzung, die das GPT schreibt, besser wird.

00:04:59: der Begriff Promt-Engineer irgendwie durch den Raum gegeistert.

00:05:02: Also im Prinzip das, was Leute dann irgendwie gemacht haben.

00:05:06: Die haben gesagt, ich kann ganz toll da Befehle eingeben, dann kommt noch bessere Ergebnisse raus.

00:05:11: Da wurden irgendwie für einen Moment astronomische Summen für irgendwelche Promt-Engineers bezahlt.

00:05:15: Die wurden

00:05:15: nie wirklich bezahlt.

00:05:16: Ich glaube, das wurde nur so dargestellt.

00:05:19: Vielleicht hat das mal ein, zwei Leute bekommen und dann wurde es eine gute Link in Nachricht.

00:05:25: Genau.

00:05:25: Und trotzdem war es am Anfang ... ... ein Thema, weil ... ... man mit einfachen ... ... oder mit einfachen ... ... geschriebenen Prompts nicht so weit kamen ... ... und man mit Prompts die ... ... eine Rolle, ein Ziel, ein paar Beispiele innehatten ... ... viel einfacher zu einem Ergebnis kamen, weil ... ... man ... ... also so ... ... hab ich mir das immer vorgestellt, wenn ich dem sage, ... ... du bist ein Experte im ... ... und hast schon hundert Jahre Erfahrung ... Und das Ziel ist folgendes.

00:05:57: Der Trick ist, das ist einer der

00:05:59: schönsten.

00:06:00: Genau, konnte man die Wahrscheinlichkeit etwas erhöhen, dass er, oder dass das LLM, den Teil des Datensatzes ausblendete und den Teil wahrscheinlicher nahm.

00:06:13: Das ist richtig so.

00:06:14: Denn die sind ja auf ganz vielen Diskussionen, auch in Onlineforen und auf Reddit und so trainiert worden.

00:06:20: Und die wollen ja nicht die richtige Antwort geben, sondern nur die sich im bisherigen Kontext wahrscheinlich anhört.

00:06:25: Und wenn ich jetzt einen Dialog habe und sage, der erste Typ ist die totale Nulpe und erzählt nur Blödsinn, dann wird das LLM happy, ganz fröhlich lauter Blödsinn erzeugen.

00:06:37: Wenn ich aber sage, der oder diejenige ist eine absolute Expertin auf ihrem Gebiet, dann wird es natürlich aus den intern abgespeicherten Daten die richtigen Antworten raussuchen.

00:06:49: Das heißt ironischerweise, wenn ich sage, du bist voll schlau.

00:06:52: Liebes ChatGPT, dann gibt es schlaure Antworten.

00:06:54: Aber nicht, weil es schlauer wird, sondern weil es sagt, oh, ich muss eine schlaue Rolle spielen.

00:06:59: Und das ist einer der Tricks.

00:07:01: Aber ich merke ja schon beim Prompting, es ist gar nicht so schlecht darüber zu reden, wie es früher war.

00:07:06: Heutzutage sind die Systeme durch das Feintuning natürlich immer mehr auf die tatsächlichen Userpräferenzen gedrillt.

00:07:13: Das heißt, die sind schon drauf gedrillt, sich generell schlau zu verhalten.

00:07:16: Eigentlich sind aber wie man... einen guten Prompt schreibt, lernt man eigentlich am besten an den alten Systemen, weil die noch nicht so gut sind, weil die Techniken sind immer noch die gleichen.

00:07:25: Man muss sie nun nicht mehr so oft anwenden.

00:07:28: Das kann man vielleicht als Allererstes sagen, bevor wir zu den Techniken kommen, die muss ich nicht immer machen.

00:07:34: Wenn ich einen Prompting Workshop gebe oder Vortrag mache, wenn ich das prompte, mein erster Tipp ist, erstmal kein Prompt-Engineering zu machen mit den neuen Systemen, weil die sind so gut.

00:07:43: Erst mal ausprobieren und gucken, ob es klappt.

00:07:44: Ich muss keinen Roman schreiben, wenn ich ohnehin die richtige Antwort.

00:07:47: kommen.

00:07:48: Erst wenn ich merke, es klappt nicht, dann mache ich mal einen Werkzeugkasten auf und hole die Werkzeuge raus.

00:07:53: Und man muss auch dazu sagen, es sind vielleicht zehn Tipps oder so, die man braucht.

00:07:57: Prompt Engineer ist kein Beruf, genauso wie Googler kein Beruf ist.

00:08:02: Ja, es gibt Leute, die können es besser und schlechter und es ist ein Skill, den sollte eine Fähigkeit auf Deutsch, seine Fähigkeit, die man sich anlernen sollte, aber da muss man jetzt nicht Wochen rein investieren, sondern ein bisschen lesen und Podcast hören.

00:08:18: Wir sind rumprobieren, das reicht schon.

00:08:20: Aber genau, damit vorausgeschickt.

00:08:24: Was für Tricks hast du denn dann angewendet?

00:08:26: Also der Klassiker ist dem Ding zu sagen, dass es tatsächlich weiß, was es tut.

00:08:30: Das hilft.

00:08:30: Du bist ein Expertein.

00:08:32: Genau.

00:08:32: Eine Rolle war wichtig, genau das konkrete Ziel.

00:08:37: oder für wen schreib ich gerade, für wen soll es geschrieben werden.

00:08:41: Entschuldigung nicht, da wieder die Theateranalogie.

00:08:44: Welche Rolle nimmst du in dem Theaterstück, das da gespielt wird?

00:08:47: Wenn ich sie nicht sage, kannst du es auch nicht machen.

00:08:49: Und wer ist mein Publikum, beeinflusst ja auch was für ein Theaterstück das ist.

00:08:54: Also wir haben die Rolle, wir haben, dass du voll schlau bist, wer ist die Zielgruppe?

00:08:58: Ja, weiter.

00:08:59: Genau, das Ziel... ... dieses Prompt, oder die eigentliche Aufgabe, ... ... also die meisten Zeit haben zwei geteilt, genau ... ... und manchmal habe ich eben Beispiel mitgegeben, ... ... wenn ich Beispiel hatte.

00:09:11: Beispiels sind super.

00:09:12: Und das waren so die Grundlagen, ... ... aber das verdeutlicht aus meiner Sicht irgendwie, ... ... dass gutes Prompting viel damit zu tun hat, ... ... eine Vorstellung vom Ergebnis zu haben.

00:09:24: Genau.

00:09:25: Also wenn ich das Ergebnis, ... ... wenn ich weiß, was ich rauskriegen möchte, ... ... ungefähr.

00:09:30: Eine Vorstellung hat vom Ergebnis ... ... kann ich saumäßig gute Prompte schreiben.

00:09:34: Wenn ich das nicht habe, eben nicht.

00:09:36: Und ich glaube, dass es tatsächlich ... ... wie bei vielen Andängen ... ... entwickeln ... ... oder Brosa schreiben, ... ... irgendeine Form, das ist genau das Gleiche.

00:09:44: Genau, deshalb ... ... können ... ... die Dinger auch nicht einfach mal eben so ... ... alle Jobs ersetzen, weil ... ... es ist tatsächlich so, dass ... ... viel ... ... Arbeit abgenommen werden kann ... ... durch die Nutzung von LLMs, ... ... aber ich muss ... mir Gedanken darüber machen, was will ich erreichen.

00:10:01: Wenn ich irgendwas für einen Kunden tue, muss ich den Kunden verstehen.

00:10:03: Das muss ich machen.

00:10:04: Das kann ich das LLM machen.

00:10:06: Ich muss mit dem Kunden erst mal reden und aus ihm rausholen, was er denn braucht.

00:10:10: Das ist, denke ich, ein ganz schönes Beispiel dafür.

00:10:13: Klar, es wird eine Menge Arbeit abgenommen, aber ich muss mir schon Gedanken machen.

00:10:16: Das fällt nicht vom Himmel.

00:10:17: Und alle, die jetzt ihre gesamten Angestellten feuern wollen, damit es damit als automatisch läuft, werden sie wenig Erfolg mit haben, weil wer macht sich denn Gedanken darüber, was in das LLM überhaupt rein soll?

00:10:30: Ja, klar, frage ich ein anderes LLM.

00:10:32: Also, nee, das funktioniert ja nicht.

00:10:34: Ja, schöne Beispiele.

00:10:36: Das sind die Basics.

00:10:36: Also hätte ich jetzt sofort auch gesagt, das sind die Basics.

00:10:40: Ein etwas technischerer Trick, wenn ich anfangen will, das ist das, was ich für den Chat brauche.

00:10:46: Hundert Prozent mehr brauche ich eigentlich auch meiner.

00:10:49: Ich habe eben gesagt, so zehn Tipps, aber das war es eigentlich schon.

00:10:52: Es gibt noch immer eine Sache, wenn ich ein LLM-Nutze, um eine eigene Software zu bauen.

00:10:58: Dann kommt ein bisschen vom Chat weg, also von der Bedienung für mich selber im Browser, sondern ich baue ein Softwareprodukt, das automatisiert irgendwelche Schritte ausführen will, ist ein guter Trick, immer Markdown zu benutzen.

00:11:10: Das werden ganz viele Zuhörer und Zuschauer noch nicht gehört haben.

00:11:14: Markdown ist eine Art und Weise einfache... Text-Dateien zu schreiben.

00:11:19: Also TXT, kein Word, keine großen Formatierung, keine Farben, keine Kreativgestellte, sondern wirklich einfach nur Text zu tippen, wo es gewisse Regeln gibt.

00:11:27: Zum Beispiel, dass ich so ein Sternchen-Asterisk für Bullet Points benutze.

00:11:31: Wenn ich keine echten Bullet Points habe, weil ich die formatieren kann.

00:11:35: Dass ich zum Beispiel ein Hash-Symbol für eine Überschrift mache.

00:11:40: Dass ich Absätze durch eine Leerzeile trenne.

00:11:43: Das kann man mal einfach googeln, mark down.

00:11:45: Es ist ein Wortspiel, es soll das Gegenteil sein von Markup im Gegensatz zu HTML, Sprachen wie HTML, mit denen ich Webseiten gestalte, die sehr komplex sind, um Sachen zu erreichen, heißen extra Markupsprachen.

00:11:57: Und Markdown soll super leicht sein.

00:11:59: Und das ist es auch, das cool ist, jeder kann Markdown in fünf Minuten lernen.

00:12:02: Und das macht es so toll.

00:12:03: Man kann Markdown in fünf Minuten lernen.

00:12:05: Und alle LLMs intern, weil sie nur Text können.

00:12:09: Wenn die ein Buch haben, PDF oder irgendwas können, die können kein PDF lesen.

00:12:12: In welcher Form haben die ganzen IT-Unternehmen den Text in die LLMs gepackt?

00:12:18: Markdown.

00:12:18: Weil alle Computerprogrammierer gerne Markdown benutzen.

00:12:22: Alle Hersteller, ohne ausnahmslos.

00:12:24: Das heißt, wenn ich meine Daten, meine Beispiele markdownartig formatiere, Sieht das Modell etwas, was es in seinen Trainingsdaten besser gesehen hat?

00:12:32: Ich krieg besser

00:12:33: Namen.

00:12:34: Genau.

00:12:34: Ich glaube, um es noch eins weiter runterzubrechen, alles das, was Text basiert ist, kann ein LLM einfacher verarbeiten.

00:12:42: Ja, also ich habe häufig damals Beispiele gemacht.

00:12:46: Text versus PDF.

00:12:48: Der Klassiker kann es schlechter lesen oder ein Wortdokument kann es auch schlechter lesen, weil es das erst... ... extrahieren muss, um es verarbeiten zu können.

00:12:58: Es macht Markdown draus, ... ... aber mit einem externen, automatischen Programm ... ... und wenn ich das selber mache, ... ... mache ich es meistens besser.

00:13:03: Was mittlerweile geht, ... ... aber seit langem eben noch nicht so

00:13:06: gut ging.

00:13:07: Inzwischen geht es besser.

00:13:09: Damals habe ich immer den Tipp gegeben, ... ... Jason zu verwenden, ... ... weil das eben auch eine Art Text ... ... Textformat war.

00:13:16: Vielleicht

00:13:16: für die

00:13:16: Nicht-Programmierer,

00:13:17: ... ... die zuhören.

00:13:18: Was ist Jason?

00:13:19: Jason ist ... Datenformat oder eine Datenstruktur, wie sie mit JavaScript häufig verarbeitet wird.

00:13:27: Daraus werden häufig Datenmanken, aber eben auch Texterteilen

00:13:30: gemacht.

00:13:31: Und genau, häufig wird mit Klammern auf, Klammern zu etc.

00:13:35: gearbeitet bei solchen Dingen.

00:13:37: Und das habe ich anfangs als Tipp häufig mitgegeben, weil ich den Eindruck hatte, dass LLMs damit einfacher arbeiten konnten.

00:13:48: Man merkt auch häufig, und das liegt aber auch an den Trainingsdaten, dass LLMs in manchen Programmiersprachen besser arbeiten können als mit anderen, einfach weil er mehr Trainingsdatensatz schon vorhanden kann.

00:14:01: Jason

00:14:01: war ein sehr beliebter Trainingsdatensatz.

00:14:05: Also wer ein Programmier hintergrund hat, kann Jason oder auch wer es noch kennt, XML jedenfalls benutzen.

00:14:11: Allerdings sollte man das bei Problemen machen, die wirklich strukturierte Daten dabei.

00:14:15: Für Beispiel ist es sehr gut.

00:14:16: Man muss aber dann auch darauf achten, wenn ich dem fünf Beispiele in der JSON-Struktur gebe.

00:14:21: Das ist dann meine tatsächliche Anfrage.

00:14:24: in der gleichen Struktur stelle.

00:14:25: Das ist wichtig.

00:14:27: Und gerade wenn ich das programmatisch machen will, ich schreibe ein Programm um meinen LLM-Problem, dann ist es sowieso praktisch, weil Programme erzeugen gern JSON und XML.

00:14:35: Dann habe ich das Problem nämlich auch schon gelöst, wie ich die Daten rein und rausbekomme.

00:14:39: Denn diese Formate sind auch eigentlich eine Art von Text.

00:14:42: Das sind Datenformate für die, für die, die es nicht kennen.

00:14:45: Es sind Datenformate, aber Datenformate, die sich durch rein Text ausdrücken lassen.

00:14:50: Damit nicht für LLMs

00:14:50: gerechnet.

00:14:51: Halt mal fest, Text.

00:14:53: Was wäre denn aus deiner Sicht noch so ein paar fortgeschrittene Arten, prompting zu betreiben?

00:14:59: Ja, bist du ja eigentlich der Experte.

00:15:00: Ich sage einfach mal, sich klar und deutlich ausdrücken.

00:15:04: Das ist tatsächlich der wichtigste Tipp.

00:15:06: Einfach mal ordentlich hinzuschreiben, was man will.

00:15:10: Und ich gebe zu, da hört es bei mir mit den Advanced-Techniken auf.

00:15:14: Also ich benutze ganz viel Markdown.

00:15:15: Ich gebe viele Beispiele.

00:15:16: Bei den Beispielen.

00:15:18: Ganz wichtiger Tipp, die Ausnahmefälle machen.

00:15:21: Das heißt, wenn ich Beispiele gebe, dann so als Tipp geben, wie soll ich mit Ausnahmefällen umgehen, die nicht eindeutig sind.

00:15:27: Da ist wichtig.

00:15:28: Aber da hört es bei mir auf, aber du bist ja derjenige mit den tollen Sachen.

00:15:33: Ich habe etwas gehört von Metaprompting.

00:15:37: Hau mich um.

00:15:38: Was ist Metaprompting?

00:15:40: Bevor wir mit Metaprompting anfangen, lass uns noch einmal ein paar andere Prompt-Techniken oder Prompting-Techniken angucken, die mittlerweile auch veröffentlicht sind und die gerne genutzt werden.

00:15:51: Also alles das, wo ich dem Modell nochmal expliziten Anweisungen mitgebe, ist ja auch eine Art von Prompting, die mir helfen kann, bessere Ergebnisse zu bekommen, beispielsweise.

00:16:03: Chain of Thought war häufig ein Begriff der Feld.

00:16:06: Oh, das musst du noch mal genauer erklären.

00:16:07: Das ist eigentlich eine der wichtigsten.

00:16:09: Erzähl doch noch mal vor.

00:16:09: Genau,

00:16:10: Chain of Thought ist relativ einfach beschrieben.

00:16:12: Ich sage dem Modell, das sind das ist deine Aufgabe.

00:16:18: Mach es Schritt für Schritt.

00:16:19: Genau, das ist immer die letzte, das ist bei Chain of Thought, schreibt man das letzte Anweisungen drin.

00:16:24: Bitte zerlege, oder... zerlege das Problem in einzelne Schritte und arbeite es stückweise ab.

00:16:30: Die Formulierung muss nicht so genau sein.

00:16:32: Genau, genau.

00:16:33: Und dann fängt der nicht an, alles auf einmal machen zu wollen, sondern arbeitet es wirklich Schritt für Schritt ab oder bricht es erst mit Schritte runter, um sie dann abzuarbeiten.

00:16:43: eliminiert häufig schon Fehlerquellen, die sonst vielleicht da sein könnten.

00:16:46: Wobei, wenn ich ein Reasoning-Modell heutzutage benutze, kann ich mir das sparen.

00:16:50: Denn die Reasoning-Modelle sind keine anderen Modelle, hatten wir in der anderen Folge.

00:16:54: Reasoning-Modelle machen das einfach automatisch.

00:16:55: Genau.

00:16:56: Das ist das Reasoning, mehr ist das nicht.

00:16:58: Das ist einfach dieser Automatismus, macht Schritt für Schritt, ist im Training reingebacken worden.

00:17:03: Genau.

00:17:03: Die Fortsetzung dafür heißt... Tree of Thought, also quasi nicht linear eine Schrittabfolge zu gehen, sondern zu sagen, geh drei Varianten den Baum runter quasi, also den Entscheidungsbaum runter und pucke, ist das Ergebnis dort valide?

00:17:24: Wenn nicht,

00:17:25: kommen wieder hoch.

00:17:25: Kannst du mal, also ich als alter KI-Mensch, der noch gelernt hat in der Uni, dass neuronalen Netzen nicht funktionieren, solange ist das her.

00:17:33: ... denke da natürlich gleich an klassische Kalle und Suche, ... ... so funktioniert ja ein Schachcomputer.

00:17:38: Aber kannst du mir das mal ... ... an einem Beispiel, wo du es vielleicht schon mal benutzt hast ... ... oder das gesehen hast, ... ... auch wieder prompt formuliert ist, ... ... wie das aussieht?

00:17:47: Weil ich finde die Idee sehr, sehr spannend, ... ... ich habe es tatsächlich noch nicht gemacht.

00:17:50: Kannst du das noch mal genauer erläutern?

00:17:52: Genau, also ich glaube, man kann das beispielsweise bei ... ... allen Dingen einsetzen, wo man was validieren möchte.

00:17:59: Also beispielsweise eine mathematische Gleichung.

00:18:02: Ich kann sagen, ich habe das in das mathematische Problem.

00:18:04: Druck ist irgendwie in der Gleichung aus.

00:18:06: Ich habe irgendwie zwei, drei Lösungsansätze.

00:18:09: Die gebe ich aber vor.

00:18:10: Genau.

00:18:11: Und prüfe jeden, oder ... ... gibt mir drei Lösungsansätze, prüfen jeden einzelnen davon ... ... und validiere, ob er richtig ist so.

00:18:18: Und dann steigt der jeden ... ... also formuliert den Lösungsansatz erst mal aus, ... ... steigt den Fahrt runter, guckt, ist das Ergebnis richtig?

00:18:26: kommt wieder hoch und sagt, nee, das war es noch nicht.

00:18:28: Und geht das nächste runter.

00:18:29: Also dadurch, dass ich ihm explizit sage, jetzt können die Dinger nicht zählen, müssen wir mal in einer anderen Folge machen, aber bis drei kriegen sie hin.

00:18:36: Das heißt also, es ist ja noch nicht ein ganzer Tree, es sind erstmal drei Alternativen.

00:18:40: Oder würdest du dann sagen, mache erstmal drei Grobentwürfe, jeden Grobentwurf verfeinern nochmal in drei unterschiedlichen Varianten.

00:18:49: Also kann man das dann auch noch... hierarchischer machen, weil dann hätte ich ja wirklich einen Baum.

00:18:54: Genau, kann man natürlich so aufbauen.

00:18:56: Man muss ja trotzdem wirklich berücksichtigen.

00:18:58: Ich mit meinem einen Chat-Fenster werde wahrscheinlich dort intern nicht viel Parallelisierung anstoßen.

00:19:04: Dann wird unwahrscheinlich passieren.

00:19:06: Kann man

00:19:07: natürlich auch die Abfrage einfach mehrfach stellen, wenn man es programmatisch macht.

00:19:10: mit einer anderen Temperatur hatten wir auch.

00:19:12: Ich kann ja die Antworten manuell marieren.

00:19:15: Aber ich glaube, wir kommen ein bisschen, wir werden

00:19:17: ein bisschen resultierisch.

00:19:19: Eine Sache noch, bevor wir zu dem Metaprompting kommen.

00:19:22: Klassisches Problem.

00:19:23: Ich glaube, wir hatten es in der ersten Folge ja auch beschrieben.

00:19:26: Zähle mir die erst in dem Wort Strawberry.

00:19:30: Also den Buchstaben R, wie oft kommt der da dran vor.

00:19:34: Was wirklich gut funktioniert ist, wenn ich weiß, ich habe ein Problem oder eine Frage, die ist logisch lösbar, also deterministisch abgeschlossen in irgendeiner Form.

00:19:47: oder ich möchte irgendwie eine Excel-Auswertung oder was auch immer, lasse ich mir häufig von dem Modell erst mal ein kleines Programm schreiben, das es dann für mich lösen soll innerhalb des Modells.

00:20:01: Also ich sage ihm, entwickel dir dafür ein kleines Skript oder ein Programm, um das Problem zu lösen.

00:20:07: Habe

00:20:07: ich heute auch gemacht, ich musste mit einem großen Kontextfenster, also mein Kontextfenster war voll und ich habe mir dann auch, ich habe gesagt, ... dein Kontextfenster läuft voll, ... ... mach ein Programm, ... ... mit dem du diese Information ... ... daraus ziehst ... ... und dann arbeite nur mit den Teilen davor.

00:20:22: Dann kriegt man das.

00:20:23: Ja.

00:20:24: Okay, aber jetzt ... ... Drumroll ...

00:20:26: ... Metaprompting.

00:20:28: Metaprompting.

00:20:28: Also der geht

00:20:29: sich an wie ein ... ... Transformer früher.

00:20:31: Genau.

00:20:31: Also der ... ...

00:20:32: Roboter ...

00:20:33: ... der Gedanke ist eigentlich nur, ... ... dass ich die Prompt ja nicht ... ... zwingend selber schreiben muss, ... ... sondern dass ich ... ... das LLM die Prompt ... ... schreiben lassen kann.

00:20:43: So.

00:20:44: Jetzt ... Guckst du schon leicht zu...

00:20:46: Ich weiß schon, du kennst meine Antwort so.

00:20:49: Wo soll denn... Also wir sagen immer Promz heißt Kontext.

00:20:52: Kontext, Kontext, Kontext.

00:20:53: Ich muss den Modell Kontext geben.

00:20:55: Wo drum geht's?

00:20:56: Woher soll denn dann der Magel... Also wenn das ja immer so ginge, hätten die das ja reingebaut, wie Chain of Thought.

00:21:02: Und genau, aber jetzt weiß ich ja, dass es nicht ganz so unsinnig ist, wie es auf dem ersten Hinhören klingt.

00:21:11: Genau, der Gedanke ist nicht nur, dass... ... LLM mehr über KI und das eigentliche Modell selber gerade weiß, als ich das vielleicht tue.

00:21:21: Was ja durchaus sein kann?

00:21:22: Wahrscheinlich.

00:21:23: Sondern auch, dass es natürlich jetzt mittlerweile veröffentlichte Informationen von ... ... Google ... ... oder von ... ... hat ein ganz toll

00:21:31: Prompting Guide gemacht

00:21:32: ... ... oder OpenAI.

00:21:34: Prompting Guides gibt's, die es auf den Webseiten gibt, die es als PDF-Download gibt.

00:21:40: Und wenn ich jetzt ... so einen richtig, richtig guten Prompt bauen möchte, der auch vielleicht ein paar Tage länger halten soll, den ich immer wieder nutzen

00:21:47: möchte.

00:21:47: Genau.

00:21:47: Und da wirklich qualitativ hochwertige Ergebnisse rauskriegen möchte.

00:21:53: Dann nutze ich diese Prompting Guides als Kontext und gebe die den LRM mit, also sage hier ist der Link zu oder hier ist das PDF-Dokument etc.

00:22:03: und sage anhand... ... dieser Techniken ... ... baue mir den perfekten Prompt zum Thema ... ... und natürlich gebe ich ihm da meinen Kontext mit, ... ... den ich eh mitgegeben hätte.

00:22:15: Allerdings kommt da durch ... ... ein Befehl raus, den ich später ... ... verwenden kann für meine Zwecke.

00:22:23: Der ... ... Dinge beinhaltet, da hätte ich wahrscheinlich ... ... vorher selber nicht dran gedacht ... ... oder Stunden für gebraucht, um dran zu denken.

00:22:30: Und ... ... ist natürlich auch so ein bisschen ... ... je nachdem, wie gut ich das ... Bemesse, darauf abgestellt, was für Modell ich gerade nutze.

00:22:39: Also, wenn ich weiß, ich nutze einen Reasoning-Modell mit dem Contextfenster XY Tokens, gebe ich ihm das natürlich mit und sage, nutze das für dich.

00:22:50: Jetzt, wo du das so genau erklärt hast, muss ich sagen, dass wir sowas auch schon gemacht haben.

00:22:55: Wir arbeiten sehr oft.

00:22:56: Wir bauen Software, die kleine lokale LLMs benutzt.

00:22:59: Das ist halt was, was wir in unserem Projekt alltag oft machen, aus Datenschutzgründen, Energiesparen.

00:23:05: alles Mögliche, auch weil es cool ist.

00:23:07: Und wir gehen tatsächlich hin, wir lösen die Probleme erst mit dem großen Modell.

00:23:11: und wenn wir es dann nur auf dem Laptop laufen lassen wollen unter Internet, dann sagen wir dem großen Modell, kannst du das mal bitte sehr detailliert für ein schlechteres, kleineres LLM, also kannst du diesen Prompt bitte nochmal neu verfassen, so dass er wesentlich präziser ist, auch mit den Edge Cases.

00:23:28: Und das Modell das große kann an die Grenzfände, an die Ausnahmefälle schon von selber zu denken, deshalb.

00:23:35: Denken, denken, Vorsicht.

00:23:37: Genau.

00:23:38: Sagen wir jetzt einfach denken.

00:23:39: Und das heißt, wir machen das auch.

00:23:40: Aber jetzt, wo du sagst, sollten wir vielleicht auch mal hingehen, dabei auch die Prompting-Guides mal mitzugeben, um uns Arbeit zu sparen.

00:23:47: Also ich glaube, das nehme ich mir jetzt mal aus der heutigen Folge mit.

00:23:49: Können wir gerne auch hier unter der Folge verlinken, zumindest die aktuellen.

00:23:54: Ja.

00:23:55: Ist total hilfreich, sind halt oft sehr, sehr lang.

00:23:58: Deswegen kann das halt eine KI besser verwerten als wir jetzt gerade.

00:24:03: Einen Gedanken noch dazu.

00:24:05: Wenn ich es

00:24:06: richtig, richtig gut machen möchte, also ich lasse mir den Prompt von einem Generieren, gebe ihm dazu Kontext mit, probiere den ein, zwei, drei Mal aus, sehe okay, die Ergebnisse hier waren okay, die Ergebnisse hier waren nicht so gut, dann gebe ich das nochmal zurück und sage, hier die Ergebnisse waren okay, hier die Ergebnisse waren nicht gut, verfeinere nochmal den Prompt auf Basis dieser

00:24:32: Dann hat er ja indirekt neue Beispiele.

00:24:35: Damit kann ich das Ganze für mich noch mal ein bisschen fein tun und kann ihm wieder mehr Kontext mitgeben, in welche Richtung es eigentlich gehen soll.

00:24:44: Bevor wir, ich denke hier kann man eine wunderbare Zusammenfassung gleich machen.

00:24:48: Eins ist mir nur bei den Workshops eingefallen.

00:24:50: Ich möchte das gerade unbedingt noch loswerden für die Leute, die zuhören.

00:24:55: was oft in den Workshops passiert ist, dass die Leute gesagt haben, ja, einmal hat es nicht geklappt, aber dann ging es.

00:25:00: Wenn ich an den Promts arbeite, muss ich natürlich immer, wenn ich den Promt endere,

00:25:05: den Chat frisch

00:25:07: starten.

00:25:08: Das heißt, ich muss aufpassen, dass ich immer wieder von Null anfange.

00:25:12: Denn sonst habe ich dem Ding vorher so viel erklärt.

00:25:14: Das heißt, ich habe den Kontext im Laufe meiner Diskussion mit dem LLM hinzugegeben.

00:25:21: Und dann sieht es auf einmal so aus, dass würde der Prompt funktionieren.

00:25:24: Klingt banal, haben wir echt erstaunlich oft gehabt in den Workshops.

00:25:27: Deshalb immer dran denken, wenn ich an dem Prompt schraube.

00:25:30: Immer wieder, man kann die letzten Schritte löschen in der Konversation oder eine neue Konversation starten, weil sonst kann ich nicht wissen, ob der Problem wirklich besser geworden

00:25:37: ist.

00:25:39: Aber da waren ja jetzt alle möglichen Sachen dabei.

00:25:41: Vielleicht zum Abschluss, wir haben gesagt, erstens, simpel anfangen und wenn es dann nicht reicht, was, neunzig, zehn, achtzig, zwanzig Lösungen.

00:25:50: Was sind die Basics?

00:25:52: nochmal, dass wir die nochmal mitnehmen, die einfachsten wichtigen Sachen?

00:25:56: Was muss ich machen, wenn ich einen guten Problem schreibe?

00:25:58: Ich sage, in welcher Rolle schreibst du das?

00:26:00: Du bist der Experte für.

00:26:02: Für wen schreibst du das?

00:26:03: Was ist das Ziel?

00:26:05: Und im Zweifel gebe ich noch ein, zwei Beispiele mit.

00:26:06: Und ich mache die Aufgabe kenntlich.

00:26:08: Das ist auch häufig ein Fehler.

00:26:10: Ich mache die Aufgabe wirklich kenntlich.

00:26:11: Das ist die Aufgabe.

00:26:13: Ja.

00:26:14: Gar nicht so schwer eigentlich, hätte man die Folge auch kürzer machen müssen können.

00:26:18: Das ist es nämlich auch, also nicht ins Boxhorn jagen lassen, dass es so unglaublich schwer ist.

00:26:22: Mit Metaprompting und so, ganz ehrlich, das braucht man ganz, ganz selten.

00:26:26: Das muss man eigentlich auch nicht wissen.

00:26:27: Ja,

00:26:28: cool.

00:26:29: Vielen Dank, viel gelernt.

00:26:30: Dann vielen Dank fürs Zuhören, vielen Dank fürs Zuschauen und dann hoffentlich bis zur nächsten Folge und währenddessen so ein paar Prompts ausprobieren.

00:26:38: Ich hoffe, es hat geholfen.

00:26:40: Bis dann.

00:26:40: Bis dann.

00:26:41: Tschüss.

00:26:46: Liebe Zuhörer, das war es für heute von Künstlich Gluck.

00:26:49: Wir hoffen, eure nächsten Prompts treffen besser ins Schwarze.

00:26:54: Oder zumindest daneben mit System.

00:26:56: Teilt uns gerne eure Fragen, Wünsche und Gedanken zur heutigen Folge über die E-Mail in der Beschreibung mit.

00:27:02: Wir hoffen, ihr seid auch bei der nächsten Folge von Künstlich Klug wieder dabei.