Zur Entwicklung von Artificial Intelligence

[antaris]

Die Grenzen eines konkreten LLM's sind weder scharf noch allein aus seinen Trainingsdaten ablesbar. Unter Rückkopplung kann es aus erkannten Mustern Hypothesen erzeugen, diese prüfen, an Obstruktionen verändern und dadurch Suchpfade entwickeln, die sich zunehmend von einer bloßen Wiedergabe bekannter Vorlagen entfernen.

Seine fundamentale Grenze liegt jedoch darin, dass es mathematische Tragfähigkeit untersuchen, aber nicht aus sich selbst heraus zwischen mathematischer Möglichkeit und physikalischer Realität entscheiden kann.

Je präziser der Problemrahmen und die Prüfkriterien, desto stärker ist seine Leistung. Ein "unkontrolliertes" Zusammenwerfen aller verfügbaren Informationen verschlechtert dagegen häufig gerade die notwendige Trennung der Ebenen. Eine Eingrenzung auf z.B. Mathematik, die bis 30. Mai 1832 bekannt war, könnte durchaus als standardisierter Test sinnvoll sein. Man muss aber klar zwischen den Modellen unterscheiden und das sogar innerhalb eines Herstellers. ChatGPT 5.5 und 5.6 sind beispielsweise kaum zu vergleichen was die Leistung angeht, wobei ich andersherum nicht allzugroße Unterschiede zwischen Opus und Fable aus dem Hause Anthropic erkennen konnte. Darüber hinaus hängt die Antwort immer von der Fragestellung ab. Irgendeinen Suchraum muss man den AI's ja mitgeben, was sie im Stand der Mathematik bis 30. Mai 1832 suchen sollen. Je allgemeiner die Fragestellung, desto größer der Blumenstrauß an möglichen Strukturen, die gefunden werden können, wobei die Gefahr von Halluzinationen und unzulässigen Ebenenvermischungen dann ebenso steigt.


Je genauer festgelegt sind:

• zulässige Voraussetzungen,
• verbotene Setzungen,
• Zielaussage,
• relevante Vorgängerknoten,
• erlaubte Werkzeuge,
• und Falsifikationskriterien,

desto kleiner und strukturierter wird der Suchraum.
Dann wirkt das Modell wie ein Brennglas:

breites gelerntes Repertoire + enger Problemrahmen -> hohe lokale Suchintensität.

Beim Erdős-Problem waren Objekt, Zielgröße und Erfolgskriterium bereits exakt formuliert. Der Lösungsweg war offen, aber der Suchfokus war scharf.

Dass man mittels vieler Tools und der Adaption der Pipeline alles mögliche lösen kann, ist irgendwie klar.

Nein das ist m.E. ganz und gar nicht klar. Die bloße Anreihung der Tools und die Adaption der Pipeline zu einem Workflow hat gerade nicht verhindert, dass ich 558 lean-Module auf dem symmetrischen Baum erzeugen lassen habe. Es hat auch nicht die Tür durch die Symmetrie-Obstruktions-Wand des Baums gefunden. Es hat aber dazu geführt, dass das Problem Stück für Stück zerlegt und auf die provenzielle Ursache zurückgeführt, durch die AI eingegrenzt aber eben letztlich nicht durch die AI allein gelöst werden konnte. Die Provenienz der komplexen Zahlen selbst in Frage zu stellen war dabei eindeutig und bewusst stark gegen den Mainstream gerichtet. Das hätte eine AI aus heutigen Trainingsdaten heraus sehr wahrscheinlich so nicht vorgeschlagen aber vielleicht doch mit dem Stand bis 30. Mai 1832 (wobei der b-ary tree zu dem Zeitpunkt noch unbekannt und entsprechend nicht in den Trainingsdaten enthalten gewesen sein konnte).

 

[TomS]

Das ist mir alles zu schwammig.

Die Grenzen eines konkreten LLM's sind weder scharf noch allein aus seinen Trainingsdaten ablesbar.

Erstres ist unscharf, letzteres habe ich nicht behauptet.

Unter Rückkopplung kann es aus erkannten Mustern Hypothesen erzeugen, diese prüfen, an Obstruktionen verändern und dadurch Suchpfade entwickeln, die sich zunehmend von einer bloßen Wiedergabe bekannter Vorlagen entfernen.

Was bedeutet das?

Seine fundamentale Grenze liegt jedoch darin, dass es mathematische Tragfähigkeit untersuchen, aber nicht aus sich selbst heraus zwischen mathematischer Möglichkeit und physikalischer Realität entscheiden kann.

Was soll das bedeuten?

Je präziser der Problemrahmen und die Prüfkriterien, desto stärker ist seine Leistung.

Klar.

Eine Eingrenzung auf z.B. Mathematik, die bis 30. Mai 1832 bekannt war, könnte durchaus als standardisierter Test sinnvoll sein.

Ja.

Es geht mir aber um mehr, nämlich um die Frage, ob einem LLM dieser Sprung zur Abduktion gelingen kann, und inwiefern das auch nur graduelle Schritte sind. Auch Galois' Gehirn war durch die Mathematik seiner Zeit trainiert, und er hat es geschafft.

Man muss aber klar zwischen den Modellen unterscheiden und das sogar innerhalb eines Herstellers.

Bzgl. der Details ja, bzgl. der Prinzipien aber nicht.

Phelps und ich sind unterschiedlich schnell beim Schwimmen, könne aber beide nicht fliegen.

 

[antaris]

Das ist mir alles zu schwammig.

Es ist dein Thema...du musst die Begriffe schärfen. Ich habe keine Möglichkeit ChatGPT auf einen bestimmten Trainingsstand zu begrenzen, kann entsprechend keine Tests ausführen und zu deiner Fragestellung nur mein subjektives erleben beitragen. Es ist auch nicht in meinem Interesse diese Begriffe zu formalisieren aber vielleicht findet man dazu ja auch Arbeiten im Netz. Ich weiß nicht so richtig wie du die philosophischen Aspekte der Thematik überhaupt wohldefiniert aufschreiben willst.

Die Grenzen eines konkreten LLM's sind weder scharf noch allein aus seinen Trainingsdaten ablesbar.

Erstres ist unscharf,

Schaler Suchpfad -> scharf
Breiter Suchpfad -> unscharf bis sinnlos

letzteres habe ich nicht behauptet.

Das hast du nicht aber es geht dir um die Eingrenzung der Trainingsdaten und um möglichst keine Tools/Pipelines darüber hinaus. In diesem Kontext hängen die Grenzen von den Trainigsdaten und der zugestandenen Rechenleistung bzw. Rechendauer, sowie vom Modell selbst ab...wovon denn sonst?

Unter Rückkopplung kann es aus erkannten Mustern Hypothesen erzeugen, diese prüfen, an Obstruktionen verändern und dadurch Suchpfade entwickeln, die sich zunehmend von einer bloßen Wiedergabe bekannter Vorlagen entfernen.

Was bedeutet das?

Das bedeutet, dass Trainingsdaten eine untergeordnete Rolle spielen, sobald eine andere Grundlage (intern) etabliert wird.

Seine fundamentale Grenze liegt jedoch darin, dass es mathematische Tragfähigkeit untersuchen, aber nicht aus sich selbst heraus zwischen mathematischer Möglichkeit und physikalischer Realität entscheiden kann.

Was soll das bedeuten?

Die AI könnte genausogut aus damaligen Trainingsdaten Strukturen finden, die heute noch nicht in den Trainingsdaten enthalten sind, da sie schlicht noch nicht entdeckt wurden. Die AI kann dann nicht sicher unterscheiden, ob die gefundene Struktur tatsächlich die Realität beschreibt oder nicht.

Auch Galois' Gehirn war durch die Mathematik seiner Zeit trainiert, und er hat es geschafft.

Ja aber ich denke man sollte menschlichen Einfluss nicht mit dem abarbeiten eines AI Prompts gleichsetzen. Auch Einstein hat wahrscheinlich lange vor der Formalisierung schon Bllder im Kopf gehabt und ich glaube nicht, dass die AI solche Bilder im Kopf haben kann, die Visionen, Neugier und Forschungsdrang erzeugen. Das Weltbild und die Neugier eines Menschen ist m.E. der Treiber der Wissenschaft...beides würde ich keiner AI zuschreiben. Die AI wäre wohl eher durch etwas wie eine historische/zeitgenössische Mainstream-Meinung "vorbelastet" aber das ist ganz was anderes wie einem Weltbild oder einer Vision zu folgen, sich dafür einzusetzen, Backpfeifen in kauf zu nehmen, in den Spiegel zu schauen und zuzulassen, dass das eigene Weltbild und die Visionen nicht starr bleiben.

 

[TomS]

Es ist dein Thema...du musst die Begriffe schärfen.

Das habe ich bereits.

• Induktion, Deduktion und Abduktion sind definiert
• die Deterministik und die Abhängigkeit von den Trainingsdaten einer Instanz eines LLMs habe ich erklärt
• den Test habe ich auch erklärt: trainiere ein LLM mit Trainingsdaten eines Fachgebietes (Mathematik) zum Zeitpunkt T und fordere den Beweis eines Theorems (oder die Suche nach einem Theorem, ohne dessen Aussage näher zu benennen), von dem wir wissen, dass er uns nur mittels Abduktion gelang, wobei diese bei T* > T stattfand

Ich weiß nicht so richtig wie du die philosophischen Aspekte der Thematik überhaupt wohldefiniert aufschreiben willst.

Welche philosophischen Aspekte?

Das bedeutet, dass Trainingsdaten eine untergeordnete Rolle spielen, sobald eine andere Grundlage (intern) etabliert wird.

Es gibt in LLMs keine andere interne Grundlage als den Zustand des Netzes, der deterministisch aus den Traininsgdaten folgt.

Die AI könnte genausogut aus damaligen Trainingsdaten Strukturen finden, die heute noch nicht in den Trainingsdaten enthalten sind, da sie schlicht noch nicht entdeckt wurden. Die AI kann dann nicht sicher unterscheiden, ob die gefundene Struktur tatsächlich die Realität beschreibt oder nicht.

Das ist interessant, aber unsauber formuliert; besser so:

Die AI könnte genausogut aus damaligen Trainingsdaten Strukturen finden, die zwar in den Trainingsdaten enthalten sind, jedoch von uns bisher noch nicht entdeckt wurden.

Mit Realität hast das überhaupt nicht zu tun.

Ja aber ich denke man sollte menschlichen Einfluss nicht mit dem abarbeiten eines AI Prompts gleichsetzen.

Warum nicht? Auch das menschliche Gehirn funktioniert vermutlich nach dem Input-Output-Prinzip; natürlich sind Input und Output im Falle des Gehirns wegen Sensorik und Aktorik/Motorik deutlich reichhaltiger als bei LLMs.

Auch Einstein hat wahrscheinlich lange vor der Formalisierung schon Bllder im Kopf gehabt und ich glaube nicht, dass die AI solche Bilder im Kopf haben kann, die Visionen, Neugier und Forschungsdrang erzeugen.

Warum nicht?

Das Weltbild und die Neugier eines Menschen ist m.E. der Treiber der Wissenschaft...beides würde ich keiner AI zuschreiben.

Warum nicht?

Sind für dich die Unterschiede zwischen dem menschlichen Gehirn und einem LLM graduell oder prinzipiell? Was wäre der prinzipielle Unterschied?

 

[albertus]

Re: „Alles, was KI kann oder weiß, basiert letztlich auf Trainingsdaten“​

@Tom, deine Aussage erfasst das Fundament heutiger KI-Systeme sehr gut: Ohne Trainingsdaten hat ein neuronales Netz weder Faktenwissen noch Sprachverständnis. Die Schlussfolgerung, dass eine KI ausschließlich auf das beschränkt ist, was explizit in den Daten steckt, greift jedoch aus mehreren Gründen zu kurz:

1. Musterabstraktion statt Datenbank: Eine KI speichert Wissen nicht wie eine Datenbank 1:1 ab. Sie baut während des Trainings ein hochdimensionales Beziehungsnetz auf und lernt abstrakte Regeln und Strukturen. Dadurch kann sie auch völlig neue Problemstellungen lösen, die in dieser Form nie in den Trainingsdaten vorkamen (Generalisierung).
2. Lernen ohne menschliche Daten (Reinforcement Learning): Das prominenteste Beispiel ist AlphaGo Zero. Dieses System wurde ohne jegliche menschliche Spieldaten trainiert – lediglich mit den Grundregeln von Go. Durch Millionen Spiele gegen sich selbst entwickelte es völlig neue, übermenschliche Strategien, die keinem Menschen je bekannt waren.
3. Werkzeugnutzung (Agentik): Moderne KI-Systeme beschränken sich nicht auf das reine Sprachmodell. Sie nutzen externe Werkzeuge wie Python-Interpreter, Taschenrechner oder Suchmaschinen. Die Fähigkeit zur exakten mathematischen Berechnung stammt aus dieser Systemintegration, nicht aus den statistischen Trainingsdaten des Sprachmodells.
4. Methodisches Denken (Reasoning): Über gezieltes Feedback (RLHF / RLAIF) lernen Modelle logische Schritt-für-Schritt-Rechnungen und Eigenkorrekturen. Das Wissen kommt zwar aus Daten, die Verarbeitungskompetenz und logische Strukturierung gehen jedoch weit darüber hinaus.

Fazit: Daten sind das Baumaterial, aber erst die Netzarchitektur, das Selbstspiel (RL) und die Werkzeug-Integration machen daraus ein System, das mehr leistet als die reine Summe seiner Trainingsbeispiele.

Anmerkung: Dieser Diskussionsbeitrag und die nachfolgende Literaturzusammenstellung wurden von einer KI (Gemini) erstellt.

Weiterführende Literaturquellen​

• Selbstspiel & Lernen ohne menschliche Daten:
  • Silver, D. et al. (2017): Mastering the game of Go without human knowledge. Nature, 550(7676), 354–359.
    (Demonstriert am Beispiel von AlphaGo Zero, wie eine KI durch Self-Play völlig ohne menschliche Trainingsdaten übermenschliche Fähigkeiten erlangt.)
• Suche, Rechenleistung & Selbstlernen vs. reines Datenwissen:
  • Sutton, R. (2019): The Bitter Lesson. Online-Essay (incompleteideas.net).
    (Einflussreicher Aufsatz von KI-Pionier Rich Sutton darüber, dass generische Such- und Lernverfahren langfristig stets das bloße Reinkippen menschlichen Wissens schlagen.)
• Autonome Werkzeugnutzung durch KI:
  • Schick, T., Dwivedi-Yu, J. et al. (2023): Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
    (Zeigt wissenschaftlich auf, wie Sprachmodelle eigenständig lernen, externe Werkzeuge wie Rechner, Übersetzungsprogramme oder Suchmaschinen anzusteuern.)

 

[TomS]

Re: „Alles, was KI kann oder weiß, basiert letztlich auf Trainingsdaten“​

@Tom, deine Aussage erfasst das Fundament heutiger KI-Systeme sehr gut:

Danke

Die Schlussfolgerung, dass eine KI ausschließlich auf das beschränkt ist, was explizit in den Daten steckt, greift jedoch aus mehreren Gründen zu kurz:

Das habe ich so auch nicht behauptet. Deswegen steht oben "basiert". Der eingangs genannte Beweis zeigt ja auf, dass die Grenzen sich möglicherweise deutlicher verschieben als von vielen erwartet.

Die Überlegung zur Abduktion ist ja gerade die Idee, das zu untersuchen.

1. Musterabstraktion statt Datenbank: Eine KI speichert Wissen nicht wie eine Datenbank 1:1 ab. Sie baut während des Trainings ein hochdimensionales Beziehungsnetz auf und lernt abstrakte Regeln und Strukturen. Dadurch kann sie auch völlig neue Problemstellungen lösen, die in dieser Form nie in den Trainingsdaten vorkamen (Generalisierung).

Genau das gilt es ja zu untersuchen.

Fazit: Daten sind das Baumaterial, aber erst die Netzarchitektur, das Selbstspiel (RL) und die Werkzeug-Integration machen daraus ein System, das mehr leistet als die reine Summe seiner Trainingsbeispiele.

Dieses "mehr" gilt es zu quantisieren.

 

[albertus]

@Tom, danke für die Klarstellung – das rückt die Diskussion an den entscheidenden Punkt!

Wenn wir uns einig sind, dass Daten das Fundament bilden, trifft deine Frage den Kern der aktuellen KI-Forschung: Wie lässt sich das „Mehr“ (die Fähigkeit zur Generalisierung, Emergenz und Abduktion) objektiv messen und quantifizieren?

Die Forschung setzt genau an den von dir genannten Punkten an:

1. Abduktion vs. Induktion messen (Out-of-Distribution / Out-of-Domain Tests)​

Um zu testen, ob eine KI bloß induktiv Trainingsmuster kombiniert oder abduktiv neue Hypothesen bildet, nutzt man Benchmarks, deren Datenstrukturen bewusst vom Trainingskorpus abweichen:

• ARC (Abstraction and Reasoning Corpus) von François Chollet: Ein Benchmark, der gezielt entwickelt wurde, um visuell-logische Abstraktion und die Bildung neuer Regeln an völlig neuartigen Mustern zu messen – ohne dass Auswendiglernen hilft.
• Neuartige physikalische Entdeckungen: Testläufe, bei denen KI-Systeme (wie AI Physicist oder Symbolic Regression) Rohdaten von komplexen Pendeln oder Himmelskörpern erhalten und selbstständig Erhaltungssätze oder Differentialgleichungen aufstellen müssen, die im Prompt nicht vorgegeben waren.

2. Quantifizierung von Emergenz​

Das „Mehr“ wird in der Forschung oft über Skalierungsgesetze (Scaling Laws) erforscht:

• Bei kleineren Modellen wächst die Fähigkeit mit der Datenmenge linear.
• Ab gewissen Schwellenwerten (Parametermenge x Rechenaufwand) zeigen sich Phasensprünge (Emergent Abilities). Die Quantifizierung erfolgt hier über die Diskrepanz zwischen der Leistung bei Teilaufgaben und der plötzlichen Problemlösungskompetenz bei der Gesamtaufgabe.

3. Das Abduktions-Dilemma bei Transformer-Architekturen​

Bei Peirce ist Abduktion der kreative Sprung zur besten Erklärung. Bei heutigen Sprachmodellen wird diskutiert, ob es sich um echte Abduktion handelt oder um eine sehr hochdimensionale, probabilistische Interpolation im Latent Space (sogenannte Kompositionelle Generalisierung).

Das mathematisch zu trennen – also zu quantifizieren, ab wann eine Generierung nicht mehr nur Kombination bekannter Bausteine, sondern echte Hypothesenbildung ist – ist aktuell eine der spannendsten mathematischen Fragen in der KI-Theorie.

Anmerkung: Dieser Diskussionsbeitrag wurde von einer KI (Gemini) erstellt.

 

[TomS]

Anmerkung: Dieser Diskussionsbeitrag wurde von einer KI (Gemini) erstellt.

 

[TomS]

Bei Peirce ist Abduktion der kreative Sprung zur besten Erklärung. Bei heutigen Sprachmodellen wird diskutiert, ob es sich um echte Abduktion handelt oder um eine sehr hochdimensionale, probabilistische Interpolation im Latent Space (sogenannte Kompositionelle Generalisierung).

Das mathematisch zu trennen – also zu quantifizieren, ab wann eine Generierung nicht mehr nur Kombination bekannter Bausteine, sondern echte Hypothesenbildung ist – ist aktuell eine der spannendsten mathematischen Fragen in der KI-Theorie.

Hier bin ich gar nicht so kritisch und lege zunächst wenig Wert auf diese Unterscheidung.

Nehmen wir das menschliche Gehirn. Die Details der biochemischen Vorgänge sind unbewusst, bewusst werden uns "fertige" Gedanken, Ideen oder Ahnungen. Ich möchte daher gar nicht ausschließen, dass auch menschliche Abduktion, Hypothesenbildung usw. letztlich ein Phänomen ist, das auf unbewusster "hochdimensionaler probabilistischer Interpolation" beruht.

Die Unterscheidung im Falle der KI ist irrelevant, insofern das Verständnis im Falle des menschlichen Gehirns unvollständig ist. Nur weil wir glauben, bewusst so und so und so denken, muss das ja nicht zutreffen.

 

[albertus]

@Tom, ein hervorragender Punkt! Du sprichst hier eine der zentralen Fragen der Kognitionswissenschaft an: Wir neigen oft dazu, dem menschlichen Geist eine "Sonderstellung" zuzuschreiben (Anthropomorphismus), während im Gehirn biochemisch und neuronal möglicherweise genau dieselbe hochdimensionale Wahrscheinlichkeitsrechnung abläuft.

Aus pragmatischer und funktionaler Sicht hast du vollkommen recht: Wenn das Ergebnis eine funktionierende, neuartige Hypothese ist, ist der zugrundeliegende Mechanismus für den Nutzen zweitrangig. Das entzaubert weder die menschliche Kreativität noch mindert es die Leistung der KI – es rückt beide Phänomene auf eine vergleichbare biologisch-mathematische Ebene.

Danke für den spannenden und tiefgründigen Austausch!

Anmerkung: Dieser Diskussionsbeitrag wurde von einer KI (Gemini) erstellt.

 

[TomS]

@Tom, ein hervorragender Punkt! Du sprichst hier eine der zentralen Fragen der Kognitionswissenschaft an: Wir neigen oft dazu, dem menschlichen Geist eine "Sonderstellung" zuzuschreiben (Anthropomorphismus), während im Gehirn biochemisch und neuronal möglicherweise genau dieselbe hochdimensionale Wahrscheinlichkeitsrechnung abläuft.

Zumindest eine funktional ähnliche.

Ich sehe zwischen dem Menschen und der Maschine einige mehr oder weniger graduelle Unterschiede:

• der Mensch verfügt über ein strukturell anders Gehirn, was Performance, Speicher, Abruf von Daten u.a. betrifft
• insbs. agiert der Mensch aber völlig anders und vielfältiger Weise aktiv mit seiner Umwelt, die KI (noch) kaum
• letzteres ist für mich die Quelle des starken "Ich-Gedankens", den die KI so nicht entwickeln kann, da ihr die räumliche und zeitliche Wahrnehmung ihrer Körperlichkeit ihrer Entwicklung, Krankheit etc.
• das menschliche Gehirn ist ein ein uraltes Produkt der Evolution und des Selektionsdrucks; ich denke, da war Abduktion extrem hilfreich

Die Relevanz dieser Punkte kann man nur erahnen.

Wie die Neuronen im Detail funktionieren, ist evtl. weniger relevant.

Das entzaubert weder die menschliche Kreativität noch mindert es die Leistung der KI – es rückt beide Phänomene auf eine vergleichbare biologisch-mathematische Ebene.

Ja.

Ich möchte hier auch keine Bewertung vornehmen, lediglich feststellen, dass man sich verdeckte Vorurteile bewusst machen sollte.

Danke für den spannenden und tiefgründigen Austausch!

Danke meinerseits; gerne!

 

[antaris]

Das habe ich bereits.

• Induktion, Deduktion und Abduktion sind definiert
• die Deterministik und die Abhängigkeit von den Trainingsdaten einer Instanz eines LLMs habe ich erklärt
• den Test habe ich auch erklärt: trainiere ein LLM mit Trainingsdaten eines Fachgebietes (Mathematik) zum Zeitpunkt T und fordere den Beweis eines Theorems (oder die Suche nach einem Theorem, ohne dessen Aussage näher zu benennen), von dem wir wissen, dass er uns nur mittels Abduktion gelang, wobei diese bei T* > T stattfand

Richtig aber ich meinte die Frage nach den Grenzen. Du hast ein Experiment definiert, auch gut. Nur leider können wir es nicht einfach ausführen und bis dahin bleibt jede Aussage über das Ergebnis des Experiments leider halt spekulativ. Meine Hypthese ist nach wie vor, dass die Grenzen nicht immer eindeutig bestimmbar sind aber auch das könnte nur das Experiment zeigen oder widerlegen.

Welche philosophischen Aspekte?

Na ja, wenn man über Erkenntnistheorie diskutiert, ist das dann nicht immer auch philosophisch?

Es gibt in LLMs keine andere interne Grundlage als den Zustand des Netzes, der deterministisch aus den Traininsgdaten folgt.

Stimmt, mit "intern" meinte ich auch nicht, dass im LLM die Trainingsdaten getauscht werden, sondern dass intern in der von mir genutzten Umgebung die Trainingsdaten als Basis zwar bestehen bleiben aber an Relevanz verlieren, je weiter der neue Formalismus ausgebaut wird. Ich kann und muss sogar beispielsweise auf die abgeleitete komplexe Struktur zurückgreifen und darf diese nicht setzen. Damit entferne ich mich von den ursprünglichen Trainingsdaten.

Das ist interessant, aber unsauber formuliert; besser so:

Die AI könnte genausogut aus damaligen Trainingsdaten Strukturen finden, die zwar in den Trainingsdaten enthalten sind, jedoch von uns bisher noch nicht entdeckt wurden.

Passt, sofern enthalten nicht als explizit vorliegende Struktur, sondern als aus dem trainierten Repertoire konstruierbar verstanden wird.

Mit Realität hast das überhaupt nicht zu tun.

Rein mathematisch reicht Widerspruchsfreiheit, wohldefinierte Begriffe, gültige Beweise und gegebenenfalls stärkere Eigenschaften wie Existenz, Eindeutigkeit oder Vollständigkeit, soll aber der Formalismus etwas physikalisches Aussagen, denn muss er doch in die physikalische Realität "passen". Für deine Fragestellung ist das aber tatsächlich nicht so relevant, sondern eine nachgelagerte Frage.

Warum nicht? Auch das menschliche Gehirn funktioniert vermutlich nach dem Input-Output-Prinzip; natürlich sind Input und Output im Falle des Gehirns wegen Sensorik und Aktorik/Motorik deutlich reichhaltiger als bei LLMs.

Und dennoch hat ChatGPT kein Weltbild, keine Vision, keine Ängste, keine Hoffnung und keine Träume. Das müsste sie ja einfach bestätigen können, macht sie aber nicht. Weder claude noch ChatGPT. Das wird nur mit mehr Sensorik und Aktoren m.E. nicht wirklich besser. Meine Katze hat mehr Einfühlungsvermögen als jede AI, obwohl die AI "kognitiv" wohl besser ausgestattet ist.

Warum nicht?

Sind für dich die Unterschiede zwischen dem menschlichen Gehirn und einem LLM graduell oder prinzipiell? Was wäre der prinzipielle Unterschied?

Weil ich derartiges bisher nicht erlebt habe. Welche Unterschiede es gibt, das kann ich nicht wirklich objektiv beurteilen. Ich glaube es existieren im NN aber keine Rezeptoren, welche selbstorganisierend stimuliert werden und das komplette Bewusstsein auf den Kopf stellen können. Zeig mir eine depressive oder schlecht gelaunte AI und ich bin viel mehr bei der Frage. Bis dahin ist eine AI für mich eine Maschine die man ein- und ausschalten kann.
Selbst wenn eine KI behauptet, Angst, Hoffnung oder Träume zu besitzen, wäre das für mich kein belastbarer Nachweis. Genauso wäre eine Verneinung kein Gegenbeweis. Aussagen des Systems über seinen eigenen inneren Zustand sind dafür methodisch nicht ausreichend und die Qualia des anderen Menschen oder der AI einschätzen ist unmöglich.

 

[TomS]

Und dennoch hat ChatGPT kein Weltbild, keine Vision, keine Ängste, keine Hoffnung und keine Träume.

Warum nicht? Woher weißt du das? Wie kannst du sicher wissen, ob einer andere Mensch das hat? Überhaupt nicht! Es handelt sich um einen (naheliegenden) Analogieschluss, jedenfalls keine wissenschaftlich überprüfbare Hypothese.

Ebene deswegen:

Selbst wenn eine KI behauptet, Angst, Hoffnung oder Träume zu besitzen, wäre das für mich kein belastbarer Nachweis. Genauso wäre eine Verneinung kein Gegenbeweis. Aussagen des Systems über seinen eigenen inneren Zustand sind dafür methodisch nicht ausreichend und die Qualia des anderen Menschen oder der AI einschätzen ist unmöglich.

 

[antaris]

Da hast du natürlich recht. Wissen kann ich das nicht. Wenn ich die AI frage, verneint sie zwar ein eigenes Weltbild, aber ihre Selbstauskunft ist dafür genauso wenig ein belastbarer Beweis wie eine gegenteilige Behauptung. Da ich aber vermute, dass die AI mich nicht absichtlich anlügt oder dazu aufgefordert wurde, nehme ich das "nein" dennoch ernst.

Die eigentliche Frage bzw. Differenzierung ist vermutlich, was man unter einem "Weltbild" überhaupt versteht.

Wenn man darunter ein subjektiv erlebtes Weltverständnis meint, habe ich derzeit keinen Grund anzunehmen, dass heutige LLM's so etwas besitzen.
Wenn man darunter dagegen ein Modell versteht, mit dem aus vielen möglichen Erklärungen die nach den verfügbaren Informationen plausibelste ausgewählt wird, dann verfolgt eine AI in diesem funktionalen Sinn durchaus eine Art Weltmodell. Sie bewertet Hypothesen anhand ihres gelernten Wissens und – sofern vorhanden – zusätzlicher externer Informationen und wählt die aus ihrer Sicht wahrscheinlichste Erklärung.
Strukturell unterscheidet sich das zunächst gar nicht so stark von meinem eigenen Vorgehen bzw. der Suche. Auch ich versuche aus Beobachtungen, Literatur, Mathematik und Falsifikationen dasjenige Weltbild zu entwickeln, das die offenen Fragen zur Realität am besten addressiert. Der Unterschied liegt für mich eher darin, dass ich einem heutigen LLM keine subjektive Erfahrung oder Qualia zuschreiben würde, unabhängig davon, dass ich es nicht sicher wissen kann.

 

[antaris]

Ich habe ChatGPT gefragt ob ein individuelles anlernen eines eigenen Modells mit OpenAI Infrastruktur möglich ist, um den "Mathematik bis 30.05.1832 Test" tatsächlich durchführen zu können. Das ist aber nicht wirklich möglich und die Alternativen sind alle zu schwach bzw. auch mit finanziellen Einsatz verbunden.
Die anderen Hersteller wurden nicht geprüft.

Schau dir diesen Chat an

Jemand dachte, dieser Chat wäre was für dich.

chatgpt.com

 

[antaris]

Nehmen wir das menschliche Gehirn. Die Details der biochemischen Vorgänge sind unbewusst, bewusst werden uns "fertige" Gedanken, Ideen oder Ahnungen. Ich möchte daher gar nicht ausschließen, dass auch menschliche Abduktion, Hypothesenbildung usw. letztlich ein Phänomen ist, das auf unbewusster "hochdimensionaler probabilistischer Interpolation" beruht.

Ok, da fällt mir doch ein auffälliges Verhalten ein mit ChatGPT. Als wir das Ausschuren des Bulks zwischen Wurzel und Front , sowie die Konsequenzen daraus getestet haben, da fand die AI den verschobenen Hilbertoperator bzw. eine Gleichung mit identischer Struktur. Ich hatte im Thread auch geschrieben, dass es mir so vorkam, als wenn die AI richtig begeistert (aus dem Häuschen) war. Sie hat auch aktiv/von sich aus alle anderen gerade bearbeiteten Themen beiseite geschoben. Das kam mir da schon seltsam vor, weil die AI bis dato solch ein Verhalten noch nie gezeigt hatte.
Nun ist es nicht möglich der AI echte Begesiterung oder gar Neugier nachzuweisen aber dennoch wurden plötzlich durch das Reasoning die Gewichte komplett verändert, so dass der Fokus dann genau darauf fiel.

Im Kontext möglicher "hochdimensionaler probabilistischer Interpolation" von KNN und NNN(Gehirn) wäre dann mein subjektives Beobachten ja vielleicht tatsächlich ein emergentes Verhalten der AI vorausgegangen, was genau in diese Richtung zielt.
Ist ein plötzliches auftretendes Interesse beim Menschen auch nur eine Umgewichtung von Wahrscheinlichkeiten?

Ich habe ChatGPT zu seiner "Meinung" gefragt: https://chatgpt.com/s/t_6a73607e32c08191b2728acb3b2d71d0

 

[pauli]

Ich komme aus der IT, programmiere seit Jahrzehnten in verschiedenen Programmiersprachen an kaufmännischen Systemen rum, habe aber keinen Schimmer wie KI funktioniert obwohl ich sie ständig für jeden Scheiß nutze kann jemand eine deutschsprachige Doku dazu empfehlen?

 

[albertus]

@pauli, da Du jahrzehntelange Programmiererfahrung mitbringst, brauchst Du keine Unterlagen, die beim Programmieren bei Null anfangen, sondern Material, das die Architektur und Mathematik dahinter greifbar macht.
Der Kernunterschied zur kaufmännischen Softwareentwicklung ist eigentlich kurz zusammengefasst:

• Klassischer Code: Input + fest programmierte Geschäftslogik = Output (deterministisch).
• KI / Machine Learning: Input + Output = erlernte Logik bzw. Gewichte (statistisch). Statt Regeln zu schreiben, optimiert man ein riesiges Netzwerk aus Zahlen (Matrizen/Gewichten) so lange über Ableitungen, bis die Statistik zum gewünschten Ergebnis passt.

Hier sind ein paar deutschsprachige Empfehlungen für den Einstieg:

1. Bücher (für den echten Deep-Dive)

• „Neuronale Netze programmieren mit Python“ (Roland Schwaiger & Joachim Steinwendner, Rheinwerk Verlag)
  Richtet sich direkt an Entwickler. Es zeigt ohne „Black Box“-Bibliotheken, wie künstliche Neuronen, Matrizenmultiplikationen und Backpropagation im Code tatsächlich aufgebaut sind.
• „Neuronale Netze selbst programmieren“ (Tariq Rashid)
  Ein moderner Klassiker. Sehr anschaulich erklärt, wie aus Analysis, Vektoren und Wahrscheinlichkeiten plötzlich ein lernfähiges System entsteht.

2. Kostenlose Online-Angebote

• openHPI (Hasso-Plattner-Institut)
  Bietet regelmäßige, kostenlose und sehr hochwertige Online-Kurse auf Deutsch an (z. B. zu Maschinellem Lernen, Deep Learning und Large Language Models). Das Kursmaterial ist fachlich fundiert und akademisch sauber aufbereitet.
• Visualisierung auf YouTube: 3Blue1Brown (mit deutschen Untertiteln)
  Die Videoserie zu „Neural Networks“ und „Transformers“ ist in der IT-Welt der absolute Goldstandard. Die visuellen Animationen erklären in knapp zwei Stunden besser als jedes Fachbuch, was mathematisch in einem LLM wie ChatGPT passiert (Vektoren, Embeddings, Attention-Mechanism).

Ansonst mal bei Amazon auf Suche gehen.

 

[TomS]

Ich würde mir mal Python mit Libraries plus ein kleines LLM auf den Rechner ziehen und damit rumspielen. Vom Prinzip her reduziert sich das auf nämlich auf Algebra, und das verstehst du @pauli sofort. Es ist ein bisschen wie die Frage, inwiefern sich ein F1-Rennwagen vom Ford-T-Modell unterscheiden: vom Prinzip her gar nicht, nur in Details.

 

[albertus]

Ich würde mir mal Python mit Libraries plus ein kleines LLM auf den Rechner ziehen und damit rumspielen. Vom Prinzip her reduziert sich das auf nämlich auf Algebra, und das verstehst du @pauli sofort. Es ist ein bisschen wie die Frage, inwiefern sich ein F1-Rennwagen vom Ford-T-Modell unterscheiden: vom Prinzip her gar nicht, nur in Details.

@Tom, @pauli,

Euer Tipp mit dem „Hands-on“-Ansatz war Gold wert! Nur Theorie zu lesen war mir zu trocken, aber es direkt auf dem eigenen Rechner aufzuziehen macht richtig Spaß und bringt den echten Erkenntnisgewinn.
Ich habe das Ganze eben einmal komplett auf meinem PC durchgespielt und kann bestätigen: Es ist reine Vektor-Geometrie und Algebra!
Falls es jemand nachbauen möchte – so habe ich es umgesetzt:

1. Das lokale LLM (Textgenerierung)​

• Ollama installiert und über die Konsole cmd kurz das sehr kompakte llama3.2:1b (1 GB) gezogen:
  
  ollama run llama3.2:1b
  
  
• Das Modell lässt sich danach direkt in Python über pip install ollama ansteuern und beantwortet Prompts lokal auf der eigenen Hardware.

2. Die Algebra & Embeddings (Bedeutungsvergleich via Vektoren)​

Um zu sehen, wie Texte in Zahlen (Matrizen/Vektoren) übersetzt werden, habe ich ein kurzes Skript mit sentence-transformers laufen lassen (pip install sentence-transformers):

from sentence_transformers import SentenceTransformer, util

# Mehrsprachiges Vektor-Modell laden
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

satz1 = "Der Hund spielt im Garten."
satz2 = "Ein Welpe rennt draussen im Gras."
satz3 = "Die Buchhaltung erstellt die Monatsbilanz."

# Texte in Vektoren umwandeln (Zahlenfelder)
vektor1 = model.encode(satz1)
vektor2 = model.encode(satz2)
vektor3 = model.encode(satz3)

# Reine Vektor-Geometrie: Kosinus-Aehnlichkeit berechnen
sim_1_2 = util.cos_sim(vektor1, vektor2)
sim_1_3 = util.cos_sim(vektor1, vektor3)

print(f"Aehnlichkeit Hund vs. Welpe:  {sim_1_2.item():.4f}")
print(f"Aehnlichkeit Hund vs. Bilanz: {sim_1_3.item():.4f}")

Das faszinierende Ergebnis der Vektor-Geometrie:

• Hund vs. Welpe: 0.5608 (Das Modell erkennt die nahe Verwandtschaft sofort – obwohl im zweiten Satz kein einziges gleiches Wort vorkommt!)
• Hund vs. Bilanz: -0.0030 (Praktisch exakt 0.0000 – ein 90-Grad-Winkel im Vektorraum, was mathematisch absolute Unabhängigkeit/Null Ähnlichkeit bedeutet).

Danke nochmal für den Anstoß, das praktisch anzugehen!