Zur Entwicklung von Artificial Intelligence

[antaris]

Das muss hier im Thread erwähnt werden, da es direkt die Thematik betrifft.

Aristotle: The AI agent that proves software correct

The reasoning that earned IMO gold, applied to formal verification of software, hardware, and mathematics – every output backed by a machine-checked proof.

aristotle.harmonic.fun

Man kann dort mittlerweile in einen normalen Prompt arbeiten und Formalisierungsaufgaben stellen.

 

[TomS]

Einiges geht an der Sache vorbei, aber der Punkt ist gut, darauf läuft es wohl hinaus:

The step I'd push back on is "regardless of how they are trained, at the end they are next-token predictors, so the mathematical abilities are encoded statistically." There's a conflation hiding in "statistically." After reinforcement learning, the model's next-token distribution is no longer an estimate of the statistics of any corpus — it's a policy, shaped by reward, in exactly the sense that AlphaZero's move distribution isn't "the statistics of human games" even though it also outputs probabilities over moves. So the claim splits into two readings. If "encoded statistically" means "implemented in continuous weights learned by a local update rule," that's true — but then your own brain analogy shows why it's unsurprising: any computation can live in such a substrate, neurons included.

Damit landen wir bei der Frage, inwieweit man wirklich verstehen kann, wie mathematisches Verständnis aus einer nicht-mathematischen neuronalen Basis entsteht.

 

[TomS]

Worauf ich heraus will, ist folgendes, bereits weiter oben einmal angesprochen, ich fasse das hier noch mal zusammen.

Unser Gehirn enthält keinen logischen oder algorithmischen Apparat, keinen Theorem-Beweis oder -Prüfer. Es ist – nach allem, was wir wissen – ein offenes, einer kontinuierlichen quantenmechanischen Dynamik gehorchendes System.

Dass es sich für einen Mathematiker so anfühlt, als ob er auf der Makroebene logisch / mathematisch denkt, sagt nichts darüber aus, wie genau diese Funktionen der Makroebene aus Neuronen, biochemischen Prozessen, und letztlich Quantenphysik hervorgehen.

Auch der evolutionäre Druck bzw. das Training erklärt das nicht.

 

[Jakito]

René Descartes war ein guter Mathematiker, und vermutlich sogar verantwortlich für die nachfolgende Revolution in der Mathematik. Aber philosophisch lag er falsch, und schon vor ihm hatten Philosophen und Religionsführer den Dualismus untersucht, und verworfen. Descartes Vorhersagen hierzu (Zirbeldrüse…) haben sich als falsch erwiesen. Newton hingegen wusste, dass die Nichtlokalität seiner Gravitationstheorie philosophisch nicht haltbar war.
Es fängt aber noch früher an: Francis Bacon mochte die Scholastik nicht, weil sie stumpfsinnig war und eigenes Denken verbot. Und weil die Scholastik Aristoteles verehrte, lehnte Bacon ihn ebenso ab. Auch in den Punkten, wo er Recht hatte.

Hilbert hatte Unrecht, Gödel hatte recht, und Kant war zwar …, hatte in gewisser Hinsicht aber mehr Recht als Descartes, und seine Vorhersagen waren gut.

 

[TomS]

Und das besagt in unserem Kontext jetzt was genau? Darf ich mir jetzt einen aussuchen, der Recht hatte? Oder meinst du, wenn schon derartige Größen irren, dann ja wohl ich erst recht?

Vermutlich.

Offenbar bin ich … etwas weiser, eben darum, dass ich, was ich nicht weiß, auch nicht zu wissen glaube.

Aber auch das zu zitieren ist vermessen.

Also vorsichtiger formuliert, dass es sich für mich so anfühlt, als ob ich mathematisch denken kann und mich mit Quantenmechanik auskenne, ich aber deswegen trotzdem nichts darüber sagen kann oder zu wissen glaube, wie diese Fähigkeit mathematisch zu denken aus den physikalischen Prozessen in meinem Gehirn hervorgeht.

 

[antaris]

Also vorsichtiger formuliert, dass es sich für mich so anfühlt, als ob ich mathematisch denken kann und mich mit Quantenmechanik auskenne, ich aber deswegen trotzdem nichts darüber sagen kann oder zu wissen glaube, wie diese Fähigkeit mathematisch zu denken aus den physikalischen Prozessen in meinem Gehirn hervorgeht.

In aller Bescheidenheit aber du bist m.E. viel zu pessimistisch. Auch ein Quantensystem ist in den meisten Fällen nur eine idealisierte Beschreibung, dessen Realismus durch die Dynamiken offener Systeme angehoben wird. Warum sollte das im Quantensystem "Gehirn" anders der Fall sein? Man kann das Hirn idealisieren aber dann landen wir halt "nur" beim neuronalen Netzwerk. Das ist aber eine reduzierte Beschreibung, und nur ein Aspekt des Gesamtsystems. Ich denke nicht das es an der verfügbaren Mathematik liegt. Man muss sich nur von "möglichst einfachen Beschreibungen" verabschieden, da die Natur nun mal komplex ist.

 

[TomS]

Was ist denn an "Quantensystem" idealisiert?

 

[antaris]

Über seine Systemgrenzen. Wenn seine Kopplung mit der Umwelt real verschwindet, also vernachlässigbar ist, dann ist es eine exakte Beschreibung (geschlossene Systemgrenze). Wird die Umgebung aber dagegen vernachlässigt, dann ist es idealisiert (offene Systemgrenze).

 

[TomS]

Über seine Systemgrenzen. Wenn seine Kopplung mit der Umwelt real verschwindet, also vernachlässigbar ist, dann …

… kann das Gehirn nicht lernen, keine Aufgaben lesen, nicht antworten.

Wird die Umgebung aber dagegen vernachlässigt …

… dann verhält es sich im wesentlichen genauso.

Könnte also sein, dass ich das nicht geschrieben habe, als ich "Quantensystem" schrieb

 

[antaris]

Diese Antwort

Über seine Systemgrenzen. Wenn seine Kopplung mit der Umwelt real verschwindet, also vernachlässigbar ist, dann ist es eine exakte Beschreibung (geschlossene Systemgrenze). Wird die Umgebung aber dagegen vernachlässigt, dann ist es idealisiert (offene Systemgrenze).

war auf diese Frage bezogen:

Was ist denn an "Quantensystem" idealisiert?

Genau bei verschwindender Umgebung

… kann das Gehirn nicht lernen, keine Aufgaben lesen, nicht antworten.

und bei vernachlässigter Umgebung

… dann verhält es sich im wesentlichen genauso.

Es ist nicht die fehlende Mathematik und auch nicht die fehlende QM/QFT, sondern eine präzise Modellierung der hochkomplexen Systemgrenzen eines quantenmechanischen Gesamtsystems, welche innerhalb der Gültigkeitsbereiche unserer Theorien liegt. Wir haben einfach keine Ahnung wie ein Gehirn als geschlossenes System beschrieben werden kann, es gibt keine bekannte geschlossene "Thermodynamik des Bewusstseins", keine geschlossene Beschreibung, welche alle Umgebungseinflüsse modelliert. Das bedeutet aber nicht, dass die Natur nicht trotzdem genauso funktioniert und modelliert werden könnte, wenn wir alle Umgebungseinflüsse wüssten.

Warum kann ein Affe keinen mathematischen Beweis finden, obwohl das Gehirn sich kaum von unseren unterscheidet? Irgendwas muss die Evolution doch hereingetragen haben, was genau diese Abgrenzung geschaffen hat. Warum muss das im Hirn selbst zu verorten sein und nicht einfach im gesellschaftlich/sozialen Miteinander, in der Entwicklung von Sprache und Schriften, in der Diskussion auf dieser geschaffen Basis und nicht zuletzt auf Ideen/Intuitionen/Träume -> Weltbilder in einer durch die Umgebung aufgezwungenen Evolution?

 

[TomS]

Ich habe aber "Quantensystem" geschrieben, alles weitere hast du dir dazugedacht.

Wir brauchen keine Ahnung, wie ein Gehirn als geschlossenes System beschrieben werden kann, weil es keines ist.

Es geht auch nicht darum, dass uns eine thermodynamische Beschreibung fehlen würde. Oder glaubst du ernsthaft, dass Nichtgleichgewichtsthermodynamik für offene Systeme ausreicht, um höherwertige Funktionen des Gehirns zu erklären?

Dass man es nur in einem Gehirn verorten kann, habe ich auch nicht geschrieben. An meinem mathematischen Verständnis waren sicher mehrere Gehirne beteiligt.

Dass die Natur nicht so funktioniert, habe ich nie behauptet. Es ging um den Unterschied zwischen "G auf Basis Q implementiert höherwertige Funktionen f …" und unserem Verständnis, "wir verstehen auf Basis Q mittels bzw. in unserem X, wie und warum dieses f implementiert".

 

[antaris]

Wir brauchen keine Ahnung, wie ein Gehirn als geschlossenes System beschrieben werden kann, weil es keines ist.

Hab ich das behauptet? Nenn mir genau die Stelle. Ich spreche über Systemgrenzen von allgemeinen Quantensystemen und das Gehirn ist ein spezielles Quantensystem mit unbekannten Systemgrenzen, es kann nicht nur isoliert beschrieben werden, wie ein Proton im Labor.

 

[TomS]

Du hast alles mögliche in "Quantensystem" und meinen Beitrag hineininterpretiert und dich daran abgearbeitet, obwohl ich das nie geschrieben hatte.

 

[antaris]

Die Konkretisierung von #146, nach deiner Nachfrage in #147, steht in #148. Keine Ahnung warum du dich so angegriffen fühlst, mehr habe ich dazu aber nun auch nicht zu sagen.

 

[TomS]

Diese Konkretisierung ist eine Limitierung, die ich nicht gemeint und deswegen auch nicht geschrieben habe.

Also vorsichtiger formuliert, dass es sich für mich so anfühlt, als ob ich mathematisch denken kann und mich mit Quantenmechanik auskenne, ich aber deswegen trotzdem nichts darüber sagen kann oder zu wissen glaube, wie diese Fähigkeit mathematisch zu denken aus den physikalischen Prozessen in meinem Gehirn hervorgeht.

Daran kann man sich abarbeiten, aber nicht, indem man diese Aussage einschränkt, nur um dann zu sagen, das sei dann zu sehr eingeschränkt.

 

[antaris]

Also vorsichtiger formuliert, dass es sich für mich so anfühlt, als ob ich mathematisch denken kann und mich mit Quantenmechanik auskenne, ich aber deswegen trotzdem nichts darüber sagen kann oder zu wissen glaube, wie diese Fähigkeit mathematisch zu denken aus den physikalischen Prozessen in meinem Gehirn hervorgeht.

Daran kann man sich abarbeiten, aber nicht, indem man diese Aussage einschränkt, nur um dann zu sagen, das sei dann zu sehr eingeschränkt.

Darum geht es doch gar nicht?!

Deine m.E. richtige Aussage

"selbst deine weitreichenden mathematischen Fähigkeiten und dein fundiertes Wissen über QM reichen allein offenbar nicht aus, um diesen Übergang zu erklären"

ist kein Angriffspunkt meinerseits auf deine Fähigkeiten. Falls ich da missverständlich war, dann sorry.

Deine Aussage enthält aber selbst bereits Einschränkungen, da ich glaube, dass ein weitreichendes mathematisches Verständnis nicht mit "alle mathematischen Formalismen verstanden" gleichzusetzen ist, da "der richtige" Formalismus noch gar nicht entdeckt sein könnte und kein Mensch die ganze Mathematik verstehen kann (das ist meine Vermutung). Dazu das weitere allgemeine Problem der Unkenntnis über die konkrete realistische Modellierung solcher Systeme, unter Beachtung derer Systemgrenzen und Gültigkeitsberechen der jeweiligen Theorien. Das betrifft uns doch alle, nicht nur dich im speziellen.

Mein Hinweis auf offene Systeme bzw. Systemgrenzen sollte den betrachteten Beschreibungsraum "reine Quantenmechanik" gerade erweitern, nicht einschränken. Offene Systeme können mathematisch beschrieben werden. Daran kann es also nicht liegen. Mein Einwand liegt darin, dass die Schwierigkeit in der Komplexität der offenen Systeme liegt und nicht im Verständnis eines Einzelnen, sondern im Verständnis von uns allen.

Mir erscheint es darum zu pessimistisch nur aus dem jetzigen fehlenden Verständnis über die komplexen Prozesse der Natur vorschnell die weiße Flagge zu heben und nur darauf will ich hinaus.

 

[TomS]

Ich habe mich nicht bzgl. meiner Fähigkeiten angegriffen gefühlt.

Offene Systeme erweitern den "Beschreibungsraum "Quantenmechanik" nicht, sondern haben ihn diesbzgl. schon vor Jahrzehnten erweitert

Mir erscheint es darum zu pessimistisch nur aus dem jetzigen fehlenden Verständnis über die komplexen Prozesse der Natur vorschnell die weiße Flagge zu heben und nur darauf will ich hinaus.

Ok, dann bist du da der Optimist von uns beiden.

 

[antaris]

Offene Systeme erweitern den "Beschreibungsraum "Quantenmechanik" nicht, sondern haben ihn diesbzgl. schon vor Jahrzehnten erweitert

Eben: diesbezüglich.

Genau das ist mein Punkt. OQS erweitern die QM bezüglich bekannter Umweltkopplungen. Daraus folgt aber nicht, dass damit alle für ein komplexes System relevanten Systemgrenzen, Freiheitsgrade oder höherstufigen Kopplungen bereits erfasst sind. Beim Gehirn gehören etwa soziale, sprachliche und kulturelle Prozesse funktional zur Umwelt, auch wenn sie physikalisch realisiert sind, können diese ja nicht einfach physikalisch modelliert werden. Die offene Frage ist also nicht, ob OQS seit Jahrzehnten existieren, sondern ob die heute bekannten offenen Beschreibungen die für die jeweilige Makrofunktion relevanten Kopplungen überhaupt vollständig treffen (können).

 

[TomS]

Genau das ist mein Punkt. OQS erweitern die QM bezüglich bekannter Umweltkopplungen. Daraus folgt aber nicht, dass damit alle für ein komplexes System relevanten Systemgrenzen, Freiheitsgrade oder höherstufigen Kopplungen bereits erfasst sind. Beim Gehirn gehören etwa soziale, sprachliche und kulturelle Prozesse funktional zur Umwelt, auch wenn sie physikalisch realisiert sind, können diese ja nicht einfach physikalisch modelliert werden. Die offene Frage ist also nicht, ob OQS seit Jahrzehnten existieren, sondern ob die heute bekannten offenen Beschreibungen die für die jeweilige Makrofunktion relevanten Kopplungen überhaupt vollständig treffen (können).

Jetzt möchtest du was genau physikalisch modellieren? Und wie machst du das, wenn du es nicht verstanden hast? Entweder leitest du alles aus verstanden Prozessen ab, dann hast du auch diese Makrofunktionen verstanden. Oder du errätst, wie du es modellieren könntest, so dass es funktioniert; bestenfalls funktioniert das, aber dadurch hast du es nicht verstanden.

Beispiel: Wir wissen heute ziemlich genau, wie so etwas wie "Aufmerksamkeit" in einem LLM modelliert wird. Haben wir das Konzept "Aufmerksamkeit" dadurch auch verstanden? Ich habe keine Ahnung, wie ich soziale Prozesse aus der Umwelt modellieren soll, weiß aber sehr genau, wie ich das mit mathematischen tun kann: ich schreibe direkt Gleichungen in den Prompt der KI, und wenn der nicht zu kompliziert wird, funktioniert das hervorragend, die KI liefert das korrekte Ergebnis. Haben wir dadurch verstanden, wie ein LLM rechnet? Sicher nicht, obwohl es korrekt rechnet, und obwohl ich das an den Systemgrenzen schon richtig gemacht habe, oder?

Ich glaube, das grundsätzliche Missverständnis zwischen uns besteht darin, dass wir ein unterschiedliches Verständnis von "Verstehen" haben.

Der angewandte Physiker versteht Supraleitung im Sinne der London-Gleichungen o.ä.; der theoretische Physiker weiß, dass es sich dabei um effektive Gleichungen handelt, die ein supraleitendes System gut beschreiben, die aber nichts zum Verständnis des grundlegenden Mechanismus der Supraleitung beitragen. Dazu benötigt er die BCS-Theorie; diese liefert heute (nicht für HTS) das wirkliche Verständnis.

Das ist mein Verständnis (und das vieler theoretischer Physiker) von "Verstehen": wir wissen und verstehen damit, wie etwas aus bereits vorher verstanden Gegebenheiten heraus entsteht. In der KI-Forschung ist das den meisten aber ziemlich egal, und die wenigen, die sich wirklich damit befassen, verstehen, dass sie eben eher nichts verstehen.


Offenbar bin ich … etwas weiser, eben darum, dass ich, was ich nicht weiß, auch nicht zu wissen glaube.

 

[antaris]

Ich glaube, das grundsätzliche Missverständnis zwischen uns besteht darin, dass wir ein unterschiedliches Verständnis von "Verstehen" haben.

Ja da würde ich dir zustimmen.

Das ist mein Verständnis (und das vieler theoretischer Physiker) von "Verstehen": wir wissen und verstehen damit, wie etwas aus bereits vorher verstanden Gegebenheiten heraus entsteht. In der KI-Forschung ist das den meisten aber ziemlich egal, und die wenigen, die sich wirklich damit befassen, verstehen, dass sie eben eher nichts verstehen.

Eine Theorie kann 1. innerhalb ihrer Definitionen und Setzungen natürlich vollständig verstanden und geschlossen sein und präzise Berechnungsmöglichkeiten bieten, welche bestimmte Aspekte der Realität ebenso präzise beschreiben können, ohne dass 2. damit aber zwangsläufig die Herkunft oder Notwendigkeit dieser Definitionen und Setzungen wirklich verstanden sein muss.

Echtes Verständnis schließt für mich auch das auflösen von 2. mit ein, soweit es geht. Man kann ein AI-Modell hundert mal exakt innerhalb der Definitionen und Setzungen programmieren, verbessern, Tools dazu zu bauen, Reasoning einführen, Funktionen aufschreiben usw. und dennoch hundert mal nicht verstehen, warum irgendwo etwas emergiert, wenn 2. unbeachtet bleibt.