Chris T. Ludwig: /* Umsetzungsvoraussetzungen */

2026-07-08T07:49:04Z

Umsetzungsvoraussetzungen

← Nächstältere Version		Version vom 8. Juli 2026, 09:49 Uhr
Zeile 102:		Zeile 102:

	Getrennte Systeme:		Getrennte Systeme:
	'''Agent''' lernt ausschlieszlich durch Versuch und Irrtum, wie die Aktoren bewegt werden muessen.		*'''Agent''' lernt ausschlieszlich durch Versuch und Irrtum, wie die Aktoren bewegt werden muessen.
	'''Beobachter''' analysiert dauerhaft die Bildsequenzen und versucht, Gesetzmaeszigkeiten und Ursache-Wirkungs-Beziehungen zu erkennen und in einer für Menschen verstaendlichen Form zu beschreiben.		*'''Beobachter''' analysiert dauerhaft die Bildsequenzen und versucht, Gesetzmaeszigkeiten und Ursache-Wirkungs-Beziehungen zu erkennen und in einer für Menschen verstaendlichen Form zu beschreiben.

	Der Beobachter unterstuetzt den Agenten, muss aber zunaechst nur beobachten und erklaeren.		Der Beobachter unterstuetzt den Agenten, muss aber zunaechst nur beobachten und erklaeren.
Zeile 158:		Zeile 158:
	│		│
	└── Zaehler++		└── Zaehler++


	=SoftwareStack=		=SoftwareStack=

Chris T. Ludwig: /* Digitaler Zwilling (Digital Twin) */

2026-07-08T07:46:29Z

Digitaler Zwilling (Digital Twin)

← Nächstältere Version		Version vom 8. Juli 2026, 09:46 Uhr
Zeile 118:		Zeile 118:
	</pre>		</pre>

	Matrix Overlay zur Koordinatenbestimmng.		Matrix-Overlay zur Koordinatenbestimmng.
	Ist aber mehr ein Gimmick, weil definitiv keine Koordinatenberechnungen durch gefuehrt werden soll.		Ist aber mehr ein Gimmick, weil definitiv keine Koordinatenberechnungen durch gefuehrt werden soll.

Chris T. Ludwig: /* Digitaler Zwilling (Digital Twin) */

2026-07-08T07:46:09Z

Digitaler Zwilling (Digital Twin)

← Nächstältere Version		Version vom 8. Juli 2026, 09:46 Uhr
Zeile 108:		Zeile 108:

	===Digitaler Zwilling (Digital Twin)===		===Digitaler Zwilling (Digital Twin)===
			<pre>
	+---------------------------------------+		+---------------------------------------+
	\| Kamera 0 . 0 \|		\| Kamera 0 . 0 \|
Zeile 116:		Zeile 116:
	\| \| . \| \|		\| \| . \| \|
	+---------------------------------------+		+---------------------------------------+
			</pre>

	Matrix Overlay zur Koordinatenbestimmng.		Matrix Overlay zur Koordinatenbestimmng.
Zeile 122:		Zeile 123:
	Das waere wieder einer der von vielen Ingenieuren und Technikern falsch gewaehlte Ansatz.		Das waere wieder einer der von vielen Ingenieuren und Technikern falsch gewaehlte Ansatz.

	Dieser Ansatz fuehrt vermutlich auch zum Ziel, aber halt ueber viel zu viel problemspezifischen Programmcode.		Dieser Ansatz fuehrt vermutlich auch zum Ziel, aber halt ueber viel zu viel problemspezifischen Programmcode.

	===Hypothesenspeicher===		===Hypothesenspeicher===

Chris T. Ludwig: /* Allgemeines */

2026-07-08T07:23:13Z

Allgemeines

← Nächstältere Version		Version vom 8. Juli 2026, 09:23 Uhr
Zeile 1:		Zeile 1:
	=Allgemeines=		=Allgemeines=
	Curio ist der Versuch einen kleinen "Roboter" selbstlernend Pong ~~bezubringen~~.		Curio ist der Versuch einen kleinen "Roboter" selbstlernend Pong beizubringen.

	Das Set ist minimal.		Das Set ist minimal.
Zeile 7:		Zeile 7:
	*Kleiner Monitor		*Kleiner Monitor
	*MiniPC mit Kamera und 2 Aktoren		*MiniPC mit Kamera und 2 Aktoren

			Hier wird der Versuch schrittweise dokumentiert. Es ist keine Anleitung zum Nachbau, sondern ein Vorgehensmodell.

	=Erste Annaeherung=		=Erste Annaeherung=

Chris T. Ludwig: Die Seite wurde neu angelegt: „=Allgemeines= Curio ist der Versuch einen kleinen "Roboter" selbstlernend Pong bezubringen. Das Set ist minimal. Pong-Telespiel Kleiner Monitor *MiniPC mit Kamera und 2 Aktoren =Erste Annaeherung= Was ich anstrebe: Das Selbstlernsystem soll mit so wenig Regeln wie notwendig, das Spiel beim Spielstand 0:0 halten. Ein "simple" Architektur wie es vielfach auch in LLMs als Grundprinzip gilt mit Kamera → neuronales Netz → Aktor kommt fuer meinen…“

2026-07-08T07:19:01Z

Die Seite wurde neu angelegt: „=Allgemeines= Curio ist der Versuch einen kleinen "Roboter" selbstlernend Pong bezubringen. Das Set ist minimal. *Pong-Telespiel *Kleiner Monitor *MiniPC mit Kamera und 2 Aktoren =Erste Annaeherung= Was ich anstrebe: Das Selbstlernsystem soll mit so wenig Regeln wie notwendig, das Spiel beim Spielstand 0:0 halten. Ein "simple" Architektur wie es vielfach auch in LLMs als Grundprinzip gilt mit Kamera → neuronales Netz → Aktor kommt fuer meinen…“

Neue Seite

=Allgemeines=
Curio ist der Versuch einen kleinen "Roboter" selbstlernend Pong bezubringen.

Das Set ist minimal.

*Pong-Telespiel
*Kleiner Monitor
*MiniPC mit Kamera und 2 Aktoren

=Erste Annaeherung=

Was ich anstrebe:
Das Selbstlernsystem soll mit so wenig Regeln wie notwendig, das Spiel beim Spielstand 0:0 halten.

Ein "simple" Architektur wie es vielfach auch in LLMs als Grundprinzip gilt mit
Kamera → neuronales Netz → Aktor
kommt fuer meinen Versuch nicht in Frage. Vielleicht realisiere ich das auch mal zum Vergleich.

Ich will eigentlich mit null Regeln starten. Wie ein Kind das man vor das Telespiel setzt und nichts weiter erklaert.

Das selbstlernende System soll auch ueber eine Konsole zur Interaktion verfuegen. Spaeter werde ich vielleicht ein STT/TTS-System ergaenzen.

Arbeitsablauf
Siehe Bild
Waehle Bewegung
Bekomme Belohnung oder Strafe
Lerne daraus

=Start=

<pre>
Kamera
│
▼
Wahrnehmung (Vision)
│
erkannte Objekte/Ereignisse
│
▼
Wissensspeicher (Memory)
│
erkannte Zusammenhänge/Historie
│
┌────────┴─────────┐
▼ ▼
Lernalgorithmus Dialogsystem
│ │
▼ ▼
Aktorsteuerung Konsole
</pre>

==Kamera==
So stelle ich mir die erste Kontakaufnahme vor.

> Was siehst du?
# Ich erkenne:
- 1 beweglichen Bildpunkt
- 2 vertikale Balken
- 2 numerische 'Zaehler'
- einen schwarzen Hintergrund
- gestrichelte Trennlinie
- Begrenzungslinien oben und unten

> Was bewegt sich?
# Der Bildpunkt bewegt sich.
Die Balken bewegen sich gelegentlich.
Der Zaehler aendert sich jedes mal wenn sich der Bildpunkt links oder rechts aus dem Bild bewegt.

> Welche Zusammenhänge hast du erkannt?
# Mit hoher Wahrscheinlichkeit:
- Der Bildpunkt bewegt sich kontinuierlich.
- Der Bildpunkt aendert seine Richtung an der oberen und unteren Begrenzung.
- Der Zaehler steigt immer dann, wenn der Bildpunkt den rechten oder linken Bildrand erreicht.
- Die Position des rechten oder linken Balkens beeinflusst, ob der Zaehler steigt.
- Mit den Balken kann man die Position des Bildpunktes beeinflussen.

> Warum hast du den Balken bewegt?
# Der Bildpunkt bewegte sich nach rechts.
Ich erwartete eine Kollision in etwa 0,4 Sekunden.
Deshalb habe ich den Balken nach oben bewegt um den Bildpunkt daran zu hindern den Bildschirm nach rechts zu verlassen.
Damit bin ich einer Bestrafung entgangen

> Welche Bedeutung haben die Zahlen?
# Wenn sich der Bildpunkt rechts aus dem Bildschirm bewegt nimmt der linke Zaehler um 1 zu.
Wenn sich der Bildpunkt links aus dem Bildschirm bewegt nimmt der rechte Zaehler um 1 zu.
Die Zaehler zaehlen immer nur nach oben.
Wenn ein Zaehler 10 erreicht bewegt sich der Bildpunkt nicht mehr.

==Umsetzungsvoraussetzungen==

Hier derzeit noch eine lose Sammlung von Gedanken.

Klaeren, ob OpenCV die beste Moeglichkeit darstellt, um die Bildobjekte zu deklarieren.

Die Umsetzung der Kommunikationskonsole (Dialogsystem), soll zwar jener von ELiza aehneln, aber nnicht mit vorgefertigten Phrasen arbeiten.

Hypothesen- statt Regelspeicher

Objektbenennug durch Bediener nach Aufforderung

Getrennte Systeme:
'''Agent''' lernt ausschlieszlich durch Versuch und Irrtum, wie die Aktoren bewegt werden muessen.
'''Beobachter''' analysiert dauerhaft die Bildsequenzen und versucht, Gesetzmaeszigkeiten und Ursache-Wirkungs-Beziehungen zu erkennen und in einer für Menschen verstaendlichen Form zu beschreiben.

Der Beobachter unterstuetzt den Agenten, muss aber zunaechst nur beobachten und erklaeren.

===Digitaler Zwilling (Digital Twin)===

+---------------------------------------+
| Kamera 0 . 0 |
| . |
| o . |
| . |
| | . | |
+---------------------------------------+

Matrix Overlay zur Koordinatenbestimmng.
Ist aber mehr ein Gimmick, weil definitiv keine Koordinatenberechnungen durch gefuehrt werden soll.

Das waere wieder einer der von vielen Ingenieuren und Technikern falsch gewaehlte Ansatz.

Dieser Ansatz fuehrt vermutlich auch zum Ziel, aber halt ueber viel zu viel problemspezifischen Programmcode.

===Hypothesenspeicher===

Beispiel:
Hypothese 17

Wenn
Bildpunkt_y > Balken_y

und

Bildpunkt_x nimmt zu

dann

Balken nach unten bewegen

===Wissensgraph===
Bildpunkt
│
├── bewegt sich
│
├── trifft Bildschirmrand oben
│ │
│ └── Richtungswechsel
│
├── trifft Balken
│ │
│ └── Zaehler unveraendert
│
└── passiert Balken
│
└── Zaehler++

=SoftwareStack=

OpenCV oder ???

Image Classification

Annotation

Roboflow
CVAT
Label Studio
Supervisely
labelme
SuperAnnotate
Hasty
V7 Labs
Labelbox

ObjectDetection
YOLO

Konsole
NCurses
Textual

=Deep Reinforcement Learning (DRL)=

On-Policy- und Off-Policy-Ansätze sowie in diskrete und kontinuierliche Aktionsräume

'''PPO''' (Proximal Policy Optimization)Typ: On-Policy, Actor-CriticAktionsraum: Diskret und kontinuierlich Eigenschaften: PPO ist extrem stabil und zuverlaessig. Es schraenkt die Veraenderung der Strategie (Policy) in jedem Schritt stark ein, um extreme Updates zu vermeiden. Es wird haeufig für komplexe Steuerungsaufgaben (wie Roboterarme) und im Bereich Large Language Models (LLM) als RLHF-Optimierer genutzt.

'''DQN''' (Deep Q-Network)Typ: Off-Policy, Value-based (Q-Learning)Aktionsraum: DiskretEigenschaften: DQN nutzt ein neuronales Netzwerk zur Annaeherung der optimalen Q-Werte (Aktionswerte). Es eignet sich besonders gut für Umgebungen mit festen, diskreten Entscheidungen (wie Atari-Spiele). Es glänzt durch eine hohe lerneffiziente Ressourcennutzung und schnelle Konvergenz.

'''A2C''' (Advantage Actor-Critic)Typ: On-Policy, Actor-CriticAktionsraum: DiskretEigenschaften: A2C teilt das Modell in zwei Teile: Einen "Actor" (bestimmt die Aktion) und einen "Critic" (bewertet, wie gut die Aktion war). Im Gegensatz zum älteren A3C (Asynchronous) führt A2C die Schritte synchron und deterministisch aus. Es ist effizient, kann jedoch hyperparameter-sensitiv sein.

'''SAC''' (Soft Actor-Critic)Typ: Off-Policy, Actor-CriticAktionsraum: KontinuierlichEigenschaften: SAC maximiert nicht nur die Belohnung (Reward), sondern auch die Entropie (Zufälligkeit der Aktion) des Modells. Dies fördert die Exploration und verhindert, dass der Algorithmus in suboptimalen Strategien steckenbleibt. Es eignet sich exzellent für reale Steuerungsaufgaben mit kontinuierlichen Variablen (wie Motoren) und nutzt zur Begrenzung eine tanh()-Transformation.

Curio - Versionsgeschichte

Chris T. Ludwig: /* Umsetzungsvoraussetzungen */

Chris T. Ludwig: /* Digitaler Zwilling (Digital Twin) */

Chris T. Ludwig: /* Digitaler Zwilling (Digital Twin) */

Chris T. Ludwig: /* Allgemeines */