KI Vokabel - Versionsgeschichte

Chris T. Ludwig: /* In Convolutional Neural Networks (Dilated Convolutions) */

2026-10-11T06:34:09Z

In Convolutional Neural Networks (Dilated Convolutions)

← Nächstältere Version		Version vom 11. Oktober 2026, 08:34 Uhr
Zeile 714:		Zeile 714:

	[9] https://www.projectpro.io		[9] https://www.projectpro.io


			=Kernel Shape=
			Im Informatik- und KI-Zusammenhang (insbesondere bei Convolutional Neural Networks (CNNs) und der Bildverarbeitung) beschreibt kernel_shape die Dimensionen (Breite und Hoehe) eines Filters (Kernels).
			Der Begriff gibt an, wie grosz das gleitende Fenster ist, das Schritt für Schritt über das Bild wandert, um Merkmale wie Kanten, Formen oder Texturen zu extrahieren.
			==Format und Darstellung==
			Die kernel_shape wird fast immer als ein Tupel oder eine Liste aus zwei (oder drei) Ganzzahlen angegeben: [Hoehe, Breite].

			kernel_shape = [3, 3] bedeutet: Der Filter ist eine quadratische Matrix mit 3 Pixeln Höhe und 3 Pixeln Breite (insgesamt 9 Rechenpunkte). Dies ist der absolute Standard in modernen Netzwerken (wie YOLO oder ResNet).

			kernel_shape = [5, 5] bedeutet: Ein größerer Filter mit 25 Rechenpunkten, der auf einmal einen größeren Bildbereich analysiert.

			kernel_shape = [1, 1] (Pointwise Convolution): Ein minimaler Filter. Er schaut nur auf einen einzigen Pixel, wird aber genutzt, um die Anzahl der Kanäle (Features) zu verändern, ohne die räumliche Bildgröße zu beeinflussen.

			==Warum fast immer ungerade Zahlen?==
			Sie werden in der Praxis fast ausschließlich ungerade Zahlen (3x3, 5x5, 7x7) als kernel_shape sehen. Der Grund ist mathematischer Natur: Ungerade Matrizen haben einen exakten Mittelpunkt. Dadurch kann der berechnete Wert präzise auf den Pixel projiziert werden, der sich genau in der Mitte des Filters befindet.

			==Bezug==
			Bei Dilated Convolutions: Wenn Sie eine kernel_shape von [3, 3] haben und die Dilation Rate auf 2 setzen, dehnt sich der Filter optisch aus. Er deckt dann die Fläche einer kernel_shape von [5, 5] ab, berechnet aber weiterhin nur die Werte von 9 Pixeln.

			Bei ONNX-Konvertierungen: Wenn Sie ein YOLO-Modell in ONNX konvertieren und es mit Tools wie Netron.app untersuchen, taucht der Begriff kernel_shape in den Attributen jedes Conv-Blocks auf. Er zeigt Ihnen genau, wie die Geometrie der Schichten im Modell aufgebaut ist.

			=Group/Pads/Strides=
			In einem Conv-Block (Convolutional Layer) eines neuronalen Netzes (wie man sie beim Inspizieren in ONNX oder Netron sieht) beschreiben pads, strides und group die genauen Regeln, wie sich der Filter (Kernel) über das Bild bewegt, wie die Ränder behandelt werden und wie die Kanäle miteinander verrechnet werden.
			Zusammen mit der kernel_shape bestimmen diese drei Parameter exakt die Größe des Ausgangsbildes nach der Faltung.
			==1. strides (Schrittweite)==
			Der stride (meist als [Y, X] angegeben) definiert, um wie viele Pixel der Filter nach jedem Schritt weitergerückt wird.

			strides = [1, 1] (Standard): Der Filter verschiebt sich immer nur um genau einen Pixel nach rechts oder unten. Die Auflösung des Bildes bleibt (vorausgesetzt, das Padding stimmt) fast identisch.

			strides = [2, 2]: Der Filter springt immer um zwei Pixel vorwärts. Er überspringt also die Hälfte der Daten.

			Der Effekt: Das Ausgangsbild wird dadurch exakt halbiert (z. B. von 640 × 640 auf 320 × 320 Pixel). Moderne Netze wie YOLO nutzen stride = [2, 2] anstelle von Pooling-Layern, um das Bild bewusst zu verkleinern und Rechenleistung zu sparen.
			==2. pads (Rand-Auffüllung)==
			Da ein Filter (z. B. 3 × 3) eine gewisse Breite hat, stoeszt er an den Bildraendern an seine Grenzen. Wenn man den Filter genau auf den allerersten Pixel oben links setzen will, wuerde die linke Haelfte des Filters im "Nichts" haengen. pads loest das, indem künstliche Pixel (meistens Nullen) um das Bild herumgelegt werden.

			Die Angabe erfolgt im Format [Top, Left, Bottom, Right].

			pads = [0, 0, 0, 0] (Valid Padding): Es wird kein Rand hinzugefuegt. Der Filter darf sich nur dort bewegen, wo er komplett auf das echte Bild passt. Das Ausgangsbild wird dadurch automatisch ein Stueck kleiner.

			pads = [1, 1, 1, 1] (Same Padding): Es wird ein 1 Pixel breiter Rand aus Nullen um das gesamte Bild gelegt. In Kombination mit strides = [1, 1] sorgt dies dafür, dass das Ausgangsbild exakt die gleiche Höhe und Breite behält wie das Eingangsbild.
			==3. group (Gruppierung der Kanaele)==
			Dieser Parameter steuert die Verbindung zwischen den Eingangs-Kanaelen (z. B. RGB = 3 Kanaele) und den Ausgangs-Kanaelen.

			group = 1 (Standard / Dense Convolution): Jeder Filter berechnet Werte über alle Eingangskanaele hinweg. Ein Filter schaut sich also gleichzeitig Rot, Grün und Blau an und mischt diese Informationen komplett.

			group = In_Channels (Depthwise Separable Convolution): Wenn die Anzahl der Gruppen exakt der Anzahl der Eingangskanäle entspricht, ist jeder Filter strikt auf seinen eigenen Kanal isoliert. Ein "roter" Filter berechnet nur rote Pixel, ein "grüner" Filter nur grüne.

			Der Effekt: Das spart massiv Rechenleistung und Parameter (oft bis zu 90 %). Mobile Netze (wie MobileNet) oder extrem komprimierte YOLO-Varianten für Edge-Geräte und FPGAs nutzen dies intensiv, um die Hardware zu entlasten.

			==Ein schnelles Rechenbeispiel aus der Praxis==
			Ein YOLO-Modell bekommt ein Bild der Größe 640 × 640 Pixel. Es trifft auf einen Conv-Block mit folgenden Attributen:

			kernel_shape = [3, 3]

			strides = [2, 2]

			pads = [1, 1, 1, 1]

			Was passiert? Das Padding fügt ringsherum Nullen an (Bild wird virtuell zu 642 × 642). Der 3 × 3-Filter wandert nun im 2-Pixel-Takt (stride = 2) darüber hinweg. Das Ergebnis am Ausgang dieses Blocks ist ein perfekt verkleinertes Feature-Bild der Größe 320 × 320 Pixel.

			=Sigmoid=
			In einem CNN (Convolutional Neural Network) ist die Sigmoid-Funktion eine mathematische Funktion, die als Aktivierungsfunktion eingesetzt wird. Ihre Hauptaufgabe ist es, eine beliebige Zahl (das Ergebnis einer vorherigen Berechnung) in einen festen Wertebereich zwischen 0 und 1 abzubilden.

			Die mathematische Formel lautet:

			<math>\sigma(x)=\frac{1}{1+e^{-x}}</math>

			Hier ist die Bedeutung und Funktion im CNN-Kontext aufgeschlüsselt:

			==1. Die Hauptaufgabe: Wahrscheinlichkeiten berechnen==
			Da die Kurve der Sigmoid-Funktion S-förmig verläuft, eignet sie sich perfekt, um Wahrscheinlichkeiten (Scores) auszudrücken.
			Ein Wert nahe 0 bedeutet: „Das Objekt ist mit hoher Sicherheit nicht da.“
			Ein Wert nahe 1 bedeutet: „Das Objekt ist mit hoher Sicherheit da.“
			==2. Einsatzort in Modellen wie YOLO==
			In der Objekterkennung (z. B. YOLO) sitzt die Sigmoid-Funktion fast immer am allerletzten Ausgang (Output Layer) des Netzwerks und erfüllt dort zwei Aufgaben:
			===Klassifizierung (Multi-Label-Klassifikation)===
			Wenn ein Modell erkennen soll, ob auf einem Bild ein „Mensch“, ein „Auto“ oder ein „Hund“ zu sehen ist, schaltet man für jede Klasse eine Sigmoid-Funktion am Ausgang. Das erlaubt es dem Netzwerk zu sagen: „Ich bin mir zu 95 % sicher, dass hier ein Mensch ist, und zu 80 % sicher, dass hier ein Auto ist“ (z. B. wenn ein Mensch im Auto sitzt).
			===Begrenzungsrahmen (Bounding Box Regression)===
			Um zu verhindern, dass die vorhergesagten Koordinaten einer Box aus dem Bild "springen", jagt man die Koordinaten-Werte durch ein Sigmoid. Dadurch liegen die Werte exakt zwischen 0 und 1 (relativ zur Rasterzelle) und die Box bleibt sauber im Bildbereich.
			===Warum nutzt man sie nicht überall im Netzwerk? (Das Problem)===
			In den inneren Schichten (Hidden Layers) eines CNNs nutzt man heute fast nie Sigmoid, sondern meistens ReLU (Rectified Linear Unit) oder Varianten wie SiLU (Swish).
			Der Grund ist das berüchtigte Vanishing Gradient Problem (Verschwindender Gradient):

			Wenn die Werte sehr groß oder sehr klein werden, flacht die Sigmoid-Kurve extrem ab. Die Steigerung (Ableitung) der Kurve geht dann gegen Null. Beim Training des Netzwerks führt das dazu, dass die Fehlerkorrekturen (Gradienten) auf dem Rückweg durch das Netzwerk immer kleiner werden und die vorderen Schichten des Netzes aufhören zu lernen.
			===Zusammenfassung: Sigmoid vs. Softmax===
			'''Sigmoid:''' Berechnet die Wahrscheinlichkeit für jede Klasse unabhängig voneinander (Werte müssen sich nicht zu 100 % ergänzen). Ideal für Multi-Label-Probleme.

			'''Softmax:''' Berechnet die Wahrscheinlichkeiten so, dass sich alle Ausgänge zusammen exakt zu 100 % (1.0) aufaddieren. Ideal, wenn sich Klassen gegenseitig ausschließen (z. B. Entweder Hund oder Katze).

			[[File:Sigmoid-Fkt_mit_Ableitung.png\|1000px]]

Chris T. Ludwig: /* CrossEntropyLoss */

2026-10-11T05:39:16Z

CrossEntropyLoss

← Nächstältere Version		Version vom 11. Oktober 2026, 07:39 Uhr
Zeile 663:		Zeile 663:

	Die Accuracy ist nämlich nicht gut geeignet, um mittels Backpropagation die Gewichte eines neuronalen Netzes schrittweise zu verbessern.		Die Accuracy ist nämlich nicht gut geeignet, um mittels Backpropagation die Gewichte eines neuronalen Netzes schrittweise zu verbessern.


			=Image Manipulation=
			==Dilations==

			Dilatation (abgeleitet vom lateinischen dilatare für „ausdehnen“ oder „erweitern“) bedeutet allgemein die Erweiterung, Dehnung oder Vergrößerung eines Gefäßes oder eines physikalischen Körpers.

			Der Begriff gehoert zur digitalen Bildverarbeitung als morphologische Dilatation (z. B.YOLO und Computervision). Hier ist es eine Operation, bei der Pixel an die Raender von Objekten in einem Binärbild (Schwarz-Weiß-Bild) "angefuegt" werden. Objekte im Bild werden dadurch vergroeszert oder dicker gemacht, um beispielsweise kleine Loecher in erkannten Formen zu schließen oder Linien zu verbinden.

			Im Informatik-Zusammenhang bezieht sich Dilatation (engl. dilation) fast ausschließlich auf zwei wichtige Bereiche der Bildverarbeitung und der Deep-Learning-Netzwerke. Beide Konzepte nutzen das mathematische Prinzip der "Ausdehnung", wenden es aber unterschiedlich an:

			===In der Bildverarbeitung (Morphologische Dilatation)===
			Hier ist die Dilatation (oft zusammen mit ihrem Gegenstück, der Erosion) eine der fundamentalen Operationen, um die Formen von Objekten in digitalen Bildern zu verändern. [1, 2]

			Wie es funktioniert: Ein kleiner Filter (ein sogenanntes Strukturelement oder Kernel, z. B. eine Matrix von 3 × 3 Pixeln) wandert Schritt für Schritt über das Bild.
			Bei einem Binärbild (Schwarz-Weiß) gilt die Regel: Wenn der Kernel auch nur einen einzigen weißen Pixel berührt, wird der Pixel in der Mitte ebenfalls weiß gefärbt (logisches ODER).
			Bei einem Graustufenbild wird der Pixel in der Mitte durch den maximalen Helligkeitswert in der Umgebung ersetzt. [3, 4, 5, 6, 7]
			Der Effekt: Weiße/helle Flächen dehnen sich aus (sie "dilatieren"), während schwarze Löcher schrumpfen. [3, 4]

			Praxis-Anwendung:
			Lücken schließen: Wenn bei einer Texterkennung (OCR) Buchstaben durch Bildrauschen unterbrochen sind, verbindet die Dilatation die Fragmente wieder.
			Objekttrennung vorbereiten: Wenn man Objekte (wie Münzen) zählen will, die sich leicht berühren, nutzt man morphologische Operationen, um sie sauber freizustellen. [4, 8]

			In Bibliotheken wie OpenCV nutzt man dafür einfach den Befehl cv2.dilate(). [9]

			===In Convolutional Neural Networks (Dilated Convolutions)===
			Wenn Sie moderne KI-Modelle zur Bildsegmentierung oder Objekterkennung (wie YOLO-Varianten oder WaveNet für Audio) bauen, stoszen Sie auf Dilated Convolutions (atrous convolutions).

			Das Problem bei Standard-KI: Um den globalen Kontext eines großen Bildes zu verstehen, müssen KI-Filter tief im Netzwerk sehr groß werden. Große Filter (7 × 7 oder 9 × 9) verbrauchen jedoch enorm viel Rechenleistung.

			Die Dilatation-Loesung: Man nimmt einen kleinen Standard-Filter (z. B. 3 × 3) und zieht ihn kuenstlich auseinander, indem man Luecken (Nullen) zwischen die Filterpunkte einfuegt (der sogenannte Dilation Rate-Faktor).

			Der Effekt: Der Filter deckt ploetzlich ein viel groeszeres Sichtfeld (Receptive Field) ab, behaelt aber die exakt gleiche Anzahl an rechenintensiven Parametern bei. Die KI "sieht" das große Ganze, ohne langsamer zu werden.

			[1] https://medium.com

			[2] https://medium.com

			[3] https://homepages.inf.ed.ac.uk

			[4] https://www.yahboom.net

			[5] https://www.youtube.com

			[6] https://docs.opencv.org

			[7] https://data-flair.training

			[8] https://www.cg.tuwien.ac.at

			[9] https://www.projectpro.io

Chris T. Ludwig: /* Warum nutzt man heute dafür Deep Learning? */

2026-10-10T10:27:27Z

Warum nutzt man heute dafür Deep Learning?

← Nächstältere Version		Version vom 10. Oktober 2026, 12:27 Uhr
Zeile 528:		Zeile 528:

	[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]		[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]

			=CrossEntropyLoss=
			`CrossEntropyLoss` ist eine sehr häufig verwendete Verlustfunktion (Loss Function) für Klassifikationsprobleme in PyTorch.

			Sie beantwortet während des Trainings im Wesentlichen die Frage:

			„Wie stark weicht die Vorhersage des neuronalen Netzes von der richtigen Zielklasse ab?“

			Nehmen wir deinen Ziffernklassifikator. Die Taxonomie bzw. Klassenmenge besteht aus:

			<pre>
			0, 1, 2, 3, 4, 5, 6, 7, 8, 9
			</pre>

			Für ein Bild ist die Zielklasse beispielsweise:

			<syntaxhighlight lang="python" line>
			y = 7
			</syntaxhighlight>

			Das neuronale Netz liefert aber nicht einfach `7`, sondern zunächst 10 Ausgabewerte, sogenannte Logits:

			<pre>
			Klasse Logit
			0 0.2
			1 -0.5
			2 0.8
			3 0.1
			4 -0.3
			5 0.4
			6 0.2
			7 3.8 ←
			8 0.5
			9 1.1
			</pre>

			Je größer der Logit, desto stärker spricht das Modell für diese Klasse.

			==Was macht `CrossEntropyLoss` daraus?==

			Vereinfacht passieren zwei Dinge:


			<math display="block">\text{Logits}
			\xrightarrow{\text{Softmax}}
			\text{Wahrscheinlichkeiten}
			\xrightarrow{\text{Vergleich mit Zielklasse}}
			\text{Loss}</math>


			CrossEntropyLoss kombiniert diese Berechnungen intern. Deshalb sollte man vor CrossEntropyLoss normalerweise kein eigenes `softmax()` aufrufen.

			In PyTorch sieht das beispielsweise so aus:

			<syntaxhighlight lang="python" line>
			import torch
			import torch.nn as nn

			# Ausgabe des neuronalen Netzes:
			# 4 Bilder und jeweils 10 Klassen
			logits = torch.rand(4, 10)

			# Richtige Zielklassen der vier Bilder
			y = torch.tensor([2, 7, 0, 9], dtype=torch.long)

			# Verlustfunktion erzeugen
			loss_fn = nn.CrossEntropyLoss()

			# Verlust berechnen
			loss = loss_fn(logits, y)

			print(f"{logits.shape=}")
			print(f"{y.shape=}")
			print(f"{loss=}")
			</syntaxhighlight>

			Dabei ist entscheidend:

			<pre>
			logits.shape = (4, 10)
			│ │
			│ └── 10 mögliche Klassen
			└────── 4 Bilder

			y.shape = (4,)
			│
			└── eine richtige Zielklasse pro Bild
			</pre>

			Das passt genau zu deinem bisherigen Beispiel:

			<pre>
			Bild x[0] → Zielklasse 2
			Bild x[1] → Zielklasse 7
			Bild x[2] → Zielklasse 0
			Bild x[3] → Zielklasse 9
			<pre>

			### Warum braucht man überhaupt einen Loss?

			Beim Training läuft vereinfacht diese Kette ab:

			<pre>
			Trainingsbild
			↓
			Neuronales Netz
			↓
			Logits
			↓
			CrossEntropyLoss ← richtige Zielklasse
			↓
			Loss
			↓
			Backpropagation
			↓
			Gewichte des Netzes verändern
			</pre>

			Ein kleiner Loss bedeutet: Die Vorhersage passt gut zur Zielklasse.

			Ein großer Loss bedeutet: Die Vorhersage passt schlecht zur Zielklasse.

			Dabei berücksichtigt Cross Entropy nicht nur, ob die endgültige Klassifikation richtig oder falsch war, sondern auch, wie sicher das Modell dabei war. Eine selbstbewusste falsche Vorhersage wird stärker bestraft als eine unsichere falsche Vorhersage.

			Das ist auch der entscheidende Unterschied zur Accuracy:


			<math display="block">\text{CrossEntropyLoss → zum Trainieren}</math>



			<math display="block">\text{Accuracy → zum Bewerten}</math>


			Die Accuracy ist nämlich nicht gut geeignet, um mittels Backpropagation die Gewichte eines neuronalen Netzes schrittweise zu verbessern.

Chris T. Ludwig: /* Warum nutzt man heute dafür Deep Learning? */

2026-08-29T06:14:48Z

Warum nutzt man heute dafür Deep Learning?

← Nächstältere Version		Version vom 29. August 2026, 08:14 Uhr
Zeile 524:		Zeile 524:

	Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13]		Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13]

	Weiterhin interessant: Wie funktioniert das historische Q-Learning mit einer Tabelle im Detail? Wie kann ein KI-System ganz ohne neuronale Netze kluge Entscheidungen treffen?		Weiterhin interessant: Wie funktioniert das historische Q-Learning mit einer Tabelle im Detail? Wie kann ein KI-System ganz ohne neuronale Netze kluge Entscheidungen treffen?

	[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]		[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]

Chris T. Ludwig: /* Warum nutzt man heute dafür Deep Learning? */

2026-08-29T06:14:29Z

Warum nutzt man heute dafür Deep Learning?

← Nächstältere Version		Version vom 29. August 2026, 08:14 Uhr
Zeile 523:		Zeile 523:
	=== Warum nutzt man heute dafür Deep Learning? ===		=== Warum nutzt man heute dafür Deep Learning? ===

	Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13] ~~Möchtest du wissen, wie genau~~ das historische Q-Learning mit einer Tabelle im Detail ~~funktioniert, um zu verstehen, wie~~ KI ganz ohne neuronale Netze kluge Entscheidungen treffen ~~kann~~?		Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13]
			Weiterhin interessant: Wie funktioniert das historische Q-Learning mit einer Tabelle im Detail? Wie kann ein KI-System ganz ohne neuronale Netze kluge Entscheidungen treffen?

	[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]		[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]

Chris T. Ludwig: /* Warum nutzt man heute dafür Deep Learning? */

2026-08-29T06:10:46Z

Warum nutzt man heute dafür Deep Learning?

← Nächstältere Version		Version vom 29. August 2026, 08:10 Uhr
Zeile 521:		Zeile 521:
	<span id="warum-nutzt-man-heute-dafür-deep-learning"></span>		<span id="warum-nutzt-man-heute-dafür-deep-learning"></span>

	== Warum nutzt man heute dafür Deep Learning? ==		=== Warum nutzt man heute dafür Deep Learning? ===

	Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13] Möchtest du wissen, wie genau das historische Q-Learning mit einer Tabelle im Detail funktioniert, um zu verstehen, wie KI ganz ohne neuronale Netze kluge Entscheidungen treffen kann?		Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13] Möchtest du wissen, wie genau das historische Q-Learning mit einer Tabelle im Detail funktioniert, um zu verstehen, wie KI ganz ohne neuronale Netze kluge Entscheidungen treffen kann?

	[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]		[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]

Chris T. Ludwig: /* Die historische Verschmelzung (Die Geburtsstunde des RL) */

2026-08-29T06:10:34Z

Die historische Verschmelzung (Die Geburtsstunde des RL)

← Nächstältere Version		Version vom 29. August 2026, 08:10 Uhr
Zeile 512:		Zeile 512:
	<span id="die-historische-verschmelzung-die-geburtsstunde-des-rl"></span>		<span id="die-historische-verschmelzung-die-geburtsstunde-des-rl"></span>

	== Die historische Verschmelzung (Die Geburtsstunde des RL) ==		=== Die historische Verschmelzung (Die Geburtsstunde des RL) ===

	In den späten 1970er und 1980er Jahren brachten Forscher wie Richard Sutton und Andrew Barto diese beiden Welten zusammen. Sie fragten sich: Können wir die mathematische Optimierung von Bellman nutzen, während die KI die Spielregeln der Welt rein durch die psychologische Methode von Versuch und Irrtum (Trial-and-Error) erlernt? [3, 4, 6, 8] Daraus entstanden die historischen, klassischen RL-Algorithmen, die ohne jedes neuronale Netz funktionierten:		In den späten 1970er und 1980er Jahren brachten Forscher wie Richard Sutton und Andrew Barto diese beiden Welten zusammen. Sie fragten sich: Können wir die mathematische Optimierung von Bellman nutzen, während die KI die Spielregeln der Welt rein durch die psychologische Methode von Versuch und Irrtum (Trial-and-Error) erlernt? [3, 4, 6, 8] Daraus entstanden die historischen, klassischen RL-Algorithmen, die ohne jedes neuronale Netz funktionierten:
Zeile 520:		Zeile 520:

	<span id="warum-nutzt-man-heute-dafür-deep-learning"></span>		<span id="warum-nutzt-man-heute-dafür-deep-learning"></span>

	== Warum nutzt man heute dafür Deep Learning? ==		== Warum nutzt man heute dafür Deep Learning? ==

Chris T. Ludwig: /* 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) */

2026-08-29T06:09:56Z

2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik)

← Nächstältere Version		Version vom 29. August 2026, 08:09 Uhr
Zeile 502:		Zeile 502:
	<span id="die-mathematische-wurzel-optimal-control-regelungstechnik"></span>		<span id="die-mathematische-wurzel-optimal-control-regelungstechnik"></span>

	== 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) ==		=== 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) ===

	Seit den 1950er Jahren suchten Ingenieure und Mathematiker nach Wegen, dynamische Systeme (wie Raketen oder Fabrikanlagen) mathematisch optimal zu steuern. [1, 6]		Seit den 1950er Jahren suchten Ingenieure und Mathematiker nach Wegen, dynamische Systeme (wie Raketen oder Fabrikanlagen) mathematisch optimal zu steuern. [1, 6]
Zeile 510:		Zeile 510:


	-----		<span id="die-historische-verschmelzung-die-geburtsstunde-des-rl"></span>

	~~<span id="die-historische-verschmelzung-die-geburtsstunde-des-rl"></span>~~
	== Die historische Verschmelzung (Die Geburtsstunde des RL) ==		== Die historische Verschmelzung (Die Geburtsstunde des RL) ==

Chris T. Ludwig: /* 1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie) */

2026-08-29T06:09:30Z

1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie)

← Nächstältere Version		Version vom 29. August 2026, 08:09 Uhr
Zeile 492:		Zeile 492:

	<span id="die-psychologische-wurzel-trial-and-error-verhaltensbiologie"></span>		<span id="die-psychologische-wurzel-trial-and-error-verhaltensbiologie"></span>
	== 1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie) ==		=== 1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie) ===

	Lange bevor es Computer gab, untersuchten Psychologen, wie Tiere und Menschen lernen.		Lange bevor es Computer gab, untersuchten Psychologen, wie Tiere und Menschen lernen.
Zeile 501:		Zeile 501:

	<span id="die-mathematische-wurzel-optimal-control-regelungstechnik"></span>		<span id="die-mathematische-wurzel-optimal-control-regelungstechnik"></span>

	== 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) ==		== 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) ==

Chris T. Ludwig: /* Berühmte Praxisbeispiele */

2026-08-29T06:08:52Z

Berühmte Praxisbeispiele

← Nächstältere Version		Version vom 29. August 2026, 08:08 Uhr
Zeile 487:		Zeile 487:

	Weitere Begriffe: Exploration-Exploitation-Dilemma (der Konflikt zwischen Neuem ausprobieren und Bekanntes nutzen), Q-Learning		Weitere Begriffe: Exploration-Exploitation-Dilemma (der Konflikt zwischen Neuem ausprobieren und Bekanntes nutzen), Q-Learning

			==Historischer Kontext==
			Das Verstärkende Lernen ist historisch gesehen völlig unabhängig von neuronalen Netzen entstanden. Es bildete ein ganz eigenes historisches Teilgebiet, das seine Wurzeln weit vor dem heutigen KI-Boom hatte. [1, 2] Die Entstehung des Reinforcement Learnings basiert historisch auf der Verschmelzung zweier völlig unterschiedlicher Denkschulen: [1]

			<span id="die-psychologische-wurzel-trial-and-error-verhaltensbiologie"></span>
			== 1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie) ==

			Lange bevor es Computer gab, untersuchten Psychologen, wie Tiere und Menschen lernen.

			* Edward Thorndikes „Gesetz des Effekts“ (1898): Er stellte fest, dass Reaktionen, die eine angenehme Konsequenz haben, häufiger wiederholt werden. [3]
			* B.F. Skinner (Operante Konditionierung): Er trainierte Tauben und Ratten in Boxen rein über Belohnung und Bestrafung. [4]
			* Die Brücke zur Informatik: Bereits 1948 schlug Alan Turing ein „Pleasure-Pain-System“ für Maschinen vor. 1952 baute Claude Shannon die mechanische Maus „Theseus“, die rein durch Versuch und Irrtum den Weg aus einem Labyrinth erlernte. [5]

			<span id="die-mathematische-wurzel-optimal-control-regelungstechnik"></span>
			== 2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik) ==

			Seit den 1950er Jahren suchten Ingenieure und Mathematiker nach Wegen, dynamische Systeme (wie Raketen oder Fabrikanlagen) mathematisch optimal zu steuern. [1, 6]

			* Richard Bellman (1957): Er erfand die [https://de.wikipedia.org/wiki/Dynamische_Programmierung Dynamische Programmierung] und die mathematische Grundlage aller heutigen RL-Systeme: das Markov-Entscheidungsproblem (MDP). [4, 7]
			* Das Problem damals: Bellmans Gleichungen funktionierten perfekt, wenn man die gesamte Welt exakt mathematisch beschreiben konnte (ein “Modell” der Welt hatte). Für die echte, komplexe Welt war das unbrauchbar. [8, 9]


			-----

			<span id="die-historische-verschmelzung-die-geburtsstunde-des-rl"></span>
			== Die historische Verschmelzung (Die Geburtsstunde des RL) ==

			In den späten 1970er und 1980er Jahren brachten Forscher wie Richard Sutton und Andrew Barto diese beiden Welten zusammen. Sie fragten sich: Können wir die mathematische Optimierung von Bellman nutzen, während die KI die Spielregeln der Welt rein durch die psychologische Methode von Versuch und Irrtum (Trial-and-Error) erlernt? [3, 4, 6, 8] Daraus entstanden die historischen, klassischen RL-Algorithmen, die ohne jedes neuronale Netz funktionierten:

			* Tabellarisches Q-Learning (1989 von Chris Watkins): Die KI speichert ihr Wissen nicht in “Neuronen”, sondern in einer riesigen Excel-Tabelle (einer Q-Tabelle). Für jeden Zustand der Welt wird für jede Aktion ein mathematischer Wert eingetragen, wie gut diese Aktion war. [8, 10]
			* Beispiel Tic-Tac-Toe: Ein System namens BOXES (1968 von Michie und Chambers) lernte das Spiel perfekt, indem es Streichholzschachteln für jeden Spielzustand nutzte – völlig ohne neuronale Struktur. [5]

			<span id="warum-nutzt-man-heute-dafür-deep-learning"></span>
			== Warum nutzt man heute dafür Deep Learning? ==

			Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13] Möchtest du wissen, wie genau das historische Q-Learning mit einer Tabelle im Detail funktioniert, um zu verstehen, wie KI ganz ohne neuronale Netze kluge Entscheidungen treffen kann?

			[1] [http://incompleteideas.net/book/ebook/node12.html https://incompleteideas.net] [2] [https://cacm.acm.org/federal-funding-of-academic-research/rediscovering-reinforcement-learning/ https://cacm.acm.org] [3] [https://www.youtube.com/watch?v=ul6B2oFPNDM&t=178 https://www.youtube.com] [4] [https://intuitionlabs.ai/articles/reinforcement-learning-explained https://intuitionlabs.ai] [5] [https://www.sciencedirect.com/topics/engineering/reinforcement-learning-technique https://www.sciencedirect.com] [6] [http://www.scholarpedia.org/article/Reinforcement_learning https://www.scholarpedia.org] [7] [https://aws.amazon.com/what-is/reinforcement-learning/ https://aws.amazon.com] [8] [https://medium.com/@aiforhuman/the-roots-of-reinforcement-learning-ad605c4d6d89 https://medium.com] [9] [http://www.umiacs.umd.edu/~hal/courses/2016F_RL/RL1.pdf https://www.umiacs.umd.edu] [10] [https://www.prodot.de/ki-glossar/reinforcement-learning https://www.prodot.de] [11] [https://www.mathworks.com/help/reinforcement-learning/ug/what-is-reinforcement-learning.html https://www.mathworks.com] [12] [https://iabac.org/blog/the-evolution-of-reinforcement-learning-in-machine-learning https://iabac.org] [13] [https://www.youtube.com/watch?v=rkrfWpmG3aM https://www.youtube.com]