KI Vokabel

Aus TippvomTibb
(Unterschied) ← Nächstältere Version | Aktuelle Version (Unterschied) | Nächstjüngere Version → (Unterschied)
Zur Navigation springen Zur Suche springen

Maximal Arbitraer

In der Informatik und Mathematik hat das Konzept der maximalen Arbitrarität eine fundamentale, oft sehr technische Bedeutung. Hier geht es meist um echte Zufälligkeit oder das bewusste Ignorieren von Mustern.

1. Kryptographie & Echte Zufallszahlen

  • Echter Zufall: Computer können von Natur aus nicht rein zufällig handeln. Sie sind deterministisch.
  • Maximale Unvorhersehbarkeit: Für sichere Verschlüsselungen braucht man Schlüssel, die maximal arbiträr (unvorhersehbar) sind.
  • Hardware-Zufall: Man nutzt physikalische Prozesse (wie atomaren Zerfall oder thermisches Rauschen), um diese absolute Willkür zu erzeugen.

2. Algorithmen & „Arbitrary Choice“

  • Reihenfolge ist egal: In der theoretischen Informatik bedeutet eine „arbiträre Auswahl“, dass ein Algorithmus irgendein Element wählt.
  • Keine Bevorzugung: Es gibt keine Sortierung oder Priorität. Das Ergebnis des Algorithmus muss korrekt sein, egal welches Element zuerst gewählt wird.

3. Beliebige Genauigkeit (Arbitrary Precision)

  • Keine künstlichen Grenzen: Normalerweise speichert ein Computer Zahlen in festen Größen (z. B. 32-Bit oder 64-Bit).
  • Unbegrenzte Kapazität: Bei Arbitrary-Precision-Arithmetik (BigInfs) entscheidet der Programmierer oder der Speicher dynamisch, wie groß eine Zahl sein darf. Die Grenze ist maximal flexibel.

4. Software-Testing (Fuzzing)

  • Chaotische Eingaben: Beim sogenannten Fuzz-Testing wird Software mit maximal arbiträren, oft völlig sinnlosen Daten gefüttert.
  • Sicherheitslücken finden: Das Ziel ist es, das Programm durch unvorhersehbare Eingaben zum Absturz zu bringen, um versteckte Bugs zu finden.

Siehe auch Arbitrage. Beide Begriffe stammen vom lateinischen Substantiv arbiter (der Schiedsrichter, Richter oder Vermittler). Daraus bildete sich das lateinische Verb arbitrari (ermessen, entscheiden, glauben) und das Substantiv arbitratus („Gutdünken, freie Wahl, freies Ermessen“).


Zufallszahlen

Computer koennen keine echten Zufallszahlen erzeugen.

Ja, diese Aussage ist im Kern richtig, solange man von herkömmlichen Standard-Computern und reiner Software ausgeht. Standard-Computer sind deterministisch. Das bedeutet: Sie folgen strikten, logischen Regeln. Wenn ein Computer denselben Startwert (Seed) und denselben Algorithmus nutzt, wird er immer exakt dieselbe Zahlenfolge berechnen. In der Informatik unterscheidet man daher zwei Arten von Zufall:

1. Pseudo-Zufallszahlen (PRNGs) – Kein echter Zufall

  • Die Methode: Reine Software-Algorithmen berechnen Zahlenreihen.
  • Das Problem: Sie wirken für Menschen zufällig, sind es aber mathematisch nicht. Wer die Formel und den Startwert kennt, kann jede zukünftige Zahl perfekt vorhersagen.
  • Einsatzbereich: Videospiele (z. B. Beute-Verteilung) oder statistische Simulationen.

2. Echte Zufallszahlen (TRNGs) – Der physikalische Trick

Moderne Computer können heute über Umwege doch echten Zufall erzeugen. Dafür verlassen sie die reine Software-Ebene und nutzen die chaotische Physik der echten Welt:

  • Hardware-Zufallsgeneratoren: Speziell verbaute Chips messen winzige, unvorhersehbare physikalische Prozesse.
  • Beispiele: Thermisches Rauschen (Wärme von Elektronen), atmosphärisches Rauschen, radioaktiver Zerfall oder das unregelmäßige Tippverhalten eines Nutzers auf der Tastatur, oder Mausbewegungen.
  • Einsatzbereich: Hochsichere Verschlüsselungen (Kryptographie) und Banken-IT.

Fazit

Ein Computer kann durch reines Nachdenken (Software) niemals echten Zufall erzeugen. Er benötigt dafür immer ein Stück unberechenbare Natur (Hardware). Möchtest du wissen, wie du in einer Programmiersprache wie Python oder JavaScript den Unterschied zwischen sicherem und unsicherem Zufall nutzt?

Regression

In der Künstlichen Intelligenz (KI) und im Maschinellen Lernen ist Regression ein Verfahren, um eine kontinuierliche Zahl vorherzusagen. Das Ziel ist es, den mathematischen Zusammenhang zwischen Eingabedaten (z. B. Größe eines Hauses) und einem konkreten numerischen Ausgabewert (z. B. dem Preis) zu finden.

Der Unterschied: Regression vs. Klassifikation

Um Regression zu verstehen, hilft der Vergleich mit der Klassifikation:

  • Klassifikation (Kategorien): „Ist diese Einnahme Betrug oder legal?“ oder „Ist auf dem Bild eine Katze oder ein Hund?“ (Ja/Nein oder Klassen).
  • Regression (Zahlen): „Wie viel Euro wird dieses Haus kosten?“ oder „Wie hoch wird die Temperatur morgen sein?“ (Konkrete Zahlenwerte).

Typische Beispiele aus der Praxis

  • Finanzen: Vorhersage des zukünftigen Preises einer Aktie.
  • Immobilien: Schätzung des Marktwerts eines Hauses basierend auf Quadratmetern, Lage und Baujahr.
  • Wetter: Berechnung der exakten Regenmenge in Millimetern für die nächste Woche.
  • Logistik: Schätzung der genauen Lieferzeit (ETA) für ein Paket.

Wie funktioniert das einfach erklärt?

Stell dir eine Grafik mit vielen Punkten vor. Jeder Punkt ist ein Haus: Die X-Achse zeigt die Quadratmeter, die Y-Achse den Preis. Die einfachste Form der Regression (die lineare Regression) legt nun eine optimale gerade Linie so durch diese Punkte, dass der Abstand zu allen Punkten insgesamt so klein wie möglich ist. Wenn du nun ein neues Haus mit einer unbekannten Größe hast, schaut die KI einfach, wo dieser Wert auf der gezeichneten Linie liegt, und spuckt den passenden Preis aus. Möchtest du ein einfaches Code-Beispiel für eine Regression in Python sehen oder wissen, was der Unterschied zwischen linearer und nicht-linearer Regression ist?

Over-/Underfitting

In der Künstlichen Intelligenz beschreiben Overfitting (Überanpassung) und Underfitting (Unteranpassung) die beiden Hauptfehler, die ein KI-Modell beim Lernen machen kann. Das Ziel ist immer die Generalisierung: Die KI soll Muster so lernen, dass sie auch bei völlig neuen, unbekannten Daten richtige Vorhersagen trifft.


1. Overfitting (Überanpassung) – Das Auswendiglernen

Beim Overfitting lernt die KI die Trainingsdaten zu gut. Sie merkt sich nicht nur die echten Regeln, sondern auch das zufällige Rauschen und Details der Beispiele.

  • Das Problem: Das Modell verhält sich wie ein Schüler, der die Übungsaufgaben für die Klassenarbeit exakt auswendig lernt, aber das zugrunde liegende Prinzip nicht versteht.
  • Der Effekt: Bei den bekannten Trainingsdaten ist die Genauigkeit perfekt (fast 100 %). Sobald die KI aber neue, unbekannte Daten sieht, versagt sie völlig.
  • Ursache: Das KI-Modell ist zu komplex für die kleine Menge an Daten, oder es wurde zu lange trainiert.
  • Modell lernt die Analyse der Trainingsdaten auswendig.
  • Einmodellierung von Rauschfaktoren
  • Neue Daten ohne Rauschen passen nicht ins Modell
  • Mangelnde Generalisierbarkeit

2. Underfitting (Unteranpassung) – Das Übergeneralisieren

Beim Underfitting ist das Modell zu einfach gebaut. Es schafft es nicht einmal, die Struktur der Trainingsdaten richtig zu erfassen.

  • Das Problem: Der Schüler ist zu faul oder das Thema ist zu schwer. Er versteht weder die Übungsaufgaben noch die echten Prinzipien.
  • Der Effekt: Die Genauigkeit ist sowohl bei den Trainingsdaten als auch bei neuen Daten sehr schlecht.
  • Ursache: Das Modell ist zu simpel (z. B. eine gerade Linie für ein kurviges Problem) oder es wurde zu kurz trainiert.
  • Das Modell konnte keinen Zusammenhang zwischen den Ein- und Ausgabedaten erkennen.
  • Vorhersagen höchst ungenau

Der visuelle Vergleich (am Beispiel einer Hauspreis-Regression)

Underfitting (Zu einfach) Sweet Spot (Perfekt) Overfitting (Zu komplex)
Eine starre, gerade Linie durch eine wellige Punktewolke. Eine sanfte Kurve, die den echten Trend der Punkte abbildet. Eine wilde Schlangenlinie, die exakt durch jeden einzelnen Punkt zackt.
KI versteht den Trend nicht. KI versteht das Prinzip. KI lernt Fehler und Zufälle mit.

Wie löst man das?

  • Gegen Overfitting: Mehr Trainingsdaten hinzufügen, das Modell vereinfachen (weniger Parameter) oder das Training früher abbrechen (Early Stopping).
  • Gegen Underfitting: Ein komplexeres Modell wählen, dem Modell mehr Merkmale (Features) der Daten zur Verfügung stellen oder länger trainieren.

Regularisierung

In der Praxis ist Regularisierung die wichtigste Bremse gegen Overfitting. Sie sorgt dafür, dass ein KI-Modell beim Lernen „bestraft“ wird, wenn es zu komplex, zu flexibel oder zu wild wird. Das Ziel ist es, die Kurve oder die mathematische Formel des Modells bewusst flacher und einfacher zu halten, damit sie sich nicht an jeden einzelnen Datenpunkt klammert. Hier sind die drei bekanntesten Methoden der Regularisierung:

1. L2-Regularisierung (Ridge Regression) – Die Gewichtsbremse

  • Wie es funktioniert: Jedes Mal, wenn die KI ein Merkmal (z. B. die Anzahl der Badezimmer) extrem stark gewichtet, verhängt die Regularisierung eine mathematische Strafe. Sie zwingt das Modell, alle Gewichte möglichst klein und nah an Null zu halten.
  • Der Effekt: Keine einzelne Eigenschaft darf das gesamte Modell dominieren. Die Vorhersage-Kurve wird dadurch weicher und stabiler.

2. L1-Regularisierung (Lasso) – Die Radikalkur

  • Wie es funktioniert: Auch hier werden große Gewichte bestraft, aber L1 ist aggressiver als L2. Wenn ein Merkmal für die Vorhersage nicht wirklich wichtig ist, drückt L1 das Gewicht dieses Merkmals exakt auf Null.
  • Der Effekt: Unwichtige Eigenschaften werden komplett aussortiert. Das Modell wird schlanker und nutzt am Ende nur noch die Variablen, die wirklich einen Unterschied machen (Feature Selection).

3. Dropout – Der Trick für Neuronale Netze

  • Wie es funktioniert: Beim Training von tiefen Neuronalen Netzen schaltet man in jedem Durchgang zufällig (z. B. zu 50 %) einen Teil der künstlichen Neuronen ab.
  • Der Effekt: Die Neuronen dürfen sich nicht mehr aufeinander verlassen. Sie können sich keine „Geheimabsprachen“ merken, um bestimmte Trainingsdaten auswendig zu lernen. Jedes Neuron muss nun eigenständig nützliche Muster erkennen. Das Netzwerk wird dadurch extrem robust.

Zusammenfassung

Regularisierung fügt der KI ein wenig Disziplin hinzu. Sie sagt dem Modell: „Finde eine Lösung, aber mach sie so einfach und elegant wie möglich!“ Möchtest du sehen, wie man eine L1- oder L2-Regularisierung mit wenigen Zeilen Code in einer Python-Bibliothek wie scikit-learn einbaut?

Beispiel scikit-learn

Hier ist das Beispiel mit der Bibliothek scikit-learn. Wir vergleichen die Standard-Regression (ohne Bremse) mit L1 (Lasso) und L2 (Ridge). 

from sklearn.linear_model import LinearRegression, Ridge, Lassofrom sklearn.model_selection import train_test_split

# 1. Daten aufteilen (X = Eigenschaften, y = Zielwert/Preis)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# 2. Ohne Regularisierung (Neigt bei vielen Merkmalen zu Overfitting)model_standard = LinearRegression()
model_standard.fit(X_train, y_train)
# 3. L2-Regularisierung (Ridge) -> Hält alle Gewichte kleinmodel_l2 = Ridge(alpha=1.0)  # alpha ist die Stärke der Bestrafung
model_l2.fit(X_train, y_train)
# 4. L1-Regularisierung (Lasso) -> Setzt unwichtige Gewichte auf exakt Nullmodel_l1 = Lasso(alpha=0.1)
model_l1.fit(X_train, y_train)

Was bewirkt der Parameter alpha?

  • alpha = 0: Keine Regularisierung (entspricht der Standard-Regression).
  • alpha sehr hoch: Die Strafe ist extrem streng. Das Modell wird zu stark vereinfacht (Gefahr von Underfitting).

Welches Modell wählt man wann?

  • Ridge (L2): Wenn du glaubst, dass fast alle deine Merkmale ein bisschen wichtig für die Vorhersage sind.
  • Lasso (L1): Wenn du sehr viele Merkmale hast, aber vermutest, dass nur ein paar wenige davon wirklich relevant sind (der Rest wird auf Null gesetzt).


Rauschen

Unter Rauschfaktoren (oft auch einfach als Rauschen oder Noise bezeichnet) versteht man in der Künstlichen Intelligenz unerwünschte, fehlerhafte oder irrelevante Daten, die ein KI-Modell ablenken und seine Genauigkeit verschlechtern. [1] In der KI gilt die Grundregel: „Garbage in, garbage out“ (Müll rein, Müll raus). Rauschfaktoren sind genau dieser „Müll“, der die echten Muster in den Daten überlagert. [1, 2] Man unterscheidet im Wesentlichen vier Arten von Rauschfaktoren:

1. Datenrauschen (Data Noise)

Das sind Fehler, die direkt in den Datensätzen stecken, mit denen die KI trainiert wird: [1]

  • Messfehler: Defekte Sensoren (z. B. bei autonomen Autos), die falsche Werte liefern.
  • Menschliche Fehler: Falsch beschriftete Daten (z. B. wenn beim Training ein Bild von einer Katze fälschlicherweise als „Hund“ gelabelt wurde).
  • Ausreißer (Outliers): Extrem ungewöhnliche Einzelereignisse in den Daten, die den Gesamttrend verfälschen. [1, 3]

2. Signalrauschen (Signal Noise)

Hierbei handelt es sich um physikalische Störungen bei der Live-Anwendung der KI: [3]

  • Audio-KI: Hintergrundgeräusche (z. B. Baustellenlärm oder Stimmengewirr im Krankenhaus), die es einem Sprachassistenten erschweren, Befehle korrekt zu verstehen. [4]
  • Bild-KI: Bildrauschen bei Nachtaufnahmen (Körnigkeit durch schlechte Lichtverhältnisse), wodurch die KI Objekte oder Gesichter nicht mehr richtig erkennt. [5]

3. Syntaktisches/Strukturelles Rauschen

Dies betrifft vor allem generative KIs (wie ChatGPT): [6]

  • Kontextloses Füllen: Wenn ein KI-Modell mit unstrukturierten Texten gefüttert wird, die viele Füllwörter oder irrelevanten Code enthalten, verliert es den Fokus auf den eigentlichen Inhalt. Die KI lernt dann das „Rauschen“ des Schreibstils statt der echten Fakten. [7]


Der paradoxe Twist: Warum KI manchmal Rauschen braucht

Obwohl Rauschfaktoren meistens eliminiert werden sollen (z. B. durch Datenbereinigung oder Filter), setzen Entwickler Rauschen in zwei Fällen gezielt als Werkzeug ein: [8, 9]

  1. Gegen Overfitting (Regularisierung): Man fügt den Trainingsdaten absichtlich künstliches Rauschen hinzu. Die KI lernt dadurch, ungenaue Realdaten zu erwarten, und wird robuster gegen Fehler im echten Leben. [9, 10, 11]
  2. Bildgenerierung (Diffusionsmodelle): KIs wie Midjourney oder Stable Diffusion erzeugen Bilder, indem sie mit einem komplett verrauschten Pixel-Chaos starten und dieses Schritt für Schritt gezielt „entrauschen“, bis ein klares Bild entsteht. [12]

Möchtest du wissen, wie man Datenrauschen vor dem KI-Training herausfiltert, oder interessiert dich, wie Bild-KIs Rauschen nutzen, um neue Kunstwerke zu erschaffen? [12]

[1] https://deepchecks.com [2] https://www.fau.de [3] https://www.youtube.com [4] https://www.youtube.com [5] https://www.youtube.com [6] https://digitalzentrum-berlin.de [7] https://mstone.ai [8] https://www.dhiria.com [9] https://www.innovatiana.com [10] https://www.sciencedirect.com [11] https://www.youtube.com [12] https://www.youtube.com

Train-Test-Split

Der Train-Test-Split (Aufteilung in Trainings- und Testdaten) ist der wichtigste Kontrollschritt beim maschinellen Lernen. Er verhindert, dass man die Leistung einer KI falsch einschätzt, und deckt Overfitting sofort auf.

Das Prinzip

Man nimmt seinen gesamten Datensatz und schneidet ihn in zwei Teile:

  1. Trainingsdaten (ca. 70–80 %): Mit diesem Teil lernt die KI. Sie sucht nach Mustern und passt ihre internen Gewichte an.
  2. Testdaten (ca. 20–30 %): Dieser Teil wird weggeschlossen. Erst wenn das Training komplett vorbei ist, muss die KI für diese Daten Vorhersagen treffen. Da sie diese Daten noch nie gesehen hat, simuliert dies den Einsatz im echten Leben.

Warum ist das zwingend notwendig?

Wenn man eine KI auf denselben Daten testet, auf denen sie gelernt hat, betrügt man sich selbst. Ein Modell, das einfach nur alle Daten auswendig gelernt hat (Overfitting), würde eine Genauigkeit von 100 % anzeigen. Erst beim Testen mit den isolierten Testdaten zeigt sich, ob die KI die Prinzipien wirklich verstanden hat. ## Das goldene Gesetz: Data Leakage verhindern Es darf niemals Information aus dem Testset in das Trainingsset fließen (Data Leakage).

  • Beispiel: Wenn du Daten vor dem Split skalierst oder den Mittelwert bildest, kennt das Trainingsset bereits Eigenschaften des Testsets. Das verfälscht das Testergebnis komplett.

Code-Beispiel (scikit-learn)

Der Split wird in Python standardmäßig so durchgeführt: 

from sklearn.model_selection import train_test_split 
# test_size=0.2 bedeutet: 80% Training, 20% Test
# random_state fixiert den Zufall, damit der Split reproduzierbar bleibtX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

Trainingsdaten gut und Testdaten schlecht => Overfitted Trainingsdaten schlecht und Testdaten schlecht => ? Trainingsdaten gut und Testdaten gut => gutes Modell Trainingsdaten schlecht und Testdaten gut => Fehler

Hier ist die gewünschte Zusammenfassung im Markdown-Format:

Zustand im Training Zustand im Test Diagnose Maßnahme
Gut Schlecht Overfitting (Überanpassung) Modell vereinfachen, Daten erhöhen, Regularisierung nutzen.
Schlecht Schlecht Underfitting (Unteranpassung) Modell komplexer machen, mehr Features hinzufügen.
Gut Gut Optimales Modell (Sweet Spot) Keine Aktion nötig. Bereit für den Produktiveinsatz.
Schlecht Gut Fehler / Artefakt (Unnatürlich) Code auf Data Leakage prüfen; Verteilung der Datensätze prüfen.


Die vier Fälle im Detail

1. Trainingsdaten gut und Testdaten schlecht => Overfitting

Das Modell hat die Trainingsdaten quasi auswendig gelernt, inklusive aller Fehler, Ausreißer und des Rauschens. Es verhält sich wie ein Schüler, der die Übungsaufgaben für eine Klausur exakt auswendig lernt, aber das mathematische Prinzip dahinter nicht begreift. Sobald neue, unbekannte Daten (Testdaten) eingespeist werden, bricht die Leistung ein.

2. Trainingsdaten schlecht und Testdaten schlecht => Underfitting

Das Modell ist zu simpel gebaut oder wurde nicht lange genug trainiert, um überhaupt ein Muster in den Daten zu erkennen. Wenn man versucht, eine komplexe, geschwungene Datenwolke mit einer starren, geraden Linie vorherzusagen, trifft das Modell weder die bekannten noch die unbekannten Daten gut. Es hat den zugrunde liegenden Trend einfach nicht verstanden.

3. Trainingsdaten gut und Testdaten gut => Optimales Modell

Das ist das perfekte Ziel-Szenario. Das Modell hat die echten, allgemeingültigen Zusammenhänge aus den Daten extrahiert, ohne sich an Details zu überanpassen. Es liefert sowohl auf bekannten als auch auf völlig neuen Daten stabile und präzise Vorhersagen. Das Modell hat erfolgreich generalisiert und ist bereit für die Praxis.

4. Trainingsdaten schlecht und Testdaten gut => Systemfehler

Dieses Verhalten ist mathematisch unnatürlich. Eine KI kann auf unbekannten Daten logischerweise nicht besser performen als auf den Daten, mit denen sie trainiert wurde. Tritt dieser Fall auf, liegt fast immer ein technisches Problem vor – wie Data Leakage (Daten aus dem Testset sind unbemerkt ins Training gesickert), ein starkes Daten-Ungleichgewicht (das Testset enthält zufällig nur sehr leichte Beispiele) oder eine viel zu restriktive Regularisierung während des Trainings. Soll ich dir zeigen, wie du diese vier Zustände mit einer Grafik (Learning Curve) direkt beim Trainieren deiner KI sichtbar machen kannst?


Weitere Begriffe: geschichteter Split / Stratified Split)

Kreuzvalidierung (K-Fold/Cross-Validation)

Die Kreuzvalidierung (engl. Cross-Validation, meist als K-Fold Cross-Validation durchgeführt) ist die Weiterentwicklung des einfachen Train-Test-Splits. Während ein einfacher Split die Daten nur ein einziges Mal teilt, wiederholt die Kreuzvalidierung diesen Prozess mehrfach. Das Ziel ist es, jeden einzelnen Datenpunkt genau einmal zum Testen zu verwenden. Damit schließt man aus, dass ein Modell nur durch Zufall (Glück oder Pech beim Split) gut abgeschnitten hat.


Das Prinzip: Wie funktioniert K-Fold?

Das Wort „K“ steht für eine Zahl (sehr oft wählt man K = 5 oder K = 10). Diese Zahl bestimmt, in wie viele gleich große Teile (Folds) die Daten zerlegt werden. Bei einer 5-fachen Kreuzvalidierung passiert Folgendes:

  1. Die Daten werden in 5 Blöcke (Block 1 bis 5) unterteilt.
  2. Es finden 5 aufeinanderfolgende Durchgänge statt:
    • Durchgang 1: Blöcke 1, 2, 3, 4 sind das Trainingsteam – Block 5 ist das Testteam.
    • Durchgang 2: Blöcke 1, 2, 3, 5 sind das Trainingsteam – Block 4 ist das Testteam.
    • Durchgang 3: Blöcke 1, 2, 4, 5 sind das Trainingsteam – Block 3 ist das Testteam.
    • Durchgang 4: Blöcke 1, 3, 4, 5 sind das Trainingsteam – Block 2 ist das Testteam.
    • Durchgang 5: Blöcke 2, 3, 4, 5 sind das Trainingsteam – Block 1 ist das Testteam.
  3. Am Ende berechnet man den Mittelwert aller 5 Testergebnisse.

Warum macht man das? (Die Vorteile)

Maximale Datennutzung: Besonders bei kleinen Datensätzen wertvoll, da jedes Datenbeispiel mal zum Trainieren und mal zum Testen genutzt wird.

  • Verlässliche Metriken: Wenn das Modell in allen 5 Durchgängen eine Genauigkeit von ca. 85 % erzielt, ist es stabil. Schwankt es zwischen 60 % und 95 %, ist das Modell instabil und unzuverlässig.
  • Perfekt für Hyperparametertuning: Man nutzt die Kreuzvalidierung, um die besten Einstellungen (wie das optimale alpha bei der L1/L2-Regularisierung) zu finden, ohne die finalen, echten Testdaten anzurühren.
  • Schaetzt Fehler besser ab als Train-Test-Split
  • Nachteil: dauert laenger

Code-Beispiel in Python (scikit-learn)

In der Praxis musst du diese Schleifen nicht selbst schreiben. scikit-learn übernimmt das mit einer einzigen Zeile: 

from sklearn.model_selection import cross_val_scorefrom 
from sklearn.linear_model import Ridge 

model = Ridge(alpha=1.0) 

# cv=5 bedeutet 5-fache Kreuzvalidierung
# Es gibt uns direkt 5 Genauigkeits-Scores zurück
scores = cross_val_score(model, X, y, cv=5)

print(“Scores der 5 Durchgänge:”, scores) 
print(“Mittlere Genauigkeit:”, scores.mean())

Weitere Begriffe: Stratified K-Fold (geschichtete Kreuzvalidierung) Zwingend bei ungleich verteilten Klassen (z.B. seltenen Krankheiten).


Clustering

Clustering ist ein zentrales Verfahren des Unüberwachten Lernens (Unsupervised Learning) in der Künstlichen Intelligenz. Im Gegensatz zur Regression oder Klassifikation gibt es hier keine vorgegebenen Labels oder Zielwerte (wie z. B. Preise oder Kategorien). Die KI bekommt lediglich einen Haufen Daten und muss selbstständig Gruppen (Cluster) finden. Das Ziel ist es, Datenpunkte so aufzuteilen, dass Elemente innerhalb einer Gruppe sich maximal ähnlich sind, während die Gruppen untereinander sich maximal unterscheiden.


Die 3 bekanntesten Clustering-Algorithmen

1. k-Means (Der Klassiker)

  • Wie es funktioniert: Du gibst der KI vor, wie viele Gruppen (k) es geben soll. Der Algorithmus platziert zufällig k Mittelpunkte (Zentren) und ordnet jeden Datenpunkt dem nächstgelegenen Zentrum zu. Danach werden die Zentren neu berechnet. Das wiederholt sich, bis die Gruppen stabil sind.
  • Nachteil: Man muss die Anzahl der Gruppen vorab kennen. Zudem funktioniert es nur gut bei kreisförmigen/kugelförmigen Datenwolken.

2. DBSCAN (Der Dichte-Spezialist)

  • Wie es funktioniert: Dieser Algorithmus sucht nach Regionen, in denen Datenpunkte besonders dicht beieinanderliegen.
  • Vorteil: Er erkennt Gruppen mit völlig beliebigen, komplexen Formen (z. B. eine Gruppe, die sich halbmondförmig um eine andere legt). Zudem erkennt er Ausreißer (Rauschen) automatisch und sortiert sie aus. Du musst die Anzahl der Cluster nicht im Voraus wissen.

3. Hierarchisches Clustering (Der Stammbaum)

  • Wie es funktioniert: Entweder startet jeder Punkt als eigenes Cluster und die KI verschmilzt die ähnlichsten Punkte Schritt für Schritt (Agglomerativ), oder alle starten in einer Gruppe und werden immer feiner aufgeteilt (Divisiv).
  • Ergebnis: Es entsteht ein Baumdiagramm (Dendrogramm), an dem man visuell ablesen kann, welche Daten wie stark miteinander verwandt sind.


Typische Praxisbeispiele

  • Kundensegmentierung: Eine Marketing-KI analysiert Kaufverhalten und teilt Kunden in Gruppen ein (z. B. „Schnäppchenjäger“, „Premium-Käufer“, „Gelegenheitskäufer“).
  • Bildsegmentierung: Pixel mit ähnlichen Farben und Helligkeiten werden gruppiert, um Objekte auf einem Bild zu isolieren (wichtig für autonomes Fahren).
  • Anomalieerkennung: Wenn Kreditkartentransaktionen geclustert werden und eine Transaktion völlig abseits aller Gruppen liegt, schlägt das System wegen Betrugsverdacht Alarm.

Weitere Begriffe: k-Means Wie die KI die optimale Anzahl an Clustern (z. B. mit der Ellbogen-Methode) selbst herausfindet?

Silhouette Methode

Die Silhouette-Methode ist neben der Ellbogen-Methode das wichtigste Werkzeug, um die Qualität eines Clusterings zu bewerten und die optimale Anzahl an Gruppen (k) zu bestimmen. Während die Ellbogen-Methode nur misst, wie kompakt die Cluster sind, prüft die Silhouette-Methode zusätzlich, ob die Cluster sauber voneinander getrennt sind.


Der Silhouette-Koeffizient (Die mathematische Idee)

Für jeden einzelnen Datenpunkt berechnet die Methode einen Wert zwischen -1 und +1:

  • a (Kompaktheit): Der durchschnittliche Abstand des Punktes zu allen anderen Punkten im eigenen Cluster (sollte möglichst klein sein).
  • b (Trennung): Der durchschnittliche Abstand des Punktes zu den Punkten im nächstgelegenen fremden Cluster (sollte möglichst groß sein).

Daraus ergibt sich der Wert für einen Punkt: $ {\displaystyle {\text{Silhouette}}={\frac {b-a}{\max(a,b)}}} $ ## Wie interpretiert man das Ergebnis? Wenn man das Clustering für den gesamten Datensatz bewertet, bildet man den Mittelpunkt aller Einzelwerte:

  • Nahe +1: Perfektes Clustering. Die Punkte liegen dicht zusammen und sind weit von anderen Gruppen entfernt.
  • Nahe 0: Die Cluster überlappen sich stark. Punkte liegen genau auf den Entscheidungsgrenzen.
  • Nahe -1: Fehlplatzierung. Die Punkte wurden vermutlich dem falschen Cluster zugeordnet.
## Die optimale Clusteranzahl finden
Um die beste Anzahl an Clustern (k) zu finden, lässt man den Algorithmus (z. B. k-Means) für verschiedene Werte (z. B. k = 2, 3, 4, 5) laufen.
Die Regel lautet: Die Zahl k, die den höchsten durchschnittlichen Silhouette-Koeffizienten liefert, ist mathematisch gesehen die beste Wahl für deine Daten.

Code-Beispiel in Python (scikit-learn)

from sklearn.cluster import KMeansfrom sklearn.metrics import silhouette_score # Wir testen verschiedene Cluster-Anzahlen von 2 bis 5for k in: kmeans = KMeans(n_clusters=k, random_state=42).fit(X) labels = kmeans.labels_ 

# Berechne den durchschnittlichen Score für dieses k
score = silhouette_score(X, labels)
print(f"Für k={k} ist der Silhouette-Score: {score:.3f}")

Weitere Begriffe: Silhouette-Plot um unsaubere Cluster optisch sofort zu entlarven.

Reinforcement Learning

Reinforcement Learning (Bestärkendes Lernen) ist neben dem überwachten (Supervised) und unüberwachten (Unsupervised) Lernen die dritte große Säule des maschinellen Lernens. Das Prinzip basiert auf Psychologie und Evolution: Eine KI lernt hier nicht durch historische Daten, sondern durch Versuch und Irrtum (Trial and Error) sowie durch ein System aus Belohnung und Bestrafung.

Die 4 Kernkomponenten des Reinforcement Learnings

  • Der Agent (Die KI): Das System, das lernen soll (z. B. der Autopilot eines Autos oder eine Spielfigur).
  • Die Umgebung (Environment): Die Welt, in der sich der Agent bewegt (z. B. die Straße oder das Schachbrett).
  • Die Aktion (Action): Die Züge oder Schritte, die der Agent machen kann (z. B. Bremsen, Beschleunigen, Nach-links-Lenken).
  • Die Belohnung (Reward): Das Feedback der Umgebung. Ein positiver Wert für gutes Verhalten (z. B. Ziel erreicht) oder ein negativer Wert für Fehler (z. B. Unfall gebaut).

Wie der Lernprozess abläuft

  1. Völliges Chaos zu Beginn: Der Agent weiß am Anfang absolut nichts über die Welt. Er wählt seine Aktionen maximal arbiträr (zufällig) aus.
  2. Das Feedback: Macht er etwas richtig, kriegt er Pluspunkte. Macht er etwas falsch, kriegt er Minuspunkte.
  3. Die Optimierung: Der Agent versucht über Millionen von Durchgängen, seine Strategie (Policy) mathematisch so anzupassen, dass er die langfristige Summe aller Belohnungen maximiert.

Berühmte Praxisbeispiele

  • Gaming-KIs: Googles AlphaGo schlug den Weltmeister im extrem komplexen Brettspiel Go. Andere KIs lernten durch Reinforcement Learning, Videospiele wie Super Mario, StarCraft oder Dota 2 auf Profi-Niveau zu spielen.
  • Robotik & Autonomes Fahren: Roboter lernen, wie sie laufen, Greifarme bewegen oder Hindernissen ausweichen, indem sie in virtuellen Simulationen Millionen Mal abstürzen, bis sie die perfekte Balance finden.
  • ChatGPT (RLHF): Moderne Sprachmodelle nutzen Reinforcement Learning from Human Feedback. Menschliche Trainer bewerten die Antworten der KI. Die KI lernt dadurch, nützlicher, freundlicher und sicherer zu antworten.
  • Multi-Agent Hide and Seek bezieht sich meist auf ein berühmtes KI-Experiment von OpenAI (2019)https://openai.com/index/emergent-tool-use/. Dabei wurden zwei Teams von KI-Agenten (Hiders und Seekers) mittels Reinforcement Learning in eine virtuelle 3D-Welt gesetzt, um Verstecken zu spielen.

Weitere Begriffe: Exploration-Exploitation-Dilemma (der Konflikt zwischen Neuem ausprobieren und Bekanntes nutzen), Q-Learning

Historischer Kontext

Das Verstärkende Lernen ist historisch gesehen völlig unabhängig von neuronalen Netzen entstanden. Es bildete ein ganz eigenes historisches Teilgebiet, das seine Wurzeln weit vor dem heutigen KI-Boom hatte. [1, 2] Die Entstehung des Reinforcement Learnings basiert historisch auf der Verschmelzung zweier völlig unterschiedlicher Denkschulen: [1]

1. Die psychologische Wurzel: “Trial-and-Error” (Verhaltensbiologie)

Lange bevor es Computer gab, untersuchten Psychologen, wie Tiere und Menschen lernen.

  • Edward Thorndikes „Gesetz des Effekts“ (1898): Er stellte fest, dass Reaktionen, die eine angenehme Konsequenz haben, häufiger wiederholt werden. [3]
  • B.F. Skinner (Operante Konditionierung): Er trainierte Tauben und Ratten in Boxen rein über Belohnung und Bestrafung. [4]
  • Die Brücke zur Informatik: Bereits 1948 schlug Alan Turing ein „Pleasure-Pain-System“ für Maschinen vor. 1952 baute Claude Shannon die mechanische Maus „Theseus“, die rein durch Versuch und Irrtum den Weg aus einem Labyrinth erlernte. [5]

2. Die mathematische Wurzel: “Optimal Control” (Regelungstechnik)

Seit den 1950er Jahren suchten Ingenieure und Mathematiker nach Wegen, dynamische Systeme (wie Raketen oder Fabrikanlagen) mathematisch optimal zu steuern. [1, 6]

  • Richard Bellman (1957): Er erfand die Dynamische Programmierung und die mathematische Grundlage aller heutigen RL-Systeme: das Markov-Entscheidungsproblem (MDP). [4, 7]
  • Das Problem damals: Bellmans Gleichungen funktionierten perfekt, wenn man die gesamte Welt exakt mathematisch beschreiben konnte (ein “Modell” der Welt hatte). Für die echte, komplexe Welt war das unbrauchbar. [8, 9]


Die historische Verschmelzung (Die Geburtsstunde des RL)

In den späten 1970er und 1980er Jahren brachten Forscher wie Richard Sutton und Andrew Barto diese beiden Welten zusammen. Sie fragten sich: Können wir die mathematische Optimierung von Bellman nutzen, während die KI die Spielregeln der Welt rein durch die psychologische Methode von Versuch und Irrtum (Trial-and-Error) erlernt? [3, 4, 6, 8] Daraus entstanden die historischen, klassischen RL-Algorithmen, die ohne jedes neuronale Netz funktionierten:

  • Tabellarisches Q-Learning (1989 von Chris Watkins): Die KI speichert ihr Wissen nicht in “Neuronen”, sondern in einer riesigen Excel-Tabelle (einer Q-Tabelle). Für jeden Zustand der Welt wird für jede Aktion ein mathematischer Wert eingetragen, wie gut diese Aktion war. [8, 10]
  • Beispiel Tic-Tac-Toe: Ein System namens BOXES (1968 von Michie und Chambers) lernte das Spiel perfekt, indem es Streichholzschachteln für jeden Spielzustand nutzte – völlig ohne neuronale Struktur. [5]

Warum nutzt man heute dafür Deep Learning?

Klassisches Reinforcement Learning (mit Tabellen) stößt an seine Grenzen, wenn es zu viele Zustände gibt. Beim Schach oder bei Videospielen gibt es mehr mögliche Zustände als Atome im Universum – die Tabelle würde unendlich groß werden. [10] Erst im Jahr 2013 kombinierte die Firma DeepMind das historische Reinforcement Learning mit tiefen neuronalen Netzen (Deep Reinforcement Learning). Das neuronale Netz fungiert seitdem lediglich als “Schätzer”, der die riesige Tabelle ersetzt. [11, 12, 13]

Weiterhin interessant: Wie funktioniert das historische Q-Learning mit einer Tabelle im Detail? Wie kann ein KI-System ganz ohne neuronale Netze kluge Entscheidungen treffen?

[1] https://incompleteideas.net [2] https://cacm.acm.org [3] https://www.youtube.com [4] https://intuitionlabs.ai [5] https://www.sciencedirect.com [6] https://www.scholarpedia.org [7] https://aws.amazon.com [8] https://medium.com [9] https://www.umiacs.umd.edu [10] https://www.prodot.de [11] https://www.mathworks.com [12] https://iabac.org [13] https://www.youtube.com

Abgerufen von „https://tippvomtibb.de/wiki/index.php?title=KI_Vokabel&oldid=5305“