Mathematische Coprozessoren
Allgemeines
Die Idee rechenintensive Operationen in einen dafuer spezialisierten eigenen Prozessor auszulagern ist nicht Neues.
Der Intel 80387 ist ein 1987 eingeführter mathematischer Coprozessor (Floating-Point Unit, FPU), der speziell zur Entlastung des Mikroprozessors Intel 80386 bei Gleitkomma- und Trigonometrieberechnungen entwickelt wurde.
In diesem Zusammenhang fallen mir immer wieder FPGAs ein.
Mit dem Wunsch die KI-spezifischen Operationen von den Grafikkarten, die ja nur als "Nebenprodukt" fuer allgemeine KI-Berechnungen herhalten muss, zu loesen, bin ich vermutlich nicht alleine.
Dann schauen wir mal.
GPUs und ihre Cores
| Hersteller | Kern-Typ | Offizieller Name (Marketing) | Interne / Technische Bezeichnung | Hauptaufgabe / Fokus |
|---|---|---|---|---|
| NVIDIA | Standard-Rechenkern | CUDA Core | ALU / SP (Streaming Processor) | Universelle Gleitkomma- (FP32/FP64) und Ganzzahlberechnungen (INT32). |
| KI- / Matrix-Kern | Tensor Core | Tensor Cores (verschiedene Generationen) | Spezialisierte Matrix-Multiplikationen für Deep Learning und KI (FP8, FP16, BF16, INT8, INT4). | |
| Raytracing-Kern | RT Core | BVH Traversal / Triangle Intersection Unit | Beschleunigung von Lichtstrahlen- und Dreiecksberechnungen (Raytracing in Spielen/Rendering). | |
| AMD | Standard-Rechenkern | Stream Processor (Stream-Prozessor) | Compute Unit (CU) / Dual Compute Unit / Work Group Processor (WGP) | Universelle mathematische Berechnungen (Grafik-Pipeline, FP32). |
| KI- / Matrix-Kern | AI Accelerator (ab RDNA 3) | Matrix Core (CDNA-Architektur für Rechenzentren) | Matrix-Operationen und Wellenform-Befehle (Wave Matrix Multiply-Accumulate / WMMA). | |
| Raytracing-Kern | Ray Accelerator | Ray Accelerator (RA) | Dedizierte Hardware für Box-Sorting und Ray-Triangle-Schnittmengenberechnungen. | |
| Intel | Standard-Rechenkern | Execution Unit (EU) / Xe-core | Vector Engine (XVE) | Standardmäßige Vektor- und Thread-Verarbeitung für Grafik und allgemeine GPU-Berechnungen. |
| KI- / Matrix-Kern | Intel XMX (Xe Matrix Extensions) | Matrix Engine (XME) | Hochleistungs-Matrix-Rechenwerke für KI-Skalierung (XeSS) und Deep Learning (DP4a, Systolic Arrays). | |
| Raytracing-Kern | Ray Tracing Unit | Ray Tracing Unit (RTU) | Hardwarebeschleunigung für Bounding Box- und Primitiven-Tests (ab Xe-HPG / Arc-Grafikkarten). |
FPGA
TODO
NVIDIA MicroArchitektur
TODO
Zahlenrepresentation und Genauigkeitsanspruch