Nvidia-CEO Jensen Huang: Computer-Neuerfindung seit 63 Jahren

Warum sieht Jensen Huang die Ära der CPU beendet?

Jensen Huang erklärt in Reden vor Fachpublikum und bei Branchenkonferenzen, dass die bisherige Architektur der Computer an ihre physikalischen und logischen Grenzen stößt. Seit den 1960er Jahren basierte das Standardmodell der Computertechnik auf der von-Neumann-Architektur, bei der ein zentraler Prozessor (CPU) Befehle nacheinander abarbeitet. Dieser sequentielle Ansatz war für die Verwaltung von Betriebssystemen und einfachen Programmen effizient, stößt jedoch bei der Verarbeitung massiver, paralleler Datenmengen an seine Grenzen.

Die Trennung von Prozessor und Speicher in diesem Modell führt zu einem kritischen Engpass, dem sogenannten „Von-Neumann-Flaschenhals“. Da die Datenmenge für moderne KI-Anwendungen die Kapazität der herkömmlichen Datenverbindungen übersteigt, entsteht eine sogenannte „Memory Wall“: Die Rechenkerne müssen auf die Datenlieferung aus dem Speicher warten, was die Gesamteffizienz des Systems drastisch senkt.

Laut Huang ist die Anforderung durch die Entwicklung künstlicher Intelligenz der entscheidende Treiber für diesen Wechsel. KI-Modelle benötigen keine sequentiellen Rechenschritte, sondern die gleichzeitige Verarbeitung von Millionen von Parametern. Die CPU, die als Generalist für allgemeine Aufgaben konzipiert ist, kann diese spezifische Last nicht mit der notwendigen Geschwindigkeit und Energieeffizienz bewältigen.

In der Praxis müssen Unternehmen dabei zwischen zwei grundlegenden Rechenlasten unterscheiden: dem Training und der Inferenz. Das Training erfordert die Verarbeitung gigantischer Datensätze, um die Gewichte eines neuronalen Netzes zu bestimmen – ein Prozess, der eine immense parallele Rechenleistung über lange Zeiträume verlangt. Die Inferenz hingegen ist der Prozess, bei dem das bereits trainierte Modell auf eine konkrete Eingabe reagiert. Hier liegt der Fokus weniger auf dem massiven Durchsatz, sondern auf extrem niedrigen Latenzzeiten, um Echtzeit-Antworten zu ermöglichen.

For more on this story, see Tech-Ausverkauf am Montag: Nvidia-Chef Huang bläst zur Attacke.

wp:quote Wir erfinden den Computer zum ersten Mal seit 63 Jahren neu.

Wie unterscheidet sich beschleunigte Computertechnik von klassischen Systemen?

Der Kern der von Huang beschriebenen Neuerfindung liegt im Paradigmenwechsel zur beschleunigten Computertechnik (Accelerated Computing). Während herkömmliche Systeme primär auf die CPU angewiesen sind, um die Logik zu steuern, verlagert sich die eigentliche Rechenlast bei modernen Systemen auf spezialisierte Beschleuniger wie Grafikprozessoren (GPUs).

Im Gegensatz zur CPU, die wenige, aber sehr komplexe Rechenkerne besitzt, besteht eine GPU aus tausenden kleineren, spezialisierten Kernen. Diese Architektur ermöglicht es, mathematische Operationen parallel durchzuführen. Dieser Unterschied ist für die Skalierung von Modellen im Bereich der generativen KI entscheidend.

Dieser technologische Wandel ist jedoch nicht allein ein Produkt verbesserter Hardware-Designs. Ein entscheidender Faktor ist die Verfügbarkeit einer robusten Software-Infrastruktur. Durch die Entwicklung von CUDA (Compute Unified Device Architecture) hat Nvidia eine Programmieroberfläche geschaffen, die es ermöglicht, die massiv-parallelen Strukturen der GPU für komplexe wissenschaftliche Berechnungen und Deep-Learning-Algorithmen anzusteuern. Ohne diese Software-Schicht blieben die theoretischen Vorteile der GPU-Architektur für die breite Masse der KI-Entwickler unzugänglich.

This follows our earlier report, Nvidia RTX Spark: Microsoft Surface Laptop Ultra eröffnet neue Ära für KI-PCs.

Der Übergang von sequentieller zu paralleler Verarbeitung

• Traditionelle Systeme: Verarbeiten Aufgaben nacheinander (sequentiell). Dies ist ideal für Aufgaben wie Textverarbeitung oder die Steuerung von Betriebssystemen.
• Beschleunigte Systeme: Verarbeiten Aufgaben gleichzeitig (parallel). Dies ist die Voraussetzung für die komplexen Matrix-Berechnungen, die bei der Ausbildung und dem Betrieb von neuronalen Netzen anfallen.

Welche Auswirkungen hat dieser Architekturwechsel auf die Rechenzentren?

Der Wandel von der CPU-zentrierten zur GPU-zentrierten Architektur verändert die gesamte Infrastruktur der digitalen Welt. Nvidia beschreibt diesen Trend als den Aufbau von sogenannten „KI-Fabriken“. In diesem Modell fungieren Rechenzentren nicht mehr nur als Speicherorte für Daten oder als Plattformen für die Ausführung einzelner Anwendungen, sondern als Produktionsstätten für Intelligenz.

Diese neuen Rechenzentren werden als integrierte Systeme konzipiert, bei denen die Verbindung zwischen den Chips (Interconnects) ebenso wichtig ist wie die Rechenleistung der einzelnen Chips selbst. Um die Kapazitäten dieser Systeme zu bündeln, reichen Verbindungen über herkömmliche Standards nicht aus. Technologien wie NVLink ermöglichen eine hochgeschwindigkeitsbasierte Kommunikation, die direkt zwischen den Beschleunigern stattfindet. Dies ermöglicht einen „Scale-up“-Ansatz, bei dem die Rechenleistung nicht nur durch das Hinzufügen von mehr Servern, sondern durch die intelligente Verschmelzung der Ressourcen innerhalb eines Clusters zu einem einzigen, massiven Rechenverband gesteigert wird.

Read also: Nvidia, Microsoft, and Arm are all teasing Nvidia’s new N1X laptop processors.

Der Fokus verschiebt sich von der Optimierung einzelner Komponenten hin zur Optimierung des gesamten Datenflusses innerhalb eines Clusters. Die Frage für die kommenden Jahre wird sein, wie schnell die Software-Ökosysteme und die Energieversorgung der Stromnetze mit dieser neuen Hardware-Generation Schritt halten können.

Die wirtschaftliche Bedeutung dieses Wandels zeigt sich in der massiven Verschiebung der Investitionen großer Technologieunternehmen. Anstatt in klassische Server-Infrastrukturen zu investieren, fließen die Mittel zunehmend in spezialisierte Hardware-Stacks, die auf beschleunigte Workloads ausgelegt sind.

Find more reporting in our Technik und Wissenschaft section.