Was wäre, wenn jeder Desktop-PC mit einem einzigen Upgrade zu einem KI-Inferenz-Biest werden könnte? Und was wäre, wenn dieses verwandelte Biest immer noch an der Energie nippte, als würde es einen Martini genießen?
Das ist die Idee von Neuchips, einem taiwanesischen Startup, das 2019 gegründet wurde und für die Bereitstellung erstklassiger KI-Effizienz bekannt ist. Zur CES Unveiled 2024 – der Medien-Pregame-Show vor dem Hauptereignis – kam es mit einer PCIe-Zusatzkarte, die die KI-Fähigkeiten eines typischen Desktop-Computers verbessern kann und gleichzeitig das Leistungsbudget des PCs nur um 55 Watt erhöht.
Es ist nicht nur ein Konzept. Die Karte wurde an einen Desktop-Computer auf der Ausstellungsfläche angeschlossen und ermöglichte eine Echtzeit-Offline-Konversation mit einem Chatbot, der auf Metas beliebtem Llama 2 7B-Großsprachmodell basiert (Neuchips sagt, dass auf der Karte auch Llama 2 13B laufen wird).
Die Karte von Neuchips, der Evo PCIe-Beschleuniger, basiert auf dem Raptor Gen AI-Beschleunigerchip des Unternehmens. Der Raptor-Chip liefert „bis zu 200 Tera-Operationen (TOPS) pro Sekunde“ und das Unternehmen gibt an, dass er für transformatorbasierte Modelle optimiert ist.
Die Karte, die Neuchips vorführte, hatte den Raptor-Chip, aber ein einzelner Chip ist nicht die endgültige Form der Karte. Ken Lau, CEO von Neuchips, ein Intel-Veteran mit 26 Jahren Erfahrung, sagt, dass Raptor zum Entwerfen von Karten mit unterschiedlicher Anzahl integrierter Chips verwendet werden kann.
„Der Chip ist tatsächlich skalierbar“, sagt Lau. „Also beginnen wir mit einem Chip. Und dann haben wir vier Chips. Und dann acht Chips.“ Laut der Pressemitteilung von Neuchip bietet jeder Chip bis zu 200 Billionen Operationen pro Sekunde (TOPS). Die Karte verfügt außerdem über 32 GB LPDDR5-Speicher und erreicht eine Speicherbandbreite von 1,6 Terabyte. Die Speicherbandbreite ist wichtig, da sie häufig ein Faktor bei der Verarbeitung von KI-Inferenzen auf einem einzelnen PC ist.
Neuchips möchte den Besitzern auch die Werkzeuge an die Hand geben, die sie benötigen, um die Karte effektiv zu nutzen. Da es jedoch noch viele Monate bis zur Veröffentlichung dauern, sind die Details hier noch etwas dürftig. Ein Vertreter von Neuchips sagte, das Unternehmen verfüge über Compiler-Software und werde einen Treiber bereitstellen. Die Demonstration, die ich gesehen habe, hatte eine benutzerdefinierte Schnittstelle für die Interaktion mit der Karte des Modells Llama2-7B, auf der Neuchips lief, aber sie schien barebones zu sein.
Ein Fokus auf Effizienz
Es gibt bereits Hardware, die jeder an den PCie-Steckplatz eines Desktops anschließen kann, um die KI-Leistung erheblich zu verbessern. Es heißt GPU und Nvidia hat den Markt im Würgegriff. Es wäre schwierig, mit Nvidia in Sachen Leistung gleichzuziehen. Tatsächlich kündigte Nvidia auf der CES 2024 neue Karten mit Fokus auf KI an; Die RTX 4080 Super, die ab dem 31. Januar für 999 US-Dollar im Handel erhältlich sein wird, gibt eine KI-Leistung von bis zu 836 TOPs an.
Neuchips sieht jedoch eine Öffnung. „Wir konzentrieren uns auf Energieeffizienz“, sagt Lau. „Und vom Umgang mit den vielen unterschiedlichen Modellen, die es gibt.“
Moderne Grafikkarten sind leistungsstark, aber auch stromhungrig. Die RTX 4080 Super kann bis zu 320 Watt Leistung aufnehmen und benötigt normalerweise einen Computer mit einem Netzteil, das mindestens 750 Watt liefern kann. Der Evo PCIe-Beschleuniger von Neuchips verbraucht dagegen nur 55 Watt Strom. Tatsächlich verbraucht sie so wenig Strom, dass die Karte, die Neuchips auf der CES vorstellte, keinen externen PCIe-Stromanschluss hatte. Solche Anschlüsse sind für die meisten GPU-Karten ein Muss.
Mir wurde auch mitgeteilt, dass die endgültige Karte, die in der zweiten Hälfte des Jahres 2024 ausgeliefert werden soll, etwa halb so groß sein wird wie die auf der CES gezeigte Karte. Das ist ein wichtiges Detail, da die Karte, die ich gesehen habe, so groß war wie die meisten aktuellen Nvidia-GPU-Karten und zu groß, um in die meisten Desktop-Computer mit kleinem Formfaktor zu passen. Eine kleinere Karte würde den Evo PCIe-Beschleuniger in einer Vielzahl moderner PC-Hardware nutzbar machen.
Obwohl der Beschleuniger von Neuchips vielleicht die bekannteste KI-Beschleunigerkarte auf der CES 2024 war, war er bei weitem nicht der einzige auf der Messe. Mehrere Start-ups verfügten über eigene KI-Beschleuniger mit einzigartigen Funktionen. Panmnesia gewann einen CES Innovation Award für einen KI-Beschleuniger, der über eine Compute eXpress Link-Schnittstelle für den Zugriff auf riesige Speicherpools verfügt. Weitere Unternehmen mit KI-Beschleunigern sind DeepX und MemryX. Auch Intel und AMD sind dabei; Jedes bietet einen KI-Beschleuniger in seiner neuesten CPU-Architektur.
Mach keinen Fehler. Nvidia bleibt in diesem Bereich der 800-Pfund-Gorilla, und das wird sich nicht über Nacht ändern. Dennoch scheinen neue KI-Beschleuniger wie der Raptor von Neuchips und die Evo-PCIe-Karte bereit zu sein, neue Optionen für Entwickler zu bieten, denen die Grafik egal ist oder die beim Ausführen von KI-Inferenz eine verbesserte Energieeffizienz benötigen.
Die vollständige Veröffentlichung des Evo PCI-Beschleunigers von Neuchips ist für die zweite Hälfte des Jahres 2024 geplant. Die Preise werden noch bekannt gegeben.
Aus Ihren Website-Artikeln
Verwandte Artikel im Internet
