Microsoft stellte die nächste Version seines leichtgewichtigen Modells der künstlichen Intelligenz (KI) mit dem Namen vor Phi-3. Die aktualisierte Aufstellung umfasst die Phi-3 Mini von 3,8 Milliarden Parametern, die Phi-3 Klein von 7 Milliarden Parametern und der Phi-3-Medium von 14 Milliarden Parametern.
Diese Veröffentlichung folgt auf die Einführung des Phi-2-Modells, das im Dezember 2023 erschien und von Modellen wie der Llama-3-Familie von Meta übertroffen wurde. Angesichts des zunehmenden Wettbewerbs wandte die Forschungsabteilung von Microsoft neuere Techniken auf den Programmlernansatz an.
Das neue KI-Modell mit 3,8 Milliarden Parametern verbessert das vorherige Phi-2-Modell und verbraucht deutlich weniger Ressourcen als größere Sprachmodelle. Mit nur 3,8 Milliarden Parametern übertrifft Phi-3 Mini laut Microsofts eigenen Benchmarks sowohl Metas Llama mit 8 Milliarden Parametern als auch OpenAIs GPT-3 mit 3,5 Milliarden Parametern.
Wir stellen vor: phi-3-mini, ein Sprachmodell mit 3,8 Milliarden Parametern, das auf 3,3 Billionen Token trainiert wurde und dessen Gesamtleistung, gemessen sowohl durch akademische Benchmarks als auch durch interne Tests, mit der von Modellen wie Mixtral 8x7B und GPT-3.5 (z. B. phi-3) mithalten kann -mini erreicht 69 % im MMLU und 8,38 im MT-Bench, obwohl es klein genug ist, um auf einem Smartphone bereitgestellt zu werden.
Wir liefern auch einige erste Ergebnisse der Parameterskalierung mit 7B- und 14B-Modellen, die auf 4,8T-Tokens trainiert wurden, genannt Phi-3-Small und Phi-3-Medium, beide deutlich leistungsfähiger als Phi-3-Mini (S. g. bzw. 75). % und 78 % im MMLU und 8,7 und 8,9 im MT-Bench).
Aufgrund ihrer geringeren Größe ist die Phi-3-Familie im Vergleich zu größeren Modellen für Geräte mit geringem Stromverbrauch optimiert. Microsoft-Vizepräsident Eric Boyd sagte, das neue Modell sei in der Lage, fortschrittliche natürliche Sprachverarbeitung direkt auf einem Smartphone durchzuführen. Dadurch eignet sich der Phi-3 Mini für neue Anwendungen, die überall KI-Unterstützung benötigen.
Während der Phi-3 Mini die Konkurrenz in seiner Klasse übertrifft, kann er nicht mit dem Wissensumfang von Modellen mit Massen-Internettraining mithalten. Allerdings weist Boyd darauf hin, dass kleinere Modelle mit hoher Qualität tendenziell eine bessere Leistung erbringen, da interne Datensätze oft in ihrem Umfang begrenzter sind.
[via]
