Ein Forscherteam um Anna Dolganov hat das Sprachmodell Apollo Restore vorgestellt, das als weltweit erstes Large Language Model für historische griechische Texte physische Lücken in beschädigten Papyrusfragmenten und Steininschriften eigenständig ergänzt. Das auf Mistral Small basierende System verarbeitet 600 Millionen Wörter und rekonstruiert selbst längere Fehlstellen ohne Längenangaben.
In Museen und Bibliotheken weltweit lagern mehr als eine Million unvollständige Papyrusfragmente aus der Zeit zwischen 300 vor Christus und 700 nach Christus. Bislang wurden weniger als zehn Prozent dieser Dokumente von Papyrologen erschlossen, da das mühsame Entziffern und Ergänzen von Fehlstellen jahrelange Erfahrung erfordert und Wissenschaftler bei größeren Lücken meist zurückschrecken.
Entwicklung durch internationale Kooperation und das Training mit 600 Millionen Wörtern
Das Projekt entstand aus einer Zusammenarbeit zwischen Anna Dolganov vom Österreichischen Archäologischen Institut der Österreichischen Akademie der Wissenschaften, dem Informatiker David Smith von der Northeastern University in Boston sowie den europäischen KI-Unternehmen Mistral AI und SAIL Reply. Als Grundlage dient ein 24-Milliarden-Parameter-Modell, das auf den Servern der Akademie betrieben wird.
Für das Training speisten die Entwickler rund 600 Millionen Wörter in das System ein. Da antike Quellen allein diese Menge nicht hergaben, ergänzten sie den Bestand mit historischen Texten im klassizistischen Griechisch der frühen Neuzeit bis etwa 1900, was insgesamt 156.000 Texten entspricht. Das Modell arbeitet mit transkribierten Texten und nutzt eine sogenannte fill-in-the-middle
-Objektivierung, bei der es die umgebenden Wörter analysiert, ohne die genaue Anzahl der fehlenden Buchstaben zu kennen.
Genauigkeit bei Papyrusfragmenten im Vergleich zu früheren Modellen
In standardisierten Tests erreichte Apollo Restore bei kurzen Lücken von bis zu zehn Zeichen eine hohe Trefferquote. Bei Dokumentar-Papyrusfragmenten lag die richtige Ergänzung in 80,6 Prozent der Fälle unter den zwanzig Vorschlägen des Modells. Bei literarischen Papyri betrug dieser Wert 54,6 Prozent und bei Steininschriften 61 Prozent. Damit übertrifft das System nach Angaben der Forscher frühere Modelle deutlich.
In einer Blindstudie mit zwanzig Spezialisten bewerteten die beteiligten Experten die Vorschläge von Apollo Restore in rund 77 Prozent der Fälle als mindestens so gut wie menschliche Ergänzungen; in 16 bis 20 Prozent der Fälle stuften sie die KI-Ergebnisse sogar als besser ein.
Unser LLM kann aus einem vergleichsweise kleinen Kontextfenster weitreichende Schlüsse ziehen. Anhand von Satzbau und Vokabular stellt Apollo beispielsweise treffsicher fest, ob ein Text aus Homers Odyssee stammt, und ergänzt Lücken im jeweils passenden sprachlichen Register.
Anna Dolganov, Österreichische Akademie der Wissenschaften
Neue Lesarten für verkohlte Herculaneum-Rollen und antike Urkunden
Bei der Präsentation des Systems demonstrierten die Forscher die Leistungsfähigkeit anhand konkreter Beispiele aus der Antike. Zudem lieferte das System neue Lesarten für eine philosophische Papyrusrolle, die beim Ausbruch des Vesuvs im Jahr 79 nach Christus karbonisiert und durch moderne Bildgebung lesbar gemacht worden war.
Bei der Schriftrolle PHerc. 1667 schlug Apollo Restore eine alternative Lesart vor. Die Forscher weisen jedoch darauf hin, dass diese alternative Lesart noch der fachlichen Überprüfung unterliegt.
Nächste Schritte und kommende Erweiterungen für den lateinischen Wortschatz
Die Projektgruppe stellt das System ab sofort der wissenschaftlichen Gemeinschaft und der Öffentlichkeit zur Verfügung.
Weiterlesen
