KI-Modelle größer, schneller

Im November 2022 wurde ChatGPT veröffentlicht. Seitdem überschlagen sich die Ereignisse im Sektor KI. Die zahllosen Services, die das ein oder LLM im Backend verwenden, sind hier gar nicht gemeint. So einen Service aufzusetzen, ist eine Sache von wenigen Tagen. Die richtigen Prompts und ein User Interface und schon kann der Service an den Start gehen. 

Gemeint sind die teuren und aufwändigen Weiterentwicklungen bei den LLMs selbst. Hier spielen dann nur wenige Firmen mit. Trotzdem ist die Geschwindigkeit der Weiterentwicklung auch hier groß.  

Facebook hat gerade Llama 3.1 veröffentlicht. Es umfasst bis zu 405 Milliarden Gewichte und ist als Open Source verfügbar. 

GPT-4o mini ist noch schneller als GPT-4o und für API-Nutzer günstiger als der große Bruder

Gemini 1.5 mit einem Kontextfenster von 2 Millionen Tokens

Claude Sonnet 3.5, das in vielen Benchmarks besser abschneidet als die Konkurrenz

Aber auch jenseits der LLMs läuft die Entwicklung auf Hochtouren. So kann man mit MINT-1T einen Datenschatz von 1 Billion Text Token und 3.4 Milliarden Bildern herunterladen, um das Pretraining eines Models durchzuführen. Das Pretraining ist das automatische Grundtraining der Gewichte.