Große Sprachmodelle entwickeln sich rasant weiter. Sie können ihre Leistung sogar schneller steigern als Computerchips. Die genauen Gründe dafür versuchen die Forscher noch herauszufinden.
KI-Chatbots basieren auf sogenannten Large Language Models (LLM). Diese Modelle entwickeln sich in einem rasanten Tempo weiter, das sogar das der Entwicklung von Computerchips übersteigt.
Innerhalb von nur acht Monaten halbiert sich im Schnitt die benötigte Rechenleistung, um den gleichen Benchmark zu erreichen. Diese Effizienzsteigerung überschreitet sogar das Mooresche Gesetz, das besagt, dass sich die Anzahl der Transistoren auf einem Chip etwa alle 18 bis 24 Monate verdoppelt. Die Transistoren deuten auf die Rechenleistung eines Chips hin.
Die Performance-Steigerung kommt durch bessere AlgorithmenDie Leistungssteigerung bei KI-Modellen lässt sich vor allem auf Fortschritte in der Entwicklung der Algorithmen zurückführen, wie Tamay Besiroglu vom Massachusetts Institute of Technology (MIT) gegenüber New Scientist verrät.
Eine Alternative, um die Performance zu steigern, ist, LLM in der Größe hochzuskalieren. Bei diesem Ansatz wird allerdings mehr Rechenleistung benötigt. Derzeit ist diese Möglichkeit durch die globale Knappheit an KI-Chips begrenzt.
231 große Sprachmodelle getestet
Um den Ursprung der Leistungssteigerung bei LLM zu ergründen, haben Forscher 231 dieser Modelle untersucht, die im Zeitraum von 2012 bis 2023 entwickelt wurden. Wie die Programmierer die Algorithmen genau verbessern, konnten sie allerdings nicht herausfinden, da der Code für viele der Modell nicht öffentlich zugänglich ist.
Quelle: t3n.de, Kai Nordenbrock 27.03.2024