KI-Entwicklung: Exponentielles Wachstum und neue Herausforderungen
Mustafa Suleyman betont im Artikel für das MIT Technology Review, dass die Evolution, die in der Savanne galt, bei künstlicher Intelligenz nicht funktioniert. Die KI entwickelt sich in einem völlig anderen Tempo.
Exponentielles Wachstum der Rechenleistung
Seit 2010 hat sich die Entwicklung der KI enorm beschleunigt. Die Rechenleistung der leistungsstärksten Modelle ist um das Trillionen-Fache gestiegen – von 10¹⁴ FLOPS zu über 10²⁶ FLOPS. Suleyman vergleicht dies mit einer Menschenmenge, die mit Taschenrechnern arbeitet, wobei früher nur die Anzahl der Personen erhöht wurde, während die Effizienz stagnierte. Heute geht es darum, dass alle Taschenrechner gleichzeitig arbeiten und als eine einzige riesige Gehirnfunktion agieren.
Drei Schlüsseltechnologien treiben das Wachstum an
Dieses Fortschrittliche ist durch drei zentrale Entwicklungen ermöglicht worden: Zunächst die deutlich schnellere Hardware – Nvidia-Chips haben ihre Leistung von 312 Teraflops (2020) auf 2.250 Teraflops (heute) gesteigert, und Microsofts Maia 200 bietet 30% mehr Leistung pro Euro. Zweitens die schnellere Datenübertragung durch HBM-Speicher (High Bandwidth Memory), der Chips wie Gebäude stapelt und mit HBM3 das Bandbreiten-Dreifache der vorherigen Generation bietet. Drittens die Vernetzung von Tausenden von GPUs durch Technologien wie NVLink und InfiniBand, die Supercomputer der Größe von Industrieanlagen schaffen.
Warnung von Eric Schmidt
Eric Schmidt, ehemaliger CEO von Google, warnt davor, dass wir uns erst zwischen 10 und 15% der Auswirkungen dieser Entwicklung befinden. Die Trainingszeiten haben sich drastisch verkürzt: Was 2020 in acht GPUs 167 Minuten dauerte, geht heute in weniger als vier Minuten.
Prognosen für die Zukunft
Die Prognosen für das zukünftige Wachstum sind enorm. Große Forschungseinrichtungen erhöhen ihre Rechenkapazität nahezu viermal jährlich. Zwischen 2020 und heute hat sich die Rechenleistung jährlich um das Fünffache erhöht, und es wird erwartet, dass die globale KI-Rechenleistung bis 2027 das 100-fache erreicht.