Linux-Kernels durch KI-Scraping überlastet – Anonymität wird eingeschränkt
Die rasante Entwicklung der Technologie fasziniert mich seit Jahren. Bei Technikblick versuche ich, hinter die Schlagzeilen zu blicken und Sonderberichte zu verfassen, die nicht nur informieren, sondern auch zum Nachdenken anregen. Mein Hintergrund in Tübingen und die frühere Tätigkeit bei
Große Datenmengen belasten Linux-Kernel
Das Fortschreiten von KI-Tools für die Programmierung eröffnet diese Disziplin Millionen Menschen, doch die enorme Datenmenge stellt Linux-Entwickler vor Probleme. Einige Funktionen sind bereits nicht mehr verfügbar.
Scraping-Bots überfordern Git-Server
Um KI-Modelle wie Claude Code von Anthropic zu erstellen, benötigt man riesige Datenmengen, die aus der Arbeitsweise von Entwicklern stammen. Open-Source-Software ist hierfür eine Goldmine, da alles in öffentlichen Gits und Commits erstellt wird. Unternehmen nutzen zunehmend Scraping-Tools, um öffentlich zugängliche Informationen automatisch zu sammeln.
6 Millionen Anfragen pro Tag – überwiegend Bots
Konstantin Ryabitsev, Leiter der IT-Infrastruktur der Linux-Stiftung, hat in einer Veröffentlichung auf der Webseite des Betriebssystems eine Problematik seiner Entwickler-Community aufgezeigt. „Derzeit widmen wir mehr CPU-Zyklen zum Rendern von Commits für Scraping-Tools als für alle anderen legitimen Zugriffe“, erklärt er. Git.kernel.org, wo der Open-Source-Code von Linux gehostet wird, erhält täglich rund 6 Millionen Anfragen, von denen nur 2% echte Personen sind. Der Rest sind Bots.
Anonyme Funktionen werden eingeschränkt
Um die Systeme nicht zu überlasten, hat die Stiftung bisher Filtermechanismen eingesetzt. Da Scraping-Tools jedoch immer ausgefeilter werden und schwerer zu erkennen sind, entkommen bereits ein Drittel der Anfragen den Systemen. Da die Erkennung des Traffics von Bots nicht mehr effektiv ist, muss die Linux-Stiftung nun Funktionen einschränken, um die Anzahl der verfolgbaren URLs zu reduzieren und bestimmte Aktionen zu beschränken, die hohe Kosten verursachen. „Wir deaktivieren einige Funktionen, um die Anzahl der verfolgbaren URLs zu reduzieren und bestimmte Aktionen zu beschränken, deren Ausführung uns hohe Kosten verursacht“, warnt Ryabitsev. Die Strategie besteht darin, mehr Schritte zur Verifizierung einzuführen, ob es sich um eine Person oder einen Bot handelt, oder die Menge der anonym zugänglichen Ressourcen zu begrenzen.