Boții AI supraîncarcă serverele Wikipedia

Fundația Wikimedia a tras un semnal de alarmă cu privire la presiunea tot mai mare exercitată asupra serverelor sale din cauza botilor automatizați care colectează date pentru a instrui modele de inteligență artificială.

Fundația a raportat într-un post recent că traficul generat de mașini continuă să crească la un ritm fără precedent, în timp ce oamenii reprezintă doar o mică parte din acest trafic.

„Începând cu ianuarie 2024, am observat o creștere cu 50% a lățimii de bandă utilizate pentru descărcarea conținutului multimedia”, se menționează în postare.

„Această creștere nu provine de la cititorii umani, ci în mare parte de la programele automate care extrag din catalogul de imagini Wikimedia Commons cu licență deschisă, pentru a alimenta modelele AI cu imagini”, a adăugat postarea.

Boții cunoscuți sub numele de crawleri fură cantități mari de date din proiectele Wikimedia, inclusiv Wikipedia și Wikimedia Commons, fără a da creditul corespunzător sau a folosi instrumente oficiale de acces. Procesul face dificilă descoperirea Wikimedia de către utilizatorii noi și pune o presiune excesivă asupra sistemelor lor tehnice.

De exemplu, postarea menționează că pagina Wikipedia a lui Jimmy Carter a primit mai mult de 2,8 milioane de vizualizări în ziua în care a decedat, în decembrie 2024. Videoclipul cu dezbaterea din 1980 a cauzat o creștere semnificativă a traficului pe site. Un videoclip al dezbaterii sale din 1980 a generat, de asemenea, un vârf de trafic. Wikimedia a gestionat situația – dar abia. Problema reală, conform inginerilor, este fluxul continuu de trafic generat de boți.

„65% din traficul nostru cel mai costisitor provine de la roboți,” a scris Fundația. Roboții „citesc în masă” conținutul, în special paginile mai puțin populare, ceea ce declanșează cereri costisitoare către centrele de date principale ale Wikimedia.

Deși conținutul Wikimedia este gratuit, serverele sale nu sunt. „Conținutul nostru este gratuit, infrastructura noastră nu este,” a declarat Fundația. Echipa continuă să dezvolte metode pentru a promova „folosirea responsabilă a infrastructurii”, îndemnând dezvoltatorii să utilizeze API-ul în loc să scrapeze întregul site.

Problema afectează Wikimedia, precum și numeroase alte site-uri web și edituri. Dar pentru cea mai mare platformă de cunoștințe deschise din lume, aceasta amenință stabilitatea serviciilor de care se bazează milioane de oameni.