Dezvoltator de software XE ISO a ajuns la un punct de rupere La începutul acestui an, când traficul agresiv de crawler AI de la Amazon și -a copleșit serviciul de depozit GIT, provocând în mod repetat instabilitate și timp de oprire. În ciuda configurației măsurilor defensive standard-ajutând roboți.TXT, blocarea agenților de utilizatori de crawler cunoscuți și filtrarea traficului suspect-IASO a constatat că crawler-urile AI au continuat să se evadeze toate încercările de a le opri, răspândind agenții de utilizator și ciclismul prin adrese IP rezidențiale ca reprezentanți.
Disperat pentru o soluție, IASO a recurs în cele din urmă la mutarea serverului lor în spatele unui VPN și la crearea de „anubis”, un sistem de provocare a dovadării de lucru personalizat, care obligă browserele web să rezolve puzzle-uri de calcul înainte de a accesa site-ul. „Este zadarnic să blochezi roboții AI Crawler pentru că mint, să -și schimbe agentul de utilizator, să folosești adrese IP rezidențiale ca reprezentanți și multe altele”, a scris IASO într -un postare pe blog Intitulat „Un strigăt disperat pentru ajutor”. „Nu vreau să mă închid serverul GITEA la public, dar o voi face dacă trebuie.”
Povestea lui Iaso evidențiază o criză mai largă, răspândită rapid în comunitatea open source, întrucât ceea ce pare a fi crawler-uri agresive de AI agresive din ce în ce mai mult, infrastructura întreținută de comunitate, provocând ceea ce se ridică la atacuri persistente de refuz de serviciu (DDOS) distribuite asupra resurselor publice vitale. Conform unui Raport recent recent De la LibreNews, unele proiecte open source văd acum până la 97 la sută din traficul lor provenind din roboții companiilor AI, crescând dramatic costurile de lățime de bandă, instabilitatea serviciilor și împovărarea întreținătorilor deja întinși.
Comentarii recente