Perplexitatea motorului de căutare AI folosește roboți Stealth și alte tactici pentru a sustrage directivele fără crawl ale site-urilor web, o afirmație că, dacă True încalcă normele de internet care au fost în vigoare de mai bine de trei decenii, a spus luni, securitatea rețelei și serviciul de optimizare Cloudflare.
În a postare pe blogCercetătorii Cloudflare au declarat că compania a primit reclamații de la clienții care au interzis perplexitatea răzuind bots prin implementarea setărilor în fișierele robots.txt ale site -urilor lor și prin intermediul firewall -urilor de aplicații web care au blocat crawler -urile de perplexitate declarate. În ciuda acestor pași, a spus Cloudflare, perplexitatea a continuat să acceseze conținutul site -urilor.
Cercetătorii au spus că apoi și -au propus să -l testeze pentru ei înșiși și au descoperit că atunci când se cunoaște perplexitatea, crawler -urile au întâlnit blocuri de la roboți.