crawlery

Firma Cloudflare wprowadza przełomowe zmiany w sposobie działania botów sztucznej inteligencji w internecie. Nowy system Pay Per Crawl pozwala właścicielom stron internetowych kontrolować dostęp crawlerów AI do swoich treści i pobierać za to opłaty. Nowe domeny korzystające z usług Cloudflare będą miały domyślną blokadę botów AI, chyba że właściciele zdecydują inaczej. To może fundamentalnie zmienić sposób, w jaki firmy AI zbierają dane treningowe.

Nadmierna aktywność botów AI indeksujących treści na stronach open source prowadzi do poważnych problemów z wydajnością serwerów i do zwiększonych kosztów. Deweloperzy sięgają zatem po radykalne środki, takie jak blokowanie ruchu z całych krajów i konkretnych dostawców usług chmurowych. Jakie są przyczyny tego zjawiska i jakie kroki podejmują administratorzy, aby chronić swoje zasoby przed niepożądanym ruchem generowanym przez crawlery AI?