Cloudflare uruchamia system Pay Per Crawl dla monetyzacji botów AI szukających danych treningowych

Firma Cloudflare wprowadza przełomowe zmiany w sposobie działania botów sztucznej inteligencji w internecie. Nowy system Pay Per Crawl pozwala właścicielom stron internetowych kontrolować dostęp crawlerów AI do swoich treści i pobierać za to opłaty. Nowe domeny korzystające z usług Cloudflare będą miały domyślną blokadę botów AI, chyba że właściciele zdecydują inaczej. To może fundamentalnie zmienić sposób, w jaki firmy AI zbierają dane treningowe.

Crawlery AI zbierają treści bez odsyłania użytkowników do oryginalnych źródeł. To pozbawia twórców przychodów z reklam, a także wiedzy i satysfakcji z tego, że ktoś czyta ich treści.

Programiści blokują ruch z całych krajów z powodu nadmiernej aktywności crawlerów systemów AI

Firma Cloudflare oficjalnie uruchomiła system Pay Per Crawl, który pozwala wydawcom pobierać mikropłatności od botów AI za każdą wizytę na ich stronie. Program znajduje się obecnie w fazie prywatnych testów beta i opiera się na kodzie odpowiedzi HTTP 402 Payment Required. Mechanizm wykorzystuje uwierzytelnianie botów za pomocą sygnatur wiadomości HTTP, a także kluczy Ed25519. Jeśli crawler AI spełnia warunki płatności, m.in. podpisuje żądanie i zadeklaruje zgodę na opłatę, serwer odpowiada kodem 200 OK. W przeciwnym razie zwracany jest kod 402 z informacją o wymaganej płatności. Cloudflare pełni rolę pośrednika w transakcjach, pobierając opłaty od firm AI i przekazując je wydawcom. Ten model przypomina wcześniejsze rozwiązania dotyczące problemów z crawlerami AI blokującymi ruch z całych krajów.

Cloudflare zablokowało atak DDoS, który pobił wszystkie rekordy. 7,3 Tbps. To jak przesłanie 9350 filmów HD w 45 sekund

Dane Cloudflare pokazują ogromne zmiany w proporcjach między crawlingiem a ruchem powrotnym. Google skanuje strony 14 razy na każde przekierowanie użytkownika, podczas gdy OpenAI robi to 1700 razy, a Anthropic aż 73 000 razy. Nowe domeny rejestrujące się w Cloudflare będą domyślnie blokować wszystkie znane crawlery AI, co stanowi przejście od modelu opt-out do opt-in. Ponad milion klientów Cloudflare już wcześniej wybrało blokowanie botów AI po wprowadzeniu tej opcji we wrześniu 2024 roku. Wielcy wydawcy jak Associated Press, The Atlantic, Fortune czy Conde Nast poparli tę inicjatywę. Problem monetyzacji treści AI nie jest nowy. Opisywaliśmy już choćby przypadek firmy Meta, która wykorzystuje dane użytkowników z Unii Europejskiej do trenowania modeli sztucznej inteligencji.