web scraping

Google podało do sądu SerpApi, oskarżając ją o obchodzenie zabezpieczeń chroniących wyniki swojej wyszukiwarki. To nie pierwszy raz, gdy ktoś próbuje automatycznie wyciągać dane z największej wyszukiwarki świata. Google twierdzi, że SerpApi codziennie generuje setki milionów fałszywych zapytań, aby wykraść nie tylko surowe wyniki, ale przede wszystkim drogie w pozyskaniu, licencjonowane treści, od zdjęć w panelach wiedzy po dane map i sklepów.

Firma Cloudflare wprowadza przełomowe zmiany w sposobie działania botów sztucznej inteligencji w internecie. Nowy system Pay Per Crawl pozwala właścicielom stron internetowych kontrolować dostęp crawlerów AI do swoich treści i pobierać za to opłaty. Nowe domeny korzystające z usług Cloudflare będą miały domyślną blokadę botów AI, chyba że właściciele zdecydują inaczej. To może fundamentalnie zmienić sposób, w jaki firmy AI zbierają dane treningowe.