Agresivní stahování dat ze strany technologických firem vyvíjejících umělou inteligenci představuje stále větší zátěž pro provozovatele internetových stránek. Nekontrolované vytěžování obsahu může vést až k přetížení serverů a nedostupnosti webových služeb pro běžné návštěvníky. Provozovatelé webů proto začínají nasazovat speciální ochranné mechanismy založené na principu proof-of-work.

Masivní scraping a proměna fungování internetu

Trénování velkých jazykových a generativních modelů umělé inteligence vyžaduje obrovské množství textových i multimediálních dat. Vývojářské technologické společnosti proto ve velkém procházejí veřejně dostupný internet a hromadně stahují publikované články, odborné databáze, spotřebitelské testy i uživatelský obsah. Tento proces, v technologickém světě označovaný jako scraping, však zásadním způsobem narušuje dosavadní nepsanou společenskou smlouvu o tom, jakým způsobem funguje publikování a hosting na celosvětové síti.

Provozovatelé webových portálů čelí situaci, kdy jejich servery zaznamenávají masivní a agresivní nápor automatizovaných robotů. Tento nekontrolovaný provoz spotřebovává systémové i síťové prostředky, zvyšuje finanční výdaje za hostingovou infrastrukturu a v kritických situacích způsobuje přímé výpadky služeb a nedostupnost stránek. Kvůli technickým odstávkám se pak k potřebným informacím a zdrojům nemohou dostat legitimní lidští čtenáři a zákazníci.

Technologie proof-of-work a systém Anubis

V reakci na rozsáhlé vytěžování internetového prostoru administrátoři nasazují specializovaná bezpečnostní řešení. Příkladem této obrany je systém Anubis, který v kanadské produkci vyvinula společnost Techaro a jehož maskota navrhlo studio CELPHASE. Tento nástroj, nasazený například ve verzi 1.25.0, využívá k ochraně před roboty prověřovací výpočetní schéma proof-of-work, které vychází z historického konceptu Hashcash, původně navrženého k potlačování e-mailového spamu.

Základní myšlenka tohoto modelu staví na rozdílu mezi chováním člověka a masivního robota. Pro jednoho konkrétního uživatele v běžném prohlížeči představuje výpočetní úloha zanedbatelnou zátěž, která nezpůsobí žádné patrné zpoždění při načítání obsahu. U automatizovaných scraperů provozovaných vývojáři umělé inteligence, jež otevírají miliony stránek současně, se však dodatečná výpočetní zátěž okamžitě sčítá. Hromadné a agresivní stahování informací se tímto způsobem stává technicky i finančně extrémně nákladným.

Identifikace robotů a technické požadavky na uživatele

Autoři bezpečnostních nástrojů upozorňují, že současné výpočetní výzvy slouží jako dočasné přechodné řešení. Vývojáři získávají čas k tomu, aby zdokonalili pokročilé metody rozpoznávání a otiskování takzvaných headless prohlížečů bez grafického rozhraní, které boti využívají. K identifikaci těchto skriptů slouží například analýza specifického způsobu vykreslování písma a systémových fontů. Cílem vývoje je dosáhnout stavu, kdy legitimní návštěvníci nebudou muset žádné prověřovací stránky vůbec řešit.

Nasazení těchto ochranných mechanismů však s sebou nese i technické komplikace pro koncové uživatele. Ochranná vrstva vyžaduje podporu moderních funkcí jazyka JavaScript v internetovém prohlížeči. Bezpečnostní a soukromé pluginy, jako je například doplněk JShelter, mohou tyto skripty blokovat, což vede k zobrazení bezpečnostní výzvy a nutnosti takové doplňky pro danou doménu dočasně vypnout. Vývojáři bezpečnostního softwaru proto paralelně pracují na přípravě řešení, které by dokázalo fungovat i zcela bez JavaScriptu. Vydavatelé a nezávislé informační portály jsou mezitím nuceni své servery chránit před neustávajícím tlakem ze strany AI systémů.

Týden na jihu do e-mailu

Jednou týdně, zdarma, odhlásit se můžete jedním kliknutím v každém e-mailu. Přihlášením souhlasíte se zpracováním e-mailu pro zasílání newsletteru.