Jeden wpis w robots.txt zablokuje trening AI: OpenAI, Google, Microsoft i Anthropic przyjmują wspólny sygnał

Właściciele stron internetowych dostaną jeden prosty sposób, by powiedzieć „nie trenujcie AI na moich tekstach” wszystkim największym firmom naraz. OpenAI, Google, Microsoft i Anthropic ogłosiły 30 października, że będą respektować wspólny sygnał w pliku robots.txt, przygotowany w ramach prac IETF.

Na czym polega nowy sygnał

Do tej pory, jeśli ktoś nie chciał, żeby jego treści trafiały do zbiorów treningowych modeli AI, musiał w robots.txt wypisywać osobne reguły dla każdego crawlera: GPTBot, Google-Extended, ClaudeBot i kolejnych. Lista ciągle się wydłużała, a łatwo było o pominięcie któregoś bota.

Nowe rozwiązanie opisuje szkic dokumentu IETF z grupy roboczej AI Preferences (AIPREF), którego autorem jest Kevin Kelley z Anthropic. Zamiast nazwy konkretnego bota w linii User-Agent wpisuje się tzw. token polityki, oznaczający cel użycia treści, czyli trening AI. Przykład z dokumentu wygląda tak:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Taki wpis oznacza: nie zgadzam się na trening AI na całej stronie, z wyjątkiem katalogu z materiałami prasowymi. Co ważne, sygnał nie dodaje żadnych nowych poleceń do robots.txt, więc stare parsery po prostu go zignorują, a zwykłe wyszukiwarki dalej będą działać po staremu. Dokument wyraźnie zaznacza też, że reguły dla wszystkich botów (User-Agent: *) nie są traktowane jako sprzeciw wobec treningu. Trzeba to zapisać wprost.

Kto i kiedy zacznie to respektować

• Anthropic deklaruje, że już zaczął wdrażanie.
• OpenAI zapowiada wdrożenie „w nadchodzących miesiącach” i obiecuje osobną informację, gdy to nastąpi. Dotychczasowe reguły dla jego crawlerów nadal obowiązują.
• Microsoft planuje start od 1 lutego 2027 roku i zapowiada osobne ustawienia dla treningu oraz dla tzw. groundingu, czyli korzystania ze strony jako źródła odpowiedzi AI. Strona nadal będzie widoczna w wynikach Bing.
• Google wdroży sygnał w 2027 roku. Jeśli strona użyje wspólnego tokena, a nie wspomni osobno o Google-Extended, Google potraktuje to tak, jakby zablokowano Google-Extended.

Meta wyraziła poparcie dla idei, ale nie potwierdziła, że będzie ten sygnał honorować.

Czego ten sygnał nie zrobi

To dobrowolna deklaracja, a nie techniczna blokada. Dotyczy tylko przyszłego trenowania modeli, nie usuwa treści, które już zostały wykorzystane, i nie zabrania botom samego odwiedzania strony. Domyślnie, dopóki właściciel nic nie wpisze, trening jest dozwolony. Google i Microsoft ostrzegają też, że rezygnacja z treningu lub groundingu może zmniejszyć szansę, że treści pojawią się w odpowiedziach ich asystentów AI.

Co to oznacza dla właścicieli stron w Polsce

Dla blogerów, wydawców, sklepów internetowych i firm z rozbudowanymi bazami wiedzy to przede wszystkim mniej pracy: jeden blok w robots.txt zamiast listy kilkunastu botów. Warto jednak podejść do tego z głową:

• Nie usuwaj obecnych reguł. Do czasu pełnego wdrożenia przez Google i Microsoft nowy token nie zastąpi wpisów dla GPTBot czy Google-Extended. Najlepiej na razie mieć jedno i drugie.
• Zdecyduj, na czym ci zależy. Jeśli chcesz, żeby asystenci AI polecali twój sklep albo cytowali poradniki, całkowita blokada może ci zaszkodzić. Można zablokować tylko część serwisu, np. płatne treści, a resztę zostawić otwartą.
• Sprawdź, co generuje twój CMS. WordPress i wtyczki SEO często tworzą robots.txt automatycznie, więc zmiany trzeba wprowadzić tam, gdzie plik faktycznie powstaje.
• Śledź szczegóły. To wciąż szkic dokumentu IETF i składnia może się jeszcze zmienić, zanim stanie się standardem.

Dla polskich wydawców to ciekawy element szerszej dyskusji o prawach do treści w erze AI. Unijny AI Act już wymaga od dostawców modeli ogólnego przeznaczenia respektowania zastrzeżeń praw autorskich wyrażonych w formie czytelnej dla maszyn, a wspólny sygnał może stać się najprostszym sposobem, by takie zastrzeżenie złożyć.

Źródło: OpenAI, Google Search Central Blog, IETF – draft-kelley-aipref-training-preference-signal-00, The Verge

Artykuł zredagowany przy pomocy AI.