OpenAI, Google, Microsoft и Anthropic договорились об общем способе запрета ИИ сканировать сайты

OpenAI, Google, Microsoft и Anthropic договорились поддерживать общий сигнал отказа в файле robots.txt — это служебный текстовый файл, который лежит на сайте и объясняет роботам поисковых систем и других программ, что им можно делать на сайте, а что нельзя. С помощью такого сигнала владелец сайта сможет указать: контент нельзя использовать для обучения ИИ-моделей. OpenAI уже описала этот метод и призвала другие компании, работающие с ИИ, тоже его соблюдать.

Что это значит для бизнеса. Если у компании есть сайт, статьи, каталог товаров или база ответов для клиентов, добавление нескольких строк в robots.txt позволит ограничить сбор этого контента роботами для обучения чужих ИИ-моделей. Важная оговорка: правило работает только для тех роботов, которые добровольно его соблюдают. Недобросовестные сборщики данных могут его игнорировать. Также стоит учитывать: блокировка роботов поисковых систем может ухудшить видимость сайта в обычном поиске, если настроить файл неаккуратно — блокировать нужно именно ИИ-роботов, а не все вообще.

Как попробовать. Нужно открыть файл robots.txt в корневой папке сайта (или создать его, если его нет), добавить раздел для ИИ-роботов и прописать запрет — либо для всех таких роботов сразу, либо для конкретных, например относящихся к ChatGPT. Можно также закрыть доступ только к отдельным страницам, указав их адрес. После изменений файл нужно сохранить и загрузить обратно на сайт.