✔Cloudflare натравила ИИ на ботов, которые собирают данные для ИИ - «Новости сети»

22 марта 2025 167 Новости / Новости мира Интернет 0

Источник изображения: cloudflare.com

Владельцы сайтов теоретически могут попытаться отбиться от сканеров страниц при помощи файлов robots.txt с директивами для ботов, изменения настроек веб-серверов, проверок CAPTCHA и полной блокировки ботов. В действительности операторы роботов-сканеров зачастую игнорируют директивы robots.txt, обходят как тесты CAPTCHA, так и настройки серверов. В результате на ресурсах растёт объём нежелательного трафика, а данные сайтов попадают в массивы для обучения ИИ без разрешения правообладателей — однозначного ответа на вопрос о законности такой практики пока нет.

Cloudflare предложила не блокировать сканеры, а запускать их в систему, только показывать им созданный ИИ бесполезный контент, который они будут потреблять, попав в «ИИ-лабиринт». Обнаружив несанкционированное сканирование материалов, система не блокирует запрос, а выдаёт ряд ссылок на созданные ИИ страницы, достаточно убедительные, чтобы увести на них сканер. Такой контент выглядит как настоящий, но это уже не материалы, которые система пытается защитить — в результате сканер тратит время и ресурсы. Сами по себе генерируемые ИИ материалы реальны и связаны с научными фактами, потому что дезинформацию в Cloudflare плодить не намерены, а откровенно мусорный контент может навредить репутации сайта и поисковой оптимизации.

Система окажется сдерживающим фактором для сканеров веб-контента, чьи ресурсы начнут использоваться впустую, а стоимость эксплуатации вырастет. Она будет полезным инструментом для обнаружения активности ботов; человек же не станет погружаться в такой «ИИ-лабиринт» на глубину более четырёх ссылок, уверены создатели системы. Но панацеей это решение не является: такие вещи обычно порождают гонку вооружений, и в Cloudflare уже задумываются о том, что делать дальше, чтобы оставаться впереди.

Цитирование статьи, картинки - фото скриншот - Rambler News Service.

Иллюстрация к статье - Яндекс. Картинки.

Есть вопросы. Напишите нам.

Общие правила поведения на сайте.

Cloudflare развернула систему искусственного интеллекта, предназначенную для перехвата ботов, которые сканируют общедоступные страницы и собирают данные с целью обучения других моделей ИИ. Источник изображения: cloudflare.com Владельцы сайтов теоретически могут попытаться отбиться от сканеров страниц при помощи файлов robots.txt с директивами для ботов, изменения настроек веб-серверов, проверок CAPTCHA и полной блокировки ботов. В действительности операторы роботов-сканеров зачастую игнорируют директивы robots.txt, обходят как тесты CAPTCHA, так и настройки серверов. В результате на ресурсах растёт объём нежелательного трафика, а данные сайтов попадают в массивы для обучения ИИ без разрешения правообладателей — однозначного ответа на вопрос о законности такой практики пока нет. Cloudflare предложила не блокировать сканеры, а запускать их в систему, только показывать им созданный ИИ бесполезный контент, который они будут потреблять, попав в «ИИ-лабиринт». Обнаружив несанкционированное сканирование материалов, система не блокирует запрос, а выдаёт ряд ссылок на созданные ИИ страницы, достаточно убедительные, чтобы увести на них сканер. Такой контент выглядит как настоящий, но это уже не материалы, которые система пытается защитить — в результате сканер тратит время и ресурсы. Сами по себе генерируемые ИИ материалы реальны и связаны с научными фактами, потому что дезинформацию в Cloudflare плодить не намерены, а откровенно мусорный контент может навредить репутации сайта и поисковой оптимизации. Система окажется сдерживающим фактором для сканеров веб-контента, чьи ресурсы начнут использоваться впустую, а стоимость эксплуатации вырастет. Она будет полезным инструментом для обнаружения активности ботов; человек же не станет погружаться в такой «ИИ-лабиринт» на глубину более четырёх ссылок, уверены создатели системы. Но панацеей это решение не является: такие вещи обычно порождают гонку вооружений, и в Cloudflare уже задумываются о том, что делать дальше, чтобы оставаться впереди.