Reddit усиливает борьбу с веб-скрейперами
Блокировка поисковых систем
В последние недели сайт Reddit начал блокировать поисковые системы от отображения недавних постов и комментариев, если поисковая система не оплачивает доступ, как сообщается в отчете 404 Media.
Google — единственный, кто благополучно ищет на Reddit
На данный момент Google — единственная поисковая система, которая показывает недавние результаты при поиске на Reddit с использованием команды «site:reddit.com», сообщает 404 Media. Это исключает такие альтернативы, как Bing и DuckDuckGo, что, вероятно, связано с заключенным Google контрактом на $60 миллионов с Reddit для обучения своих ИИ-моделей на данных сайта.
Заявление представителя Reddit
Представитель Reddit Тим Рашмидт в заявлении для The Verge отметил: «Это не связано с нашим недавним партнерством с Google. Мы ведем переговоры с несколькими поисковыми системами, но не со всеми удалось достичь соглашения, так как некоторые из них не могут или не хотят давать гарантии по использованию данных Reddit, включая их применение для ИИ.»
Поиск новых источников дохода
Такой шаг от крупного сайта как Reddit может показаться смелым, но это не удивительно. В течение прошлого года Reddit стал более защитительно относиться к своим данным, стремясь открыть новый источник дохода и удовлетворить новых инвесторов. Подняв стоимость своего API для некоторых сторонних разработчиков, Reddit также угрожал прервать доступ Google, если он не прекратит использовать данные площадки бесплатно для обучения ИИ.
Обновление файла robots.txt
В прошлом месяце Reddit обновил файл robots.txt, чтобы усилить политику против скрейпинга. «Это сигнал для тех, у кого нет соглашения с нами, что им не следует получать доступ к данным Reddit», — сказал главный юридический директор Reddit, Бен Ли, во внутреннем интервью для Command Line.
Значение человеческих ответов в эпоху ИИ
С появлением ИИ-чатботов, заполняющих интернет сомнительным контентом, нахождение буквальной информации, написанной человеком, стало особенно важным. Я, как и многие другие, часто добавляю «Reddit» к своим поисковым запросам, чтобы получить человеческие ответы. Поэтому сейчас разочаровывает, что это будет возможно только через Google (или поисковые системы, которые используют его), особенно учитывая, что я часто ищу на Bing.
Обновление от 24 июля
Добавлено заявление от Reddit.
Источник: The Verge
