Reddit блокирует Bing и другие поисковые системы от сбора своих данных

Что нужно знать

• Reddit обновил свой файл robots.txt, чтобы помешать Bing и другим поисковым системам индексировать сайт.
• Reddit утверждает, что репрессии стали результатом невыполнения соглашений с поисковыми системами и компаниями, не желающими давать подлежащие исполнению обещания относительно использования контента Reddit.
• Google — единственная крупная поисковая система, которая может отображать в результатах поиска недавний контент с Reddit, предположительно из-за их сделки на 60 миллионов долларов.

Reddit наращивает усилия, чтобы помешать веб-краулерам использовать его данные. В результате его репрессий в настоящее время ни одна крупная поисковая система, будь то Bing или DuckDuckGo, не может предоставить последние посты и комментарии Reddit в своих результатах поиска. Ни одна, кроме Google.

Итак, если вы попытаетесь найти последние результаты Reddit в своем поисковом запросе, вы, к сожалению, не найдете ответа. Сравните результаты поиска в Bing и Google по тому же запросу о недавнем обсуждении новостей:

Reddit в последнее время все больше и больше защищает свои данные, и это понятно. Будучи популярным форумом сообщества, где люди собираются вместе, чтобы обсуждать и говорить о своих интересах, Reddit становится настоящей золотой жилой для обучения ИИ. Но Reddit понимает, как и компании ИИ, каким бесценным ресурсом является веб-сайт в то время, когда чат-боты ИИ захватывают Интернет.

Чтобы защитить свои интересы, Reddit обновил свой файл robots.txt чтобы запретить веб-краулерам получать доступ к сайту. Этот шаг последовал за несколькими неудачными попытками достичь соглашения с различными поисковыми системами относительно использования ими контента Reddit. Принятие жестких мер в отношении поисковых систем и прекращение сбора ими данных — это четкий сигнал о том, что те, у кого нет соглашения, не должны получать доступ к контенту Reddit.

На данный момент Google является единственной крупной поисковой системой, которая может выводить посты и комментарии Reddit в результатах поиска. И это не совпадение. Хотя представитель Reddit упомянул в своем заявлении, что «(т)это вообще не связано с нашим недавним партнерством с Google», нелегко оглядываться назад на сделку на 60 миллионов долларов, которая позволила Google обучить свою модель ИИ на данных Reddit. Предположительно, сделка также охватывала доступ в режиме реального времени к контенту Reddit.

Сообщение от Reddit достаточно ясно: плати или пропусти. Большинство компаний, включая Microsoft, признали это. В своем заявлении Microsoft сказала:

«Мы уважаем стандарт robots.txt. Bing прекратил сканирование Reddit после того, как 1 июля они внедрили обновленный файл robots.txt, который запрещает любое сканирование их сайта».

Те, кто использует не-Google поисковые системы, находятся в явно невыгодном положении, в основном потому, что собственная функция поиска Reddit не работает так же хорошо, как поисковые системы, при поиске релевантного контента. На данный момент, если вы хотите получить последние результаты из Reddit, используя трюк «site:reddit.com» или добавив к запросу слово «Reddit», вам придется сначала открыть Google.