iFixit повідомляє, що пошуковий бот ClaudeBot від Anthropic відвідав сайт компанії майже мільйон разів за 24 години, чим порушив Умови використання сервісу ремонтної компанії. Про це пише The Verge.
Гендиректор iFixit Кайл Вієнс звернувся в Х до Anthropic. Він пише, що з боку компанії було зафіксовано відвідування сайту iFixit ботом від Anthropic. Після цього Вієнс опублікував скриншоти свого спілкування з Claude, де сам чат-бот повідомляє, що йому заборонено використовувати контент з сайту iFixit для навчання.
"Ви не тільки берете наш контент без оплати, ви навантажуєте наші ресурси розробників. Якщо ви хочете поговорити про ліцензування нашого контенту для комерційного використання, ласкаво просимо", – пише Кайл Вієнс.
В Умовах користування iFixit зазначено, що "відтворення, копіювання або розповсюдження" будь-якого контенту з вебсайту "суворо заборонено без попереднього письмового дозволу" компанії, зокрема і "навчання моделі машинного навчання або штучного інтелекту".
Anthropic у відповідь на це для 404media послалася на сторінку поширених запитань, де сказано, що її пошуковик можна заблокувати. Для цього потрібно використати файл robots.txt.
Кайл Вієнс підтвердив, що після того, як вони додали розширення crawl-delay до свого robots.txt будь-які візити ClaudeBot на ресурс припинилися.
До такого ж формату заборони вдається OpenAI. Але от, наприклад, Perplexity, яка розробляє Perplexity.ai, повністю ігнорує правила в robots.txt.