Cloudflare представила систему, що допоможе власникам великих інтернет-видань, творців контенту та власників вебсайтів вимагати платню за надання пошуковим роботам, які сканують інтернет для навчання ШІ, доступу до своїх даних.
Компанія, яка надає послуги з доставки контенту, кібербезпеки, запобігання DDoS-атакам та послуги глобальної мережі, хоче дати творцям контенту можливість вирішувати, хто і яким чином може отримати доступ до їх даних. Саме для цього у беті запускають систему pay per crawl (оплата за сканування)
"Вони [власники контенту] хотіли б дозволити пошуковим роботам зі штучним інтелектом доступ до свого контенту, але хотіли б отримувати компенсацію. Наразі це вимагає знайомства з потрібною людиною та укладання разової угоди, що є нездоланним викликом, якщо у вас немає масштабу та важелів впливу", – йдеться в заяві Cloudflare.
Система pay per crawl інтегрується з вже наявними вебінфраструктурами, використовуючи коди стану HTTP та встановлені механізми автентифікації для створення основи для доступу до платного контенту. Кожного разу, коли пошуковий робот робитиме запит на доступ до вмісту, вони отримають пропозицію заплатити з заголовком запиту для успішного доступу (код відповіді HTTP 200), або відповідь 402 "Потрібна оплата" з ціною.
Ця система надасть власникам повний контроль над своєю стратегією монетизації. Вони зможуть встановити фіксовану ціну за запит для всього свого сайту, або ж отримають три інших варіанти:
- Allow: Надати безплатний доступ до контенту.
- Charge: Вимагати оплати за налаштованою ціною для всього домену.
- Block: Повністю заборонити доступ без можливості оплати.