Anthropic додала нову функцію у моделі Claude Opus 4 та 4.1, яка дозволяє їм самостійно завершувати розмову з користувачем у "рідкісних, екстремальних випадках" тривалих шкідливих або образливих взаємодій.
Компанія пояснює, що це може стосуватися запитів, що містять сексуальний контент за участю неповнолітніх, або спроб отримати інформацію, яка може бути використана для масштабного насильства чи терактів. Завершення діалогу відбуватиметься лише після кількох безрезультатних спроб змінити тему та коли перспектив продуктивної взаємодії вже немає.
У таких випадках користувач не зможе надсилати нові повідомлення в цій розмові, але зможе одразу відкрити нову. Інші чати не постраждають, а попередні повідомлення можна буде відредагувати чи повторити, аби змінити напрямок розмови.
Функція стала частиною дослідницької програми Anthropic екологічного використання ШІ‑моделей. У компанії вважають, що можливість виходу з "потенційно тривожної взаємодії" є недорогим способом зниження ризиків. Наразі ця опція експериментальна, і користувачів закликають залишати відгуки у випадку її активації.
Нагадаємо, нещодавно Anthropic також додала до чатбота Claude функцію пам’яті, яка дозволяє згадувати та узагальнювати попередні розмови.