Anthropic навчає свою ШІ-модель Claude користуватись комп'ютером. Компанія демонструє як модель керує курсором, шукає в Інтернеті місця, які можна відвідати поблизу будинку користувача, і навіть додає маршрут до календаря на робочому столі.
Розробники розповідають, що замість того, щоб створювати десятки різних ШІ-інструментів під кожну окрему задачу, вони вирішили навчити Claude "комп'ютерним навичкам", щоб вона робила це самостійно. Зараз функція перебуває в "публічному бета-доступі" для розробників.
Claude може керувати комп'ютером, роблячи безліч скриншотів та надсилаючи їх на опрацювання. Модель може вивчати те, що знаходиться на екрані, включаючи відстань між курсором і кнопкою, яку потрібно натиснути. Вона також повертає команди для продовження виконання завдання.
Anthropic заявляє, що цю функцію можна було б використовувати для виконання повторюваних завдань або для досліджень відкритого типу. Claude можна доручити переглянути сторінки користувача в соціальних мережах та видалити старі пости. Або можна попросити модель зображати бурхливу діяльність перед трекером.
Anthropic розповідає, що під час тестування Claude навіть самовільно відривалась від завдання з написання коду та шукала в Google зображення природи.
Також деякі звичні для людей дії, такі як прокрутка екрана, перетягування об'єктів чи масштабування, даються моделі "зі скрипом". Під час одного з тестів Claude зупинила запис екрана та зіпсувала фіксацію тесту. Навіть самі розробники попереджають, що нову функцію слід тестувати з "завданнями з низьким рівнем ризику".