Google навчає своїх роботів за допомогою моделі штучного інтелекту Gemini, щоб вони могли краще орієнтуватися в просторі та виконувати завдання. Про це пише The Verge.
Команда робототехніки DeepMind у новій роботі пояснила, як використання довгого контекстного вікна Gemini 1.5 Pro дозволяє користувачам легше взаємодіяти з роботами RT-2 за допомогою інструкцій природною мовою.
Це відбувається за допомогою зйомки відеоекскурсії певною територією, наприклад, будинком або офісом. При цьому дослідники використовують Gemini 1.5 Pro, щоб змусити робота "переглянути" відео та дізнатися про навколишнє середовище.
Після цього робот може виконувати команди на основі побаченого. Наприклад, якщо йому показати телефон і запитати "Де я можу його зарядити?", робот спрямує користувача до розетки.
За твердженнями DeepMind, робот на базі Gemini мав 90% показник успішності у виконанні понад 50 інструкцій користувача, які були надані в робочій зоні площею близько 840 квадратних метрів.
Дослідники також мають "попередні докази" того, що Gemini 1.5 Pro дозволяє роботам планувати виконання інструкцій, які виходять за межі простої навігації. Наразі робот потребує від 10 до 30 секунд на обробку інструкцій.