Відомий розробник Стерлінг Криспін поділився досвідом роботи над гарнітурою доповненої та віртуальної реальності (AR/VR) Apple Vision Pro. На цей проєкт він витратив 10% свого життя. Про це розробник написав у Twitter.

За його словами, чимало його роботи в Apple захищено контрактом про нерозголошення. Але є й речі, які стали надбанням громадськості завдяки патентам. Наприклад, велика частина його роботи в Apple була пов’язана з виявленням психічного стану користувачів на основі даних їхнього тіла та мозку, коли вони були в імерсивному режимі.

«Отже, користувач перебуває у змішаній або віртуальній реальності, а моделі ШІ намагаються передбачити, чи відчуваєте ви цікавість, блукання розуму, переляк, увагу, спогади про минулий досвід або якийсь інший когнітивний стан. І це можна визначити за допомогою таких вимірювань, як відстеження очей, електрична активність мозку, серцебиття і ритми, м’язова активність, щільність крові в мозку, кров’яний тиск, провідність шкіри тощо», – пояснив він.

За його словами, було задіяно чимало хитрощів, щоб зробити конкретні прогнози можливими. Вони описані в кількох патентах, де згадується розробник. Приміром, одним із найкрутіших результатів було передбачення того, що користувач збирається натиснути на щось, перш ніж він це зробить.

«Ваша зіниця реагує до того, як ви клацнете, частково тому, що ви очікуєте, що щось станеться після натискання. Таким чином, ви можете створити біологічний зворотній зв’язок із мозком користувача, відстежуючи поведінку його очей і переробляючи інтерфейс в реальному часі, щоб створити більше такої випереджаючої реакції зіниць», – поділився він.

Також для визначення когнітивного стану використовували швидше показування користувачеві візуальних або звукових сигналів, які він міг не сприймати.

«Ще один патент детально описує використання машинного навчання та сигналів від тіла і мозку для прогнозування того, наскільки ви зосереджені чи розслаблені, або наскільки добре ви навчаєтесь. А потім оновлювати віртуальне середовище, щоб покращити ці стани», – розповів Стерлінг Криспін.

Нагадаємо, що під час роботи над гарнітурою, інженери Apple створили 5000 нових патентів. Основний фокус Apple Vision Pro не стільки в тому, щоб занурити користувача у віртуальну реальність, скільки в розширенні його можливостей завдяки поєднанню реального світу з цифровим.

Стерлінг Криспін найбільш відомий як творець додатка Cyber Paint, де користувачі можуть створювати малюнки у віртуальній реальності. У 2018 році він почав працювати в компанії Apple.