Дослідники зі Стенфордського університету та Каліфорнійського університету в Берклі опублікували наукову статтю, яка має на меті показати зміни в результатах роботи GPT-4 із плином часу. Про це пише Ars Technica.
Йдеться про дослідження під назвою «Як змінюється поведінка ChatGPT із часом?». Його автори ставлять під сумнів стабільну роботу великих мовних моделей (LLM) OpenAI, зокрема GPT-3.5 і GPT-4.
Використовуючи доступ до API, вони протестували березневу та червневу версії цих моделей на таких завданнях, як розв'язання математичних задач, відповіді на делікатні питання, генерація коду та візуальні міркування.
Здатність GPT-4 ідентифікувати прості числа різко впала з точності 97,6% в березні до лише 2,4% в червні. Примітно, що GPT-3.5 показав кращі результати за той самий період.
Однак OpenAI заперечує будь-які заяви про зменшення можливостей GPT-4. Тут запевнили, що роблять кожну нову версію розумнішою за попередню.
Деяких експертів результати дослідження не переконали. Приміром, професор комп'ютерних наук із Прінстонського університету Арвінд Нараянан вважає, що результати дослідження не є остаточним доказом зниження продуктивності GPT-4 і потенційно можуть бути пов'язані з налаштуваннями OpenAI.
Дослідник ШІ Саймон Віллісон також ставить під сумнів висновки статті. Він вважає, що будь-які зміни в можливостях GPT-4 пов'язані з тим, що новизна LLM зникає. Коли технологія стала більш приземленою, її недоліки здаються кричущими.
«Коли з'явився GPT-4, ми все ще перебували в місці, де все, що могли зробити LLM, здавалося дивовижним, – сказав він. – Зараз це минуло, й люди намагаються виконувати з ними реальну роботу, тому їхні недоліки стають більш очевидними, через що вони здаються менш здібними, ніж здавалися спочатку».
В OpenAI знають про нове дослідження і кажуть, що стежать за повідомленнями про зниження можливостей GPT-4.
«Команда знає про повідомлення про регрес і вивчає його», – зауважив керівник відділу зв'язків із розробниками OpenAI Логан Кілпатрік.
Нагадаємо, що OpenAI формує нову команду на чолі з головним науковим співробітником і одним зі співзасновників компанії Іллею Суцкевером для розробки способів управління та контролю «надрозумних» ШІ-систем. За прогнозами Суцкевера та керівника групи контролю компанії Яна Лейке, ШІ з інтелектом, що перевищує людський, може з’явитися протягом десятиліття.