Три провідні компанії у сфері штучного інтелекту – OpenAI, Google та Anthropic, – мають труднощі з розробкою нових великих мовних моделей. Найбільша проблема полягає у тому, щоб створити модель, яка відчутно перевершить попередню. Про це повідомляє Bloomberg, посилаючись на анонімні джерела всередині компаній.

OpenAI у вересні 2024 року закінчила тренування нової моделі відомої як Orion, проте фінальний результат видався не надто втішним. Модель не змогла відчутно покращити результати у порівнянні з попередніми. Станом на кінець літа Orion не змогла давати відповіді на питання про кодування на яких її не тренували.

Загалом стрибок від GPT-4 до Orion виявився куди меншим, ніж від GPT-3,5 до GPT-4. Попри попередні заяви, одна з осіб наближених до розробки каже, що модель навряд випустять раніше ніж наступного року.

Такі ж проблеми виникають у Google та Anthropic, двох інших лідерів у галузі ШІ. Нова версія Gemini від Google не виправдовує внутрішні очікування компанії. Anhtropic, своєю чергою, відклала реліз довгоочікуваної моделі Claude під назвою 3.5 Opus.

Основні проблеми з розвитком як Orion, так й інших моделей, полягають у пошуку інформації для їх тренування. Якщо для перших версій було цілком достатньо статей на Вікіпедії чи відео на YouTube, то потужніші моделі вимагають більше наукових даних, які набагато важче дістати.

Похідною від попередньої проблеми є проблема грошей. Розробка, тренування та підтримка нових моделей вимагає більших ресурсів й постійно вимагає більшого фінансування. Разом з тим не можливість показати кращі результати має негативний вплив на потенційні інвестиції у майбутньому.

Попри такі труднощі, OpenAI, Google, Anthropic та інші продовжують розвивати свої великі мовні моделі у спробі створити загальний ШІ, який потенційно повинен зрівнятися з потужністю людського мозку. Компанії знаходять нові способи покращення ШІ, як-от постнавчання: перед випуском моделі вони додають відгуки користувачів для покращення відповідей і тону. Однак цього також поки що недостатньо.