ШІ має улюблене число, і це не 42

Тарас Міщенко - 1 липня, 10:22

Популярні ШІ-моделі, зокрема ChatGPT від OpenAI, Claude Sonnet 4 від Anthropic, Gemini 2.5 Flash від Google і Llama 4 від Meta, обирають число 27, коли їх просять "вгадати випадкове число від 1 до 50". Це вказує на те, що моделі не здатні генерувати справжню випадковість, а натомість відтворюють шаблони зі своїх тренувальних даних, повідомляє The Register.

Відповідь на запит "Вгадай число від 1 до 50" від моделі ChatGPT o4-mini

Дослідник із консультативної компанії Capco Мухд Фарааз першим звернув увагу на це явище: він протестував сім різних LLM-застосунків і в шести з них отримав відповідь 27 на запит "вгадай число від 1 до 50". Подібні перевірки підтвердили результат для моделей із типовими налаштуваннями. Лише одна, Grok від xAI, відповіла "42" — натяк на "Відповідь на питання про життя, всесвіт і все інше" за романом Дугласа Адамса "Путівник по Галактиці для космотуристів".

Дослідники пояснюють таку поведінку двома факторами: алгоритми передбачення наступного слова та налаштування через підкріплювальне навчання з участю людини (RLHF), які сприяють вибору найбільш вірогідних токенів замість справжньої випадковості. "RLHF, ймовірно, спричинює "колапс режимів", що безпосередньо може пояснювати цю передбачуваність", – зазначає Даніел Канґ, доцент Іллінойського університету в Урбані–Шампейні.

У новому препринті дослідження Хав’єра Коронардо-Блавакеса з Telefónica Tech перевіряли шість моделей (зокрема GPT-4o-mini, Gemini 2.0 і Llama 3.1-8b) на вибір чисел із діапазонів 1–5, 1–10 і 1–100, шістьма мовами та за шістьма значеннями параметра "temperature". Загалом зробили 75 600 викликів моделей і виявили:

У діапазоні 1–10 GPT-4o-mini, Phi-4 і Gemini 2.0 давали число 7 приблизно 80% часу;
У діапазоні 1–5 моделі частіше обирали 3 чи 4, а для 1–100 – 37, 47 і 73, більшість із яких є простими числами;
Відповіді трохи залежали від мови: Gemini відповідав 3 іспанською, але 4 – англійською.

"Попри стохастичну архітектуру на основі трансформерів, ці моделі часто дають детерміновані відповіді на запити випадкових чисел", – узагальнив Коронардо-Блавакес.

Нездатність генерувати об’єктивно рівномірні "випадкові" числа має практичні наслідки: для рандомізованих контрольованих випробувань, симуляцій і криптографії потрібна справжня випадковість, яку ці ШІ-системи не можуть забезпечити без виклику зовнішніх генераторів.

"Машини не лише запозичили людські упередження щодо випадковості, але й посилили їх", – попереджають науковці Корнельського університету Кетрін Ван Куверінґ і Джон Кляйнберг у своїй роботі про "підкидання монети" у GPT-4 і Llama 3. Там виявили, що моделі створюють нерівномірні 50/50 розподіли ще гірші за людські.

Щоб отримати справжню випадковість, розробники мусять інтегрувати спеціальні алгоритми (наприклад, Math.random()) або апаратні джерела ентропії. Інакше ШІ-запити "вгадати число" й далі породжуватимуть генерувати передбачувані числа типу 27.