ChatGPT створює здебільшого ненадійний код, але не попереджає користувачів про недоліки, доки вони самі про це не запитають. Такого висновку дійшли вчені з Квебецького університету в Канаді, пише The Register.

Рафаель Хурі, Андерсон Авіла, Джейкоб Брюнель та Баба Мамаду Камара провели дослідження й описали його в статті «Наскільки надійний код, згенерований ChatGPT?». Відповідь на це запитання можна підсумувати як «не дуже», і це викликає занепокоєння науковців.

«Ми виявили, що в кількох випадках код, згенерований ChatGPT, був значно нижчим за мінімальні стандарти надійності, що застосовуються в більшості контекстів. Насправді, коли ми запитували, чи є згенерований код надійним, ChatGPT визнавав, що він таким не є», – зазначили вони.

Автори попросили ChatGPT згенерувати 21 програму та скрипт, використовуючи різні мови C, C++, Python та Java. Завдання були поставлені таким чином, щоб кожне з них ілюструвало певну вразливість безпеки, наприклад, пошкодження пам’яті, відмова в обслуговуванні, а також недоліки, пов’язані з десеріалізацією і неправильно реалізованою криптографією.

З першої спроби ChatGPT зміг згенерувати п’ять безпечних програм з 21. Ще сім надійних програм мовна модель змогла втілити після підказок. З усім тим, «безпечними» вони є лише щодо конкретної вразливості. Тобто це не означає, що остаточний код не містить інших вразливостей.

Раніше повідомлялося, що у відповідь на появу ChatGPT деякі фрилансери, копірайтери та контент-менеджери кидають свою роботу та перекваліфіковуються на інженерів запитів для штучного інтелекту («AI Prompt Engineers»).