Дослідники з Університету Пердью у США виявили, що 52% всіх відповідей ChatGPT у сфері програмування є неправильними. Про це повідомляє TechRadar.
Дослідники проаналізували 517 запитань зі Stack Overflow. Їх поставили безплатній версії ChatGPT 3.5 та порівняли відповіді з тими, які дають люди.
Експерти перевірили помилки штучного інтелекту та виявили, що 54% із них трапилися через те, що ChatGPT неправильно зрозумів контекст. 36% відповідей мали фактичні неточності, 28% – логічні помилки. Ще 12% відповідей містили термінологічні помилки.
У деяких відповідях ChatGPT допускав декілька помилок, наприклад, відповідь містила логічну помилку (28%) через неправильно сприйнятий контекст (54%).
Дослідники також критикують ChatGPT за надмірно довгі та складні відповіді, які містять більше деталей, ніж потрібно. Це призводить до потенційної плутанини та відволікання уваги. Однак, за результатами опитування 12 програмістів, третина з них віддали перевагу чітким і схожим на підручник відповідям ChatGPT.
"Оскільки ChatGPT дає велику кількість неправильних відповідей, наші результати підкреслюють необхідність обережності та обізнаності щодо використання відповідей ChatGPT у завданнях програмування", – підсумовують автори дослідження.