ШІ-інструменти для перевірки студентських робіт все частіше неправильно оцінюють роботи та помилково визначають їх як плагіат. Студенти отримують незадовільні оцінки та випробувальні терміни, навіть якщо, вони доводять, що робота була написана без ШІ. Про це пише Bloomberg.

З цією проблемою зіткнулась студентка онлайн курсів Центрального методистського університету в США Мойра Олмстед. Щотижня студенти мають відправляти свої конспекти прочитаного для перевірки. Олмстед розповідає, що її конспект отримав 0 балів через те, що ШІ-інструмент для перевірки вказав, що її робота згенерована штучним інтелектом.

Олмстед оскаржила звинувачення своєму вчителю та студентському координатору, наголосивши, що вона має розлад аутистичного спектра і пише шаблонно, що може бути помилково сприйнято як згенероване штучним інтелектом.

Зрештою її робота була переглянута та отримала задовільну оцінку, але студентка все одно отримала попередження, що наступного разу, якщо софт визначить її роботу як плагіат, то повторного перегляду не буде.

Через “бум” технологій штучного інтелекту закладам освіти доводиться наздоганяти прогрес та адаптуватися до нових реалій. Згідно з опитуванням понад 450 викладачів, опублікованим у березні Центром демократії та технологій, близько двох третин вчителів повідомили, що регулярно користуються програмами для перевірки знань зі штучним інтелектом.

Найкращі детектори написання ШІ мають високу точність, але вони не є безвідмовними. Bloomberg протестували два провідні сервіси — GPTZero і Copyleaks — на випадковій вибірці з 500 есе для вступу до коледжу, поданих до Техаського університету A&M влітку 2022 року, незадовго до виходу ChatGPT, фактично гарантуючи, що вони не були створені штучним інтелектом.

Есе були отримані за допомогою запиту на публічні записи, а це означає, що вони не були частиною наборів даних, на яких навчаються інструменти штучного інтелекту. Сервіси помилково позначили 2% есе як такі, що, ймовірно, написані штучним інтелектом.

На думку студентів, науковців та розробників ШІ, звинувачення в плагіаті більше ризикують отримати нейровідмінні студенти та люди, для яких англійська є другою мовою.

Дослідження 2023 року, проведене дослідниками Стенфордського університету, показало, що детектори ШІ були “майже ідеальними” при перевірці есе, написаних учнями восьмого класу, які народилися в США, проте вони позначили більш ніж половину есе, написаних учнями, для яких англійська мова не є рідною, як згенеровані ШІ.

Turnitin, популярний інструмент виявлення ШІ, який, за словами Олмстед, використовувався для перевірки її роботи, має 4% помилкових спрацьовувань при аналізі.

Також нагадаємо, що студентку Університету Північної Джорджії позбавили стипендії через використання сервісу для перевірки орфографії Grammarly.