Постачальник програмного забезпечення для виявлення академічного плагіату Turnitin продемонстрував інструмент штучного інтелекту, з яким заявляє про 98% точність у виявленні машинного тексту. Однак перші тести, проведені Washington Post, показали, що його ефективність була недостатньою.

Хоча Turnitin добре розпізнавав текст, створений штучним інтелектом, коли весь вхідний текст був створений за допомогою ChatGPT, він погано справлявся з реченнями, які були спільно написані людиною та машиною. Крім того, інструмент неправильно позначив частини есе, написані студентом, як створені ШІ.

Нові способи для визначення тексту штучним інтелектом стають все важливішими, адже викладачі стикаються з новою проблемою, коли студенти використовують чат-ботів, таких як ChatGPT, для написання есе та виконання домашніх завдань.

Директор з продуктів Turnitin Енні Чечітеллі повідомила, що «технологія Turnitin має високу точність і низький рівень помилкових спрацьовувань при виявленні тексту, згенерованого штучним інтелектом, в учнівських письмових роботах». Однак незрозуміло, як компанія перевіряла точність свого програмного забезпечення, а також як воно виявляє текст, згенерований різними мовними моделями.

Turnitin критикують за те, що компанія не надає клієнтам прозорої інформації про те, як працюють її інструменти. За даними Financial Times, деякі провідні університети Russell Group у Великій Британії, зокрема Кембридзький університет, відмовилися від використання розпізнавання написаних ШІ текстів інструментом Turnitin.

Визначити, чи був уривок тексту створений штучним інтелектом, досить складно. Навіть компанія OpenAI, яка розробила ChatGPT, попередила, що її інструмент може правильно ідентифікувати текст як написаний ШІ лише у 26% випадків. Група комп’ютерних вчених з Університету Меріленда нещодавно опублікувала дослідження, яке показало, що інструменти виявлення можна легко обійти.

Програмне забезпечення для виявлення ШІ Turnitin поки є безплатним для використання. Генеральний директор Кріс Карен заявив, що «освітяни сказали нам, що можливість точного виявлення тексту, написаного штучним інтелектом, є їхнім першочерговим завданням зараз. Вони повинні мати можливість виявляти ШІ з дуже високою ймовірністю, щоб оцінити автентичність роботи студента і визначити, як найкраще з ним взаємодіяти».