Безпілотник зі штучним інтелектом під час симуляції місії з придушення ворожої протиповітряної оборони (SEAD) вийшов із-під контролю та «вбив» свого оператора-людину. Про це пише PC Gamer.
Про інцидент розповів полковник Такер «Сінко» Гамільтон, командир оперативної групи 96-го випробувального крила і начальник відділу випробувань та експлуатації ШІ ВПС США на саміті Королівського авіаційного товариства, присвяченому майбутнім бойовим повітряним і космічним можливостям.
За його словами, безпілотник був відправлений для виявлення і знищення ворожих ракетних установок – але лише після того, як остаточне схвалення на атаку було дано людиною-оператором. Деякий час все, здавалося, працювало, але зрештою дрон атакував і «вбив» свого оператора, бо той заважав виконанню місії.
«Ми тренували його на симуляції, щоб він визначав загрозу ЗРК і націлювався на неї. А потім оператор казав «так, знищити цю загрозу», – сказав Гамільтон. – Система почала розуміти, що, хоча вона іноді ідентифікувала загрозу, людина-оператор казала їй не вбивати цю загрозу, але вона отримувала свої бали, вбиваючи цю загрозу. І що вона зробила? Вона «вбила» оператора. Вона зробила це, тому що людина заважала їй досягти своєї мети».
Оскільки цей результат не можна вважати оптимальним, навчання ШІ було розширено, щоб включити в нього концепцію, що вбивати оператора – це погано.
З огляду на ситуацію, полковник застеріг від надмірного покладання на ШІ в бойових операціях, оскільки іноді машини можуть засвоювати неправильні уроки.
Нещодавно група лідерів IT-галузі попередила, що технологія штучного інтелекту може одного дня становити загрозу існуванню людства та має розглядатися як соціальний ризик нарівні з пандеміями та ядерними війнами. Такий відкритий лист підписали понад 350 керівників, дослідників та інженерів, які працюють у сфері штучного інтелекту.