OpenAI оновлює систему оцінки ризиків для ШІ

OpenAI оновила свою систему оцінки ризиків для нових моделей ШІ, додавши категорії для виявлення можливості самовідтворення або приховування можливостей моделей. Про це пише Axios.

Одна з основних змін — це скасування окремої оцінки моделей за їхніми переконливими можливостями, які нещодавно досягли "середнього" рівня ризику. Тепер OpenAI зосередиться тільки на визначенні, чи є ризики "високими" або "критичними".

Компанія також додала нові категорії для досліджень, зокрема можливість моделей приховувати свої здатності, уникати заходів безпеки або намагатися самовідтворюватися чи запобігати вимкненню. Це відповідає загальній тенденції в галузі, де все більше уваги приділяється тому, як моделі можуть поводитися по-різному в реальних умовах порівняно з тестами.

"Ми на порозі систем, які можуть створювати нові наукові досягнення і представляти серйозний ризик", — зазначає OpenAI.

Це оновлення є першим з грудня 2023 року і підкреслює зростаючу важливість запобігання катастрофічним ризикам у розвитку штучного інтелекту.