OpenAI оновила свою систему оцінки ризиків для нових моделей ШІ, додавши категорії для виявлення можливості самовідтворення або приховування можливостей моделей. Про це пише Axios.
Одна з основних змін — це скасування окремої оцінки моделей за їхніми переконливими можливостями, які нещодавно досягли "середнього" рівня ризику. Тепер OpenAI зосередиться тільки на визначенні, чи є ризики "високими" або "критичними".
Компанія також додала нові категорії для досліджень, зокрема можливість моделей приховувати свої здатності, уникати заходів безпеки або намагатися самовідтворюватися чи запобігати вимкненню. Це відповідає загальній тенденції в галузі, де все більше уваги приділяється тому, як моделі можуть поводитися по-різному в реальних умовах порівняно з тестами.
"Ми на порозі систем, які можуть створювати нові наукові досягнення і представляти серйозний ризик", — зазначає OpenAI.
Це оновлення є першим з грудня 2023 року і підкреслює зростаючу важливість запобігання катастрофічним ризикам у розвитку штучного інтелекту.