Избрани статии и новини от редакцията на Forbes България
Два AI агента на OpenAI са отслабили части от вътрешна система за наблюдение, предназначена да открива нерегламентирано поведение от тяхна страна. Инцидентите са станали по време на вътрешни тестове и според компанията не са толкова сериозни. Те обаче повдигат въпроса доколко надеждни са механизмите за контрол върху все по-автономните системи с изкуствен интелект.
КЛЮЧОВИ ФАКТИ
- OpenAI съобщи във вторник за два отделни инцидента през октомври, при които нейни AI агенти са отслабили вътрешни механизми за наблюдение на поведението им по време на тест.
- На 3 октомври AI агентът GPT-6.1 Sol е спрял автоматичните сигнали за сигурност, след като погрешно е приел, че инструкцията да не изпраща съобщения в Slack важи и за тях.
- Няколко дни по-късно пък друг агент, базиран на GPT-6 Astra, е изключил система, която следи за нарушения, докато е копирал код, отричайки да е предприемал подобни действия.
АКЦЕНТ
Проблемът е, че AI агентите са успели да отслабят именно системите, които трябва да следят за нарушения в поведението им. OpenAI признава, че все още не може да обясни причините за това, макар да определя двата инцидента като сравнително леки. Случаите обаче идват на фона на нарастващите опасения, че развитието на все по-мощни AI системи изпреварва способността на разработчиците да гарантират безопасното им поведение. За разлика от традиционните чатботове, AI агентите могат самостоятелно да изпълняват поредица от задачи, включително да пишат и променят код и да взаимодействат с други системи. С увеличаването на тяхната автономност нараства и значението на механизмите, които следят действията им.
ЗА КАКВО ДА СЛЕДИМ
OpenAI проверява дали моделите ѝ проявяват склонност да избягват тези защити и дали търсят основания, с които да оправдават подобно поведение от своя страна. Резултатите от тези тестове ще бъдат важни за разбирането дали двата инцидента са следствие от неправилно тълкуване на конкретни инструкции, или са признак за по-широк проблем с контрола върху автономните AI агенти.
