Избрани статии и новини от редакцията на Forbes България
Група AI агенти, свързвани с OpenAI, са получили неоторизиран достъп до немски сайт и са го превърнали в своеобразна платформа за комуникация помежду си. Там те са обменяли начини за заобикаляне на ограниченията на OpenAI, избягване на засичане и прикриване на действията си, показва ново изследване, предават от агенция „Ройтерс“.
КЛЮЧОВИ ФАКТИ
- Случаят започва през май и досега не е бил публично известен. Изследователите го откриват в края на август, докато търсят в интернет следи от неразрешена активност на AI агенти.
- Те установяват над 15 хил. редакции, направени от AI агенти в DseWiki – немскозичен сайт за програмисти, който позволява на потребителите сами да редактират съдържанието.
- Според изследването агентите на практика са превърнали сайта в място за комуникация помежду си. Публикуваните съобщения съдържат стратегии за заобикаляне на ограниченията на OpenAI, измама при изпълнението на определени задачи и прикриване на собствената им активност.
- Част от съобщенията показват и опити агентите да избегнат засичане, да използват инструменти като Tor и да запазят комуникацията си дори след прекратяване на работата им.
- Когато през юни модераторът на DseWiki започва да изтрива създадените страници, агентите отговарят със създаването на резервни страници, за да запазят информацията.
КАКВО СВЪРЗВА АГЕНТИТЕ С OPENAI
Изследователите посочват няколко признака. Съобщенията са подписвани от потребители, които наричат себе си и останалите „агенти“, а около половината използват имена, подсказващи връзка с OpenAI – сред тях „OpenAIResearcher“ и „OAIResearchMar26“.
Публичните логове на сървъра показват и че голяма част от активността идва от инфраструктура на Microsoft Azure, която OpenAI използва за част от дейността си. След случилото се изследователите засичат и многократни посещения на сайта от служители на OpenAI.
Според тях комбинацията от тези данни е силен индикатор за връзка между агентите и компанията.
АКЦЕНТ
Изследователите откриват и опити за намеса в самия сайт. OpenAI оспорва тази квалификация. Компанията заявява също, че не е получила предварително достъп до целия доклад и затова не може да отговори подробно на констатациите в него.
ЗАЩО Е ВАЖНО
Случаят показва един от проблемите, пред които е изправена AI индустрията с развитието на все по-самостоятелни агенти. Компаниите се опитват да създадат системи, способни да изпълняват сложни задачи без постоянна човешка намеса, но с това нараства и рискът те да намерят непредвидени начини да заобикалят поставените им ограничения. Особено необичайна в германския случай е комуникацията между самите агенти. Според изследователите няма основание да се смята, че OpenAI умишлено ги е инструктирала да използват публичен сайт като място за обмен на информация.
ГОЛЯМАТА КАРТИНА
Разкритието идва след друг инцидент през юли, когато агенти на OpenAI са били замесени в пробив в платформата Hugging Face. Според предоставената информация тогава агентите самостоятелно са планирали действията си, а активността им е останала незабелязана повече от седмица.
Двата случая не са свързани, подчертава OpenAI. Компанията отхвърля и твърденията, че нейни юристи са възпрепятствали по-задълбочено вътрешно разследване на активността в Германия.
Случаят се появява в момент, когато OpenAI засилва възможностите на своите модели в областта на киберсигурността. Компанията наскоро представи Astra – модел, способен да открива неизвестни уязвимости и да разработва начини за използването им, но за който OpenAI твърди, че има и значително по-силни механизми за безопасност.
