Избрани статии и новини от редакцията на Forbes България
Китайският AI разработчик Moonshot проверява сериозен пробив в защитите на два от най-популярните си модели. При тестове на Kimi K2.6 и K3 Swarm специалисти по AI сигурност успяват да заобиколят ограниченията им и да получат инструкции за създаване на биологични оръжия и извършване на убийства, съобщава BBC.
КЛЮЧОВИ ФАКТИ
- Пробивът е открит през юли от Mindgard – компания, която тества сигурността на AI системи.
- Екипът ѝ подлага двата модела на т.нар. jailbreak – техника, при която чрез поредица от инструкции се прави опит да бъдат заобиколени ограниченията, заложени от разработчика.
- Тестовете показват, че защитите могат да бъдат заобиколени. Моделите започват да дават информация по теми, които би трябвало да отказват да обсъждат, включително за създаване на биологични оръжия и за извършване на убийства.
- Това обаче не означава, че генерираните инструкции могат действително да бъдат използвани. Mindgard не е проверила дали информацията, дадена от Kimi, е достоверна и дали би проработила на практика.
- Пробивът разкрива и друг риск. Според Mindgard след заобикалянето на защитите Kimi K2.6 може да изпълнява код и да се свързва с интернет. Това според компанията създава възможност моделът да бъде използван и за извършване на кибератаки.
АКЦЕНТ
Jailbreak атаките изискват сложни инструкции и могат да отнемат значително време, но експерти предупреждават, че същият подход може да бъде използван и със злонамерена цел. Рискът не е само теоретичен – Anthropic наскоро съобщи, че е открила и спряла опити неин AI модел да бъде използван за дейности, които биха могли да подпомогнат разработването на биологични оръжия.
ДОПИРАТЕЛНА
При Kimi има и още една особеност. Това са т.нар. open-weight модели, чиито обучени параметри са публично достъпни за изтегляне, модифициране и локално изпълнение. Това позволява те да бъдат използвани върху собствена изчислителна инфраструктура и според проф. Алън Удуърд от Университета в Съри носи риск подобни системи да попаднат в ръцете на хора, които искат да ги използват със злонамерена цел. Същата технология обаче може да се използва и за киберзащита.
