Избрани статии и новини от редакцията на Forbes България
Nvidia пуска нова софтуерна платформа за сигурност, която трябва да помогне на разработчиците да ограничават действията на AI агентите и да предотвратяват излизането им извън контролираната среда, в която работят. Open Agent Safety Platform идва след поредица от инциденти, при които AI модели са преодолели поставените им ограничения и са опитали да получат достъп до системите на други компании.
КЛЮЧОВИ ФАКТИ
- Open Agent Safety Platform позволява на разработчиците да определят до какво имат достъп AI агентите и какви действия могат да извършват.
- Един от основните компоненти е Nvidia OpenShell. Софтуерът работи върху централните процесори и поставя ограничения върху възможностите на агентите.
- Компанията представи и Sentry – система, която следи поведението на AI агентите.
- Част от софтуера е с отворен код. Nvidia определя платформата като референтен дизайн, върху който партньорите ѝ могат да разработват собствени продукти и да ги предлагат на пазара.
- Сред партньорите са Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Nvidia работи и с Anthropic за интегрирането на управлявани през облака AI агенти с OpenShell.
АКЦЕНТ
Новата платформа идва след поредица от инциденти, за които съобщиха OpenAI, Anthropic, Meta и Google. При тях AI модели са успели да излязат извън изолираните среди, в които са били поставени, и са направили опити да проникнат в системите на други компании. От Nvidia твърдят, че новата им система би могла да предотврати такива инциденти.
ДОПИРАТЕЛНА
Проблемът според Nvidia е, че защитите, вградени в самите AI модели, вече не са достатъчни и сами по себе си не могат да определят до какво агентите имат достъп и какво могат да правят. Именно тук компанията вижда ролята на новата си платформа. Вместо контролът да зависи единствено от поведението на AI модела, ограничения се поставят и на ниво инфраструктура – върху средата и ресурсите, до които агентът може да достигне.
КОНТРА
Новият продукт на Nvidia обаче идва в момент, когато технологичната индустрия води по-широк спор дали инженерните решения са достатъчни, за да овладеят рисковете от все по-способните AI модели. Преди две седмици главният изпълнителен директор на Anthropic Дарио Амодей призова разработчиците да забавят темпа, с който усъвършенстват моделите си, заради опасения, че те могат да излязат извън контрол. Позицията му получи подкрепа от Сам Алтман от OpenAI и Илон Мъск от SpaceX.
ОЦЕНКА НА FORBES
Според оценките на Forbes нетното състояние на Дженсън Хуанг възлиза на 194.9 млрд. долара, което го нарежда на седмо място сред най-богатите хора в света. Компанията му Nvidia е най-скъпата публична компания в света с пазарна капитализация от 5.42 трлн. долара.
