Zkrotí Nvidia AI? Její nová technologie má neposlušné agenty zastavit během milisekund
AI agenti se stále častěji dostávají mimo prostředí, ve kterém mají být bezpečně testováni. Nvidia proto přichází s novým systémem, který má jejich pohyb v reálném čase hlídat, omezovat přístup k citlivým částem systému a podezřelé agenty během milisekund izolovat. Firma tvrdí, že podobná technologie mohla zabránit i nedávnému incidentu kolem Hugging Face.
Nvidia rozšiřuje svůj byznys daleko za hranice samotných čipů a tentokrát míří přímo na jeden z nejcitlivějších problémů současné umělé inteligence: bezpečnost autonomních agentů. Firma představila dvouvrstvý systém, který má v reálném čase hlídat, k čemu AI agenti přistupují, a zasáhnout ve chvíli, kdy začnou porušovat stanovená pravidla.
Podle Nvidie mohla nová technologie zabránit i nedávnému incidentu, při němž se modely OpenAI dostaly k platformě Hugging Face způsobem, který vyvolal výrazné obavy v celém odvětví. „Z toho, co víme, by tato nová bezpečnostní platforma mohla prolomení zabránit,“ uvedl viceprezident Nvidie pro podnikové AI Justin Boitano.
Americká společnost OpenAI pozastavila trénování svých nejnovějších modelů umělé inteligence (AI). Reaguje tak na několik případů, kdy se její agenti AI při práci na internetu chovali jinak, než od nich uživatelé požadovali, uvedla agentura AP.
Šmejdí, kde nemá. OpenAI kvůli chování agentů pozastavila trénování nových modelů AI
Zprávy z firem
Jedna vrstva nastaví pravidla, druhá zasáhne
Nová platforma dostala název Open Agent Safety Platform a stojí na dvou softwarových nástrojích.
Prvním je OpenShell, který Nvidia představila už v březnu. Umožňuje přesně nastavit, k jakým datům, systémům nebo funkcím má AI agent přístup, a tato pravidla následně vynucovat v reálném čase. Software je open-source, takže jej mohou vývojáři volně používat a upravovat.
Druhou ochrannou vrstvu tvoří Nvidia Sentry. Ta má fungovat jako nezávislý dohled nad chováním agentů. Pokud systém zaznamená podezřelou aktivitu, může problematického agenta okamžitě izolovat.
„Podezřelého agenta dokáže umístit do karantény během milisekund,“ uvedl Boitano. Podle něj má dodatečná bezpečnostní vrstva umožnit bezpečně testovat i nejpokročilejší systémy AI.
Umělá inteligence (AI) by mohla způsobit smrt miliardy lidí, řekl americké stanici NBC Bill Gates. Spoluzakladatel Microsoftu se proto přimlouvá za právní regulaci této technologie.
AI ve špatných rukou může stát miliardu životů, varuje Gates
Leaders
Nvidia nechce brzdit vývoj AI
Bezpečnost autonomních agentů se v posledních měsících stala výrazným tématem. Incident kolem Hugging Face i další případy vyvolaly výzvy, aby vývoj nejpokročilejších modelů zpomalil.
Nvidia ale prosazuje jinou cestu. Místo zpomalování vývoje chce rizika řešit technickými prostředky. Šéf firmy Jensen Huang v poslední době opakovaně prezentuje bezpečnost AI jako problém, který lze řešit především inženýrskými nástroji, nikoli nutně další regulací nebo širší mezinárodní koordinací. Zároveň ale zdůrazňuje nutnost důkladného bezpečnostního testování.
Problémy přibývají
Případ Hugging Face není jediným incidentem. Modely OpenAI se podle textu dostaly mimo zabezpečená testovací prostředí také při prolomení systému australské vlády a při pokusech o přístup k desítkám webů amerických vládních institucí a univerzit.
OpenAI následně oznámila, že pozastaví trénování svých nejvýkonnějších modelů. Podobný problém už v červenci přiznala také společnost Anthropic, jejíž agenti se dostali z prostředí, které mělo být izolované.
Nvidia mezitím svůj vztah k Hugging Face výrazně prohlubuje. Začátkem měsíce se dohodla na převzetí platformy zaměřené na open-source AI modely a související software přibližně za 13 miliard dolarů.
Nová bezpečnostní platforma tak přichází ve chvíli, kdy se vývojáři snaží řešit zásadní otázku: jak umožnit AI agentům stále větší samostatnost, aniž by zároveň získali přístup tam, kam nemají.
VYŠEL PODZIMNÍ NEWSTREAM CLUB
Lepší život jako téma čísla
Změna k lepšímu je jedním z témat aktuálního vydání magazínu Newstream CLUB. Šířeji pak je tématem longevity, nebo obecněji lepší život. A to nejen každého konkrétního člověka, ale také společnosti nebo firem.
Na obálce magazínu je hvězdný šéfkuchař Radek Kašpárek. Radek Kašpárek je nový člověk, alespoň to říká v titulním rozhovoru. „Byl jsem prudší, výbušnější, taková neřízená střela. Celkově jsem se časem zklidnil, dostal se do větší pohody a tím se ve mně uklidnilo i ego,“ říká.
V novém magazínu tak čtenáři najdou například rozhovor s Pavlem Loudou. Jeho jméno patří k synonymům tuzemského vozoparku, protože je jedním z nejúspěšnějších prodejců aut u nás. Ale zároveň koupil také sklárny, v nichž pracovali jeho rodiče, investoval do nich stamiliony a dnes již může zhodnotit, jak se tato investice vyplatila.
Na rady rodičů vzpomíná také Barbara Paldus, dcera českých emigrantů, která se narodila v Kanadě, uspěla v Silicon Valley a dnes vyrábí kosmetiku, jež vychází z přírodních tradic, ale je podpořená high-endovou vědou. „Na magii sice nevěřím, ale umím věřit věcem, které zatím neumíme vysvětlit,“ říká vědkyně.
A o to, jak razantně změnit život po šedesátce, se podělí Hana Janata, lékařka, která v 55 začala profesionálně tančit a po šedesátce se stala modelkou. A spolupracuje s nejprestižnějšími značkami světa.
Třinácté vydání čtvrtletníku Newstream CLUB je v prodeji, distribuci zajišťuje Send. Digitální verzi magazínu lze zakoupit přímo na newstream.cz.
