Directorul de produs Microsoft pentru IA responsabilă, Sarah Bird, a declarat că echipa sa a dezvoltat câteva funcții de securitate noi pentru clienții Azure, care vor ajuta la detectarea halucinațiilor în funcționarea serviciilor de inteligență artificială.
Având la bază modele de limbaj mari, aceste instrumente pot detecta potențiale vulnerabilități, pot urmări halucinațiile „care sunt plauzibile, dar nu sunt acceptate” și pot bloca cererile rău intenționate în timp real pentru clienții Azure AI care rulează orice model găzduit pe platformă.
Una dintre funcții va bloca sugestiile rău intenționate din documentele externe care provoacă modele să devieze de la instrucțiuni. Celălalt va evalua securitatea, inclusiv vulnerabilitățile modelului.
Alte două caracteristici vor veni în curând pentru a ghida modelele spre concluzii sigure și pentru a monitoriza indicii pentru a identifica utilizatorii potențial problematici. Indiferent dacă utilizatorul introduce un indiciu sau modelul procesează date terțe, sistemul de monitorizare le va evalua pentru a determina dacă conține cuvinte interzise. Sistemul se uită apoi la răspunsul modelului și verifică dacă a avut halucinații.
Bird observă că echipa a adăugat posibilitatea clienților Azure de a personaliza filtrarea sugestiilor de model.
În viitor, utilizatorii Azure vor putea primi și rapoarte despre utilizatorii care folosesc ieșiri nesigure. Bird spune că acest lucru le permite administratorilor de sistem să descopere care utilizatori aparțin echipei Roșii și care acționează cu răutate.
Noile funcții sunt deja active pentru GPT-4 și alte modele populare, cum ar fi Llama 2. Utilizatorii de sisteme open source mai mici și mai puțin utilizate ar putea fi nevoiți să le activeze manual.
Microsoft a lansat anterior setul de instrumente Python pentru identificarea riscurilor pentru inteligența artificială generativă (PyRIT). Acest instrument este folosit de Echipa Roșie AI pentru a testa riscurile în sistemele de inteligență artificială, inclusiv Copilot. PyRIT poate genera mii de solicitări rău intenționate pentru a testa modelul AI de generație următoare și pentru a evalua răspunsul acestuia.
bbabo.Net