Microsoft-un məsul süni intellekt üzrə məhsul direktoru Sarah Bird bildirib ki, onun komandası Azure müştəriləri üçün süni intellekt xidmətlərinin fəaliyyətində hallüsinasiyaları aşkar etməyə kömək edəcək bir neçə yeni təhlükəsizlik funksiyası hazırlayıb.
Böyük dil modelləri ilə təchiz edilən bu alətlər potensial zəiflikləri aşkarlaya, “məqbul olan, lakin dəstəklənməyən” hallüsinasiyaları izləyə və platformada yerləşdirilən istənilən modeli idarə edən Azure AI müştəriləri üçün real vaxt rejimində zərərli sorğuları bloklaya bilər.
Funksiyalardan biri xarici sənədlərdən modelləri təlimatlardan yayınmağa təhrik edən zərərli göstərişləri bloklayacaq. Digəri təhlükəsizlik, o cümlədən model zəifliklərini qiymətləndirəcək.
Tezliklə modelləri təhlükəsiz nəticələrə yönəltmək və potensial problemli istifadəçiləri müəyyən etmək üçün göstərişlərə nəzarət etmək üçün daha iki funksiya təqdim ediləcək. İstifadəçinin göstəriş daxil etməsindən və ya modelin üçüncü tərəf məlumatlarını emal etməsindən asılı olmayaraq, monitorinq sistemi hər hansı qadağan olunmuş sözlərin olub-olmadığını müəyyən etmək üçün onu qiymətləndirəcək. Sistem daha sonra modelin cavabına baxır və onun halüsinasiyalar görüb-görmədiyini yoxlayır.
Bird qeyd edir ki, komanda Azure müştərilərinə model ipucu filtrini fərdiləşdirmək imkanı əlavə edib.
Gələcəkdə Azure istifadəçiləri də təhlükəsiz çıxışlardan istifadə edən istifadəçilər haqqında hesabat ala biləcəklər. Bird deyir ki, bu, sistem administratorlarına hansı istifadəçilərin Qırmızı Komandaya aid olduğunu və hansının zərərli hərəkət etdiyini anlamağa imkan verir.
Yeni funksiyalar artıq GPT-4 və Llama 2 kimi digər məşhur modellər üçün mövcuddur. Daha kiçik və az istifadə edilən açıq mənbə sistemlərinin istifadəçiləri onları əl ilə aktivləşdirməli ola bilər.
Microsoft daha əvvəl Generativ Süni İntellekt (PyRIT) üçün Python Risk Identification Toolbar dəstini buraxdı. Bu alət AI Red Team tərəfindən Kopilot da daxil olmaqla süni intellekt sistemlərində riskləri yoxlamaq üçün istifadə olunur. PyRIT növbəti nəsil AI modelini sınaqdan keçirmək və onun cavabını qiymətləndirmək üçün minlərlə zərərli sorğu yarada bilər.
bbabo.Net