قالت سارة بيرد، مديرة منتجات الذكاء الاصطناعي المسؤول في مايكروسوفت، إن فريقها طور العديد من الميزات الأمنية الجديدة لعملاء Azure التي ستساعد في اكتشاف الهلوسة في تشغيل خدمات الذكاء الاصطناعي.
يمكن لهذه الأدوات، المدعومة بنماذج لغة كبيرة، اكتشاف نقاط الضعف المحتملة، وتتبع الهلوسة "المقبولة ولكنها غير مدعومة"، وحظر الطلبات الضارة في الوقت الفعلي لعملاء Azure AI الذين يقومون بتشغيل أي نموذج مستضاف على النظام الأساسي.
ستقوم إحدى الوظائف بحظر التلميحات الضارة من المستندات الخارجية التي تدفع النماذج إلى الانحراف عن التعليمات. والآخر سيقوم بتقييم الأمان، بما في ذلك نقاط الضعف في النموذج.
سيتم طرح ميزتين أخريين قريبًا لتوجيه النماذج إلى استنتاجات آمنة ومراقبة التلميحات لتحديد المستخدمين الذين قد يسببون مشاكل. سواء كان المستخدم يُدخل تلميحًا أو كان النموذج يعالج بيانات جهة خارجية، فسيقوم نظام المراقبة بتقييمها لتحديد ما إذا كانت تحتوي على أي كلمات محظورة. ينظر النظام بعد ذلك إلى استجابة العارضة ويتحقق مما إذا كانت تهلوس.
يلاحظ بيرد أن الفريق أضاف القدرة لعملاء Azure على تخصيص تصفية تلميحات النموذج.
في المستقبل، سيتمكن مستخدمو Azure أيضًا من تلقي تقارير حول المستخدمين الذين يستخدمون مخرجات غير آمنة. يقول بيرد إن هذا يسمح لمسؤولي النظام بمعرفة المستخدمين الذين ينتمون إلى الفريق الأحمر والذين يتصرفون بشكل ضار.
الميزات الجديدة موجودة بالفعل في GPT-4 والنماذج الشائعة الأخرى مثل Llama 2. وقد يتعين على مستخدمي الأنظمة مفتوحة المصدر الأصغر حجمًا والأقل استخدامًا تمكينها يدويًا.
أصدرت Microsoft سابقًا مجموعة أدوات تحديد مخاطر Python للذكاء الاصطناعي التوليدي (PyRIT). يتم استخدام هذه الأداة من قبل فريق الذكاء الاصطناعي الأحمر لاختبار المخاطر في أنظمة الذكاء الاصطناعي، بما في ذلك برنامج Copilot. يمكن لـ PyRIT إنشاء آلاف الطلبات الضارة لاختبار الجيل التالي من نموذج الذكاء الاصطناعي وتقييم استجابته.
bbabo.Net