La directora de productos de Microsoft para IA responsable, Sarah Bird, dijo que su equipo ha desarrollado varias funciones de seguridad nuevas para los clientes de Azure que ayudarán a detectar alucinaciones en el funcionamiento de los servicios de inteligencia artificial.
Impulsadas por grandes modelos de lenguaje, estas herramientas pueden detectar vulnerabilidades potenciales, rastrear alucinaciones "que son plausibles pero no compatibles" y bloquear solicitudes maliciosas en tiempo real para clientes de Azure AI que ejecutan cualquier modelo alojado en la plataforma.
Una de las funciones bloqueará sugerencias maliciosas de documentos externos que provocan que los modelos se desvíen de las instrucciones. El otro evaluará la seguridad, incluidas las vulnerabilidades del modelo.
Próximamente llegarán otras dos funciones para guiar a los modelos a conclusiones seguras y monitorear sugerencias para identificar usuarios potencialmente problemáticos. Ya sea que el usuario esté ingresando una pista o que el modelo esté procesando datos de terceros, el sistema de monitoreo lo evaluará para determinar si contiene palabras prohibidas. Luego, el sistema analiza la respuesta de la modelo y comprueba si estaba alucinando.
Bird señala que el equipo ha agregado la capacidad para que los clientes de Azure personalicen el filtrado de sugerencias de modelo.
En el futuro, los usuarios de Azure también podrán recibir informes sobre usuarios que utilicen resultados inseguros. Bird dice que esto permite a los administradores del sistema determinar qué usuarios pertenecen al Equipo Rojo y cuáles están actuando de manera maliciosa.
Las nuevas funciones ya están disponibles para GPT-4 y otros modelos populares como Llama 2. Es posible que los usuarios de sistemas de código abierto más pequeños y menos utilizados tengan que habilitarlas manualmente.
Microsoft lanzó anteriormente el kit de herramientas de identificación de riesgos Python para inteligencia artificial generativa (PyRIT). Esta herramienta es utilizada por el AI Red Team para probar riesgos en sistemas de inteligencia artificial, incluido Copilot. PyRIT puede generar miles de solicitudes maliciosas para probar el modelo de IA de próxima generación y evaluar su respuesta.
bbabo.Net