El Instituto de Seguridad del Reino Unido, el organismo de seguridad en IA recientemente establecido en el Reino Unido, ha lanzado un conjunto de herramientas diseñado para «fortalecer la seguridad en IA» facilitando a la industria, organizaciones de investigación y academia desarrollar evaluaciones de IA.
Llamado Inspect, el conjunto de herramientas, disponible bajo una licencia de código abierto, específicamente una Licencia MIT, tiene como objetivo evaluar ciertas capacidades de los modelos de IA, incluido el conocimiento central de los modelos y su capacidad de razonamiento, y generar una puntuación en función de los resultados.
En un comunicado de prensa anunciando la noticia el viernes, el Instituto de Seguridad afirmó que Inspect marca «la primera vez que una plataforma de pruebas de seguridad en IA, liderada por un organismo respaldado por el Estado, se ha lanzado para un uso más amplio».
«La exitosa colaboración en pruebas de seguridad en IA implica tener un enfoque compartido y accesible para las evaluaciones, y esperamos que Inspect pueda ser un bloque de construcción», dijo el presidente del Instituto de Seguridad, Ian Hogarth, en un comunicado. «Esperamos ver a la comunidad global de IA utilizando Inspect no solo para llevar a cabo sus propias pruebas de seguridad en modelos, sino también para ayudar a adaptar y construir sobre la plataforma de código abierto para que podamos producir evaluaciones de alta calidad en todos los ámbitos».
Inspect se compone de tres componentes básicos: conjuntos de datos, resolutores y puntuadores. Los conjuntos de datos proporcionan muestras para pruebas de evaluación. Los resolutores realizan las pruebas. Y los puntuadores evalúan el trabajo de los resolutores y agregan las puntuaciones de las pruebas en métricas.
Los componentes integrados de Inspect pueden ser ampliados a través de paquetes de terceros escritos en Python.
En una publicación en X, Deborah Raj, investigadora asociada en Mozilla y destacada ética en IA, llamó a Inspect un «testamento al poder de la inversión pública en herramientas de código abierto para la rendición de cuentas en IA».
Clément Delangue, CEO de la startup de IA Hugging Face, sugirió la idea de integrar Inspect con la biblioteca de modelos de Hugging Face o crear un cuadro de líderes público con los resultados de las evaluaciones de la herramienta.
El lanzamiento de Inspect se produce después de que una agencia gubernamental en Estados Unidos, el Instituto Nacional de Estándares y Tecnología (NIST), lanzara NIST GenAI, un programa para evaluar diversas tecnologías de IA generativa, incluida la IA generadora de texto e imágenes. NIST GenAI planea lanzar puntos de referencia, ayudar a crear sistemas de detección de autenticidad de contenido y fomentar el desarrollo de software para detectar información falsa o engañosa generada por IA.
En abril, EE. UU. y el Reino Unido anunciaron una asociación para desarrollar conjuntamente pruebas avanzadas de modelos de IA, siguiendo los compromisos anunciados en la Cumbre de Seguridad en IA del Reino Unido en Bletchley Park en noviembre del año pasado. Como parte de la colaboración, EE. UU. tiene la intención de lanzar su propio instituto de seguridad en IA, que será ampliamente responsable de evaluar los riesgos de la IA y de la IA generativa.
