Como parte de la serie en curso de Mujeres en AI de TechCrunch, que busca dar a las mujeres académicas y otras centradas en la IA el merecido – y tardío – momento en el centro de atención, TechCrunch entrevistó a Lakshmi Raman, la directora de Inteligencia Artificial en la CIA. Hablamos sobre su camino hacia la dirección, así como sobre el uso de la IA por parte de la CIA, y el equilibrio que se debe encontrar entre adoptar nuevas tecnologías y desplegarlas de manera responsable.
Raman ha estado en inteligencia por mucho tiempo. Se unió a la CIA en 2002 como desarrolladora de software después de obtener su licenciatura en la Universidad de Illinois Urbana-Champaign y su maestría en ciencias de la computación en la Universidad de Chicago. Varios años después, pasó a ocupar puestos directivos en la agencia, llegando eventualmente a liderar los esfuerzos de ciencia de datos de la CIA en general.
Raman dice que tuvo la suerte de contar con modelos y predecesoras como recurso en la CIA, dada la histórica dominancia masculina en el campo de la inteligencia.
«Siempre tuve a mujeres a las que recurrir, de las que podía pedir consejo, y a las que podía acercarme para hablar sobre lo que significa el siguiente nivel de liderazgo», dijo. «Creo que hay cosas que toda mujer debe sortear a medida que avanza en su carrera».
En su papel de directora, Raman orquesta, integra y impulsa actividades de IA en toda la CIA. «Creemos que la IA está aquí para apoyar nuestra misión», dijo. «Es la combinación de humanos y máquinas lo que está a la vanguardia de nuestro uso de la IA».
La IA no es algo nuevo para la CIA. La agencia ha estado explorando aplicaciones de ciencia de datos e IA desde alrededor del año 2000, dice Raman, especialmente en áreas como el procesamiento del lenguaje natural (es decir, análisis de textos), la visión por computadora (análisis de imágenes) y analítica de video. La CIA intenta estar al tanto de las tendencias más recientes, como la IA generativa, agregó, con una hoja de ruta informada tanto por la industria como por la academia.
«Cuando pensamos en las enormes cantidades de datos que debemos consumir dentro de la agencia, la triaje de contenido es un área donde la IA generativa puede marcar la diferencia», dijo Raman. «Estamos viendo cosas como ayudas de búsqueda y descubrimiento, ayudas de ideación y ayudándonos a generar contraargumentos para contrarrestar los sesgos analíticos que podríamos tener».
Hay un sentido de urgencia dentro de la comunidad de inteligencia de los EE. UU. para implementar herramientas que puedan ayudar a la CIA a combatir las crecientes tensiones geopolíticas en todo el mundo, desde amenazas de terror motivadas por la guerra en Gaza hasta campañas de desinformación organizadas por actores extranjeros (por ejemplo, China, Rusia). El año pasado, el Proyecto de Estudios Competitivos Especiales, un grupo asesor de alto nivel centrado en la IA en la seguridad nacional, estableció un plazo de dos años para que los servicios de inteligencia internos superen la experimentación y los proyectos piloto limitados para adoptar la IA generativa a gran escala.
Una herramienta impulsada por IA generativa que desarrolló la CIA, Osiris, es un poco como el ChatGPT de OpenAI, pero personalizado para casos de uso de inteligencia. Resumen datos -por ahora, solo datos no clasificados y públicos o comercialmente disponibles- y permite a los analistas profundizar haciendo preguntas de seguimiento en inglés sencillo.
Osiris ahora es utilizado por miles de analistas no solo dentro de las paredes de la CIA, sino también en las 18 agencias de inteligencia de los EE. UU. Raman no revelaría si fue desarrollado internamente o utilizando tecnología de terceros, pero sí dijo que la CIA tiene asociaciones con proveedores reconocidos.
«Utilizamos servicios comerciales», dijo Raman, agregando que la CIA también está empleando herramientas de IA para tareas como traducción y alertar a los analistas durante las horas no laborables sobre posibles desarrollos importantes. «Necesitamos poder trabajar de cerca con la industria privada para ayudarnos a proporcionar no solo los servicios y soluciones más grandes que ya conoces, sino también servicios más especializados de vendedores no tradicionales en los que quizás no hayas pensado».
Una tecnología problemática
Hay muchas razones para ser escéptico y preocuparse por el uso de la IA por parte de la CIA.
En febrero de 2022, los senadores Ron Wyden (D-OR) y Martin Heinrich (D-Nuevo México) revelaron en una carta pública que la CIA, a pesar de estar generalmente prohibida de investigar a ciudadanos estadounidenses y empresas estadounidenses, tiene un repositorio de datos secreto y no revelado que incluye información recopilada sobre ciudadanos estadounidenses. Y el año pasado, un informe de la Oficina del Director de Inteligencia Nacional mostró que las agencias de inteligencia de EE. UU., incluida la CIA, compran datos de estadounidenses a corredores de datos como LexisNexis y Sayari Analytics con poca supervisión.
Si la CIA llegara a usar la IA para analizar estos datos, muchos estadounidenses seguramente se opondrían. Sería una clara violación de las libertades civiles y, debido a las limitaciones de la IA, podría resultar en resultados gravemente injustos.
Diversos estudios han demostrado que los algoritmos predictivos de crímenes de empresas como Geolitica se ven fácilmente sesgados por las tasas de arresto y tienden a señalar de manera desproporcionada a las comunidades negras. Otros estudios sugieren que el reconocimiento facial resulta en una mayor tasa de malidentificación de personas de color que de personas blancas.
Además del sesgo, incluso la mejor IA de hoy en día a veces alucina o inventa datos y cifras en respuesta a consultas. Tomen como ejemplo el software de resumen de reuniones de Microsoft, que a veces atribuye citas a personas que no existen. Uno puede imaginar cómo esto podría convertirse en un problema en el trabajo de inteligencia, donde la precisión y la verificabilidad son fundamentales.
Raman insistió en que la CIA no solo cumple con todas las leyes de EE. UU., sino que también «sigue todas las directrices éticas» y utiliza la IA «de una manera que mitiga el sesgo».
«Yo lo llamaría un enfoque reflexivo [hacia la IA]», dijo. «Diría que el enfoque que estamos tomando es uno en el que queremos que nuestros usuarios entiendan tanto como sea posible sobre el sistema de IA que están utilizando. Desarrollar IA responsable implica que todos los interesados estén involucrados; eso significa los desarrolladores de IA, nuestra oficina de privacidad y libertades civiles [y así sucesivamente]».
En este sentido, independientemente de para qué esté diseñado un sistema de IA, es importante que los diseñadores del sistema aclaren las áreas en las que podría fallar. En un estudio reciente, investigadores de la Universidad Estatal de Carolina del Norte encontraron que las herramientas de IA, incluidos los algoritmos de reconocimiento facial y de detección de disparos, estaban siendo utilizadas por la policía que no estaban familiarizadas con las tecnologías o sus deficiencias.
En un ejemplo particularmente flagrante de abuso de IA en la aplicación de la ley quizás derivado de la ignorancia, se informó que el NYPD una vez usó fotos de celebridades, imágenes distorsionadas y bocetos para generar coincidencias de reconocimiento facial en sospechosos en casos donde las imágenes de vigilancia no arrojaron resultados.
“Cualquier resultado generado por IA debe ser claramente comprendido por los usuarios, y eso significa, obviamente, etiquetar el contenido generado por IA y proporcionar explicaciones claras sobre cómo funcionan los sistemas de IA», dijo Raman. «Todo lo que hacemos en la agencia, cumplimos con nuestros requisitos legales, y nos aseguramos de que nuestros usuarios, socios y partes interesadas estén al tanto de todas las leyes, regulaciones y directrices relevantes que rigen el uso de nuestros sistemas de IA, y cumplimos con todas estas reglas».
Este reportero ciertamente espera que sea verdad.
