Esta Semana en IA: OpenAI se aleja de la seguridad

Esta Semana en IA: OpenAI se aleja de la seguridad

Mantenerse al día con una industria tan dinámica como la inteligencia artificial (IA) es todo un desafío. Por lo tanto, hasta que un AI pueda hacerlo por ti, aquí tienes un práctico resumen de historias recientes en el mundo del aprendizaje automático, junto con investigaciones y experimentos notables que no hemos cubierto por separado.

TechCrunch tiene planes de lanzar pronto un boletín de noticias sobre IA. Mientras tanto, estamos aumentando la frecuencia de nuestra columna semirregular de IA, que anteriormente era dos veces al mes, a semanal, ¡así que mantente atento a más ediciones!

Esta semana en IA, OpenAI una vez más dominó el ciclo de noticias (a pesar de los mejores esfuerzos de Google) con un lanzamiento de producto, pero también con un poco de intriga palaciega. La compañía presentó GPT-4o, su modelo generativo más capaz hasta ahora, y solo unos días después disolvió efectivamente un equipo que trabajaba en el problema de desarrollar controles para evitar que los sistemas de IA «superinteligentes» se salgan de control.

El desmantelamiento del equipo generó muchos titulares, como era de esperar. Los informes, incluido el nuestro, sugieren que OpenAI priorizó la investigación de seguridad del equipo en favor de lanzar nuevos productos como el mencionado GPT-4o, lo que finalmente llevó a la renuncia de los dos líderes del equipo, Jan Leike y el cofundador de OpenAI Ilya Sutskever.

Si bien la IA superinteligente es más teórica que real en este momento, no está claro cuándo, ni si la industria tecnológica logrará los avances necesarios para crear una IA capaz de completar cualquier tarea que un humano pueda hacer. Pero la cobertura de esta semana parecería confirmar una cosa: que el liderazgo de OpenAI, en particular el CEO Sam Altman, ha elegido cada vez más priorizar los productos sobre las salvaguardias.

Altman supuestamente «enfureció» a Sutskever al apresurar el lanzamiento de funciones impulsadas por IA en la primera conferencia para desarrolladores de OpenAI en noviembre pasado. Y se dice que fue crítico con Helen Toner, directora del Centro de Seguridad y Tecnologías Emergentes de Georgetown y exmiembro de la junta de OpenAI, por un documento que coescribió que criticaba la aproximación de OpenAI a la seguridad, hasta el punto de intentar expulsarla de la junta.

En el último año o así, OpenAI ha permitido que su tienda de chatbots se llene de spam y (supuestamente) haya extraído datos de YouTube en contra de los términos de servicio de la plataforma mientras expresaba ambiciones de permitir que su IA genere representaciones de pornografía y violencia. Ciertamente, la seguridad parece haber pasado a un segundo plano en la compañía, y un número creciente de investigadores de seguridad de OpenAI han llegado a la conclusión de que su trabajo sería mejor apoyado en otro lugar.

Aquí hay algunas otras historias de IA destacadas de los últimos días:

– OpenAI + Reddit: En más noticias de OpenAI, la compañía llegó a un acuerdo con Reddit para utilizar los datos del sitio social para el entrenamiento del modelo de IA. Wall Street recibió con los brazos abiertos el acuerdo, pero los usuarios de Reddit pueden no estar tan felices.

– IA de Google: Google celebró su conferencia anual de desarrolladores I/O esta semana, en la que presentó un montón de productos de IA. Hicimos un resumen de ellos aquí, desde Veo, que genera videos, hasta resultados organizados por IA en la búsqueda de Google y mejoras en las aplicaciones de chatbot de Gemini de Google.

– Anthropic contrata a Krieger: Mike Krieger, uno de los cofundadores de Instagram y, más recientemente, cofundador de la aplicación de noticias personalizadas Artifact (que la empresa matriz corporativa de TechCrunch, Yahoo, adquirió recientemente), se une a Anthropic como primer director de producto. Supervisará los esfuerzos tanto de consumo como empresariales de la compañía.

– IA para niños: Anthropic anunció la semana pasada que comenzaría a permitir a los desarrolladores crear aplicaciones y herramientas para niños construidas en sus modelos de IA, siempre que sigan ciertas reglas. Es importante señalar que rivales como Google prohíben que su IA se integre en aplicaciones dirigidas a edades más jóvenes.

– Festival de cine de IA: La startup de IA Runway celebró su segundo festival de cine de IA a principios de este mes. ¿La conclusión? Algunos de los momentos más poderosos en la muestra no provinieron de la IA, sino de los elementos más humanos.

Más aprendizajes de máquinas:

La seguridad de la IA obviamente está en primer plano esta semana con las salidas de OpenAI, pero Google Deepmind continúa avanzando con un nuevo «Marco de Seguridad de Frontera». Básicamente, es la estrategia de la organización para identificar y, con suerte, prevenir cualquier capacidad descontrolada; no tiene que ser IA general, podría ser un generador de malware descontrolado u otro tipo.

El marco consta de tres pasos: 1. Identificar capacidades potencialmente dañinas en un modelo simulando sus caminos de desarrollo. 2. Evaluar regularmente los modelos para detectar cuándo han alcanzado niveles de «capacidad críticos» conocidos. 3. Aplicar un plan de mitigación para prevenir la filtración (por parte de otro o del mismo) o el despliegue problemático.

El resultado es una diversidad mucho mayor en ángulos, configuraciones y apariencia general en las salidas de imágenes. A veces quieres esto, a veces no, pero es bueno tener la opción.

¡La inteligencia artificial sigue avanzando y teniendo un impacto significativo en varios campos!