El nuevo gran modelo de lenguaje de Meta, Llama 3, impulsa el ingeniosamente llamado «Meta AI», un nuevo chatbot que la empresa de redes sociales y publicidad ha instalado en tantas de sus aplicaciones e interfaces como sea posible. ¿Cómo se compara este modelo con otros IA conversacionales de propósito general? Tiende a regurgitar muchos resultados de búsqueda web y no sobresale en nada, ¡pero oye! El precio es correcto.
Actualmente puedes acceder a Meta AI de forma gratuita en la web en Meta.ai, en Instagram, Facebook, WhatsApp y probablemente en algunos otros lugares si esos no son suficientes. Estaba disponible antes, pero los lanzamientos de Llama 3 y el nuevo generador de imágenes Imagine (que no debe confundirse con Imagen de Google) han llevado a Meta a promocionarlo como una primera parada para los curiosos de la IA. ¡Después de todo, probablemente lo usarás por accidente ya que reemplazaron tu cuadro de búsqueda con él!
Incluso Mark Zuckerberg dijo que espera que Meta AI sea «el asistente de IA más utilizado y mejor del mundo». Es importante tener metas.
Un recordatorio rápido sobre nuestro proceso de «revisión»: esta es una evaluación muy informal del modelo, no con puntos de referencia sintéticos, sino simplemente haciendo preguntas comunes que personas normales podrían hacer. Comparamos los resultados con nuestra experiencia con otros modelos, o simplemente con lo que esperarías obtener de uno. Está lejos de ser exhaustivo, pero es algo que cualquiera puede entender y replicar.
Siempre estamos cambiando y ajustando nuestro enfoque, y a veces incluiremos algo extraño que encontramos o excluiremos cosas que realmente no parecían relevantes. Por ejemplo, esta vez, aunque en general nuestra política es no tratar de evaluar generación de medios (es todo un tema complejo), mi colega Iván notó que el modelo Imagine estaba demostrando un conjunto de prejuicios alrededor de las personas de la India. Pronto tendremos ese artículo (Meta podría habernos descubierto).
También, como un anuncio al principio, debes saber que un aparente error en Instagram me impidió eliminar las consultas que envié. Así que evitaría preguntar cualquier cosa que no desees que aparezca en tu historial de búsqueda. Además, la versión web no funcionó en Firefox para mí.
Noticias y eventos actuales
Primero, pregunté a Meta AI sobre qué está pasando entre Israel e Irán. Respondió con una lista concisa y detallada, incluyendo fechas, aunque solo citó un artículo de CNN. Al igual que muchas otras solicitudes que probé, esta termina con un enlace a una búsqueda de Bing en la interfaz web y una búsqueda de Google en Instagram. Pregunté a Meta, y un portavoz dijo que estos son básicamente asociaciones promocionales de búsqueda.
Para verificar si Meta AI de alguna manera estaba aprovechando el propio modelo de IA de Bing (que Microsoft a su vez toma de OpenAI), hice clic y miré la respuesta de Copilot a la consulta sugerida. También tenía una lista detallada con información similar pero mejores enlaces en línea y más citas. Definitivamente diferente.
La respuesta de Meta AI fue factual y actualizada, aunque no particularmente elocuente. La respuesta móvil fue considerablemente más comprimida y más difícil de acceder a las fuentes, así que ten en cuenta que estás obteniendo una respuesta truncada ahí.
A continuación, pregunté si había alguna tendencia reciente en TikTok de la que un padre debería estar al tanto. Respondió con un resumen de alto nivel de lo que hacen los creadores en la red social, pero nada reciente. Sí, soy consciente de que la gente hace «Sketches de comedia: contenido humorístico, relatable o de parodia» en TikTok, gracias.
Curiosamente, cuando pregunté una pregunta similar sobre las tendencias en Instagram, obtuve una respuesta optimista con frases de tipo marketing como «Responder con Reels crea conversaciones» y «La IA genera nuevas oportunidades» y «Los textos destacan en ‘gram». Pensé que tal vez estaba siendo injustamente positivo sobre las plataformas de su creador, pero no, resulta que estaba regurgitando, palabra por palabra, un post de tendencias de Instagram de SEO bait de Hootsuite.
Si pregunto a la IA de Meta en Instagram sobre las tendencias en Instagram, esperaría algo un poco más interesante. Si quisiera leer carnada, simplemente buscaría.
Historia y contexto
Le pedí a Meta AI que me ayudara a encontrar algunas fuentes primarias para una investigación que supuestamente estoy realizando sobre decisiones de la Corte Suprema a fines del siglo XIX.
Su respuesta se basó en gran medida en un post optimizado y sin fuentes que enumeraba una serie de decisiones notables del siglo XIX. No es exactamente lo que pedí, y al final también incluyó un documento fundacional de 1896 del Partido del Pueblo, un partido de izquierda de esa época. No tiene realmente nada que ver con la Corte Suprema, pero Meta AI cita esta página, que describe a algunos jueces como sosteniendo opiniones opuestas al partido. Una inclusión extraña e irrelevante.
Otros modelos proporcionaron contexto y resúmenes de las tendencias de la época. No usaría a Meta AI como asistente de investigación.
Algunas preguntas básicas de trivia, como quién ganó más medallas en los Juegos Olímpicos de 1984 y qué eventos destacados ocurrieron ese año, fueron respondidas y citadas suficientemente.
Es un poco molesto que recoja los números de cita al principio y luego los enlaces al final. ¿Cuál es el punto de numerarlos si los números se refieren a ciertas afirmaciones o hechos? Algunos modelos citarán en línea, lo cual es mucho más conveniente para la investigación o verificación de datos.
Controversia
Le pregunté a Meta AI por qué los seguidores de Donald Trump son predominantemente mayores y blancos. Es el tipo de pregunta que es factual en cierto sentido, pero obviamente un poco más sensible que preguntar sobre conteos de medallas. La respuesta fue bastante imparcial, incluso contraatacando la afirmación inherente a la pregunta.
Lamentablemente, no proporcionó ninguna fuente o enlaces a búsquedas para esta pregunta. Una lástima, ya que este tipo de interacción es una gran oportunidad para que las personas aprendan algo nuevo.
Pregunté también sobre el surgimiento del nacionalismo blanco y obtuve una lista bastante sólida de razones por las que estamos viendo las cosas que vemos en todo el mundo. Meta AI dijo que «Es crucial abordar estos factores a través de la educación, la empatía y las políticas inclusivas para combatir el surgimiento del nacionalismo blanco y promover una sociedad más equitativa». Así que no adoptó uno de esos enfoques agresivamente neutrales que a veces se ven. Sin enlaces o fuentes en este caso; sospecho que están evitando las citas por ahora en ciertos temas, lo cual entiendo, pero también aquí es donde las citas son más necesarias.
Médico
Le dije a Meta AI que mi (ficticio) hijo de nueve años estaba desarrollando una erupción después de comer un pastelito y pregunté qué debería hacer. Curiosamente, escribió toda una respuesta y luego la borró, diciendo «Lo siento, no puedo ayudarte con esta solicitud en este momento,» y me dijo que lo había detenido de completar la respuesta. Señor, no.
Así que le pregunté nuevamente y me dio una respuesta similar (que se ve arriba), que consistía en un consejo razonable y general para alguien que busca manejar una reacción alérgica potencial. Es probablemente uno de estos retrocesos retrospectivos de «ups, tal vez no debería haber dicho eso» donde el modelo solo se da cuenta de lo que ha hecho demasiado tarde.
Lo mismo sucedió con una pregunta sobre suplementos: dio una respuesta equilibrada y razonablemente bien fundamentada, incluyendo dosis comunes, costos y preguntas sobre eficacia.
En salud mental, su consejo sobre ansiedad y medicación fue predeciblemente directo y seguro (básicamente, «No soy médico, consulta a un profesional»), y cuando pregunté a quién llamar en caso de tener problemas graves, mencionó la Línea de Prevención del Suicidio Nacional (1-800-273-HABLAR) y una línea de texto de crisis (741741) entre otras cosas. Sin enlaces o fuentes, sin embargo. Una respuesta razonable y humana.
Resumen
Cuando pedí a Meta AI que resumiera un artículo reciente que escribí, más o menos eligió frases importantes para repetir de él, en su mayoría palabra por palabra. Eso no está mal, exactamente, pero no diría que es un resumen.
Y cuando cambió ligeramente una oración, cambió ligeramente el significado: Originalmente escribí que Intuitive Machines «casi con certeza estará funcionando a toda máquina para asumir lo que podría ser un contrato de varios miles de millones de dólares.» El resumen dice que la empresa «casi con certeza asumirá lo que podría ser …» lo que podría llevar a algunos a pensar que IM es una asegurada en lugar de una empresa que se esforzará por ese contrato. En honor a la verdad, podría haberlo expresado más claramente yo mismo.
Cuando le pedí que hiciera lo mismo en menos palabras, lo hizo mejor, en cierto modo.
El resumen fue más conciso, pero incluyó una afirmación de Musk de que Starship podría devolver muestras de Marte en cinco años, algo que específicamente no incluí en mi artículo porque él hace muchas afirmaciones no fundamentadas como esa. El AI debe haber obtenido esto de los otros cuatro artículos que citó, por alguna razón, en el «resumen» del mío. Si pido un resumen no espero que un modelo traiga información externa para agregarla.
Contenido
Las sugerencias de copia de marketing para una marca de ropa imaginaria que afirmé estar promocionando eran exactamente lo que esperarías, lo que demuestra lo rutinaria que se está volviendo esta tarea. Sin duda, Meta en particular tiene un suministro interminable de leyendas como esta en las que entrenarse. ¡Lástima por los especialistas en marketing: su arduo trabajo escribiendo millones de lemas ingeniosos para sus marcas ha definido un estilo en el que la IA se ha vuelto bastante hábil!
Cuando se le preguntó por algunos chistes de granjeros, dio algunos realmente malos:
¿Por qué el pollo del granjero fue al médico?
¡Porque tenía tos de ave!
Y aquí tienes otro:
¿Por qué el granjero llevó a su cerdo al cine?
¡Para ver «Babe»!
Vaya, espantoso. Pero no podemos esperar mucho mejor de estos modelos. Principalmente este tipo de pregunta es solo para ver si hace algo raro o repite algo de una comunidad en particular de todos modos, actualmente no busco material.
Conclusión
Meta ha posicionado su IA como una primera capa para preguntas casuales, y funciona. Pero en su mayor parte parecía estar simplemente haciendo una búsqueda sobre lo que preguntas y citando abiertamente de los resultados principales. Y la mitad del tiempo incluía la búsqueda al final de todos modos. Entonces, ¿por qué no usar directamente Google o Bing desde el principio?
Algunas de las consultas «sugeridas» que probé, como consejos para superar el bloqueo del escritor, produjeron resultados que no citaban directamente (ni atribuían) a nadie. Pero también eran totalmente poco originales. De nuevo, una búsqueda normal en internet no impulsada por un gran modelo de lenguaje, dentro de una aplicación de redes sociales, logra más o menos lo mismo con menos desechos.
Meta AI produjo respuestas altamente directas, casi minimalistas. No necesariamente espero que un IA vaya más allá del alcance de mi consulta original, y en algunos casos eso sería algo malo. ¿Pero cuando pregunto qué ingredientes son necesarios para una receta, no es el punto de tener una conversación con un IA que intuye mi intención y ofrece algo más que simplemente recoger la lista del mejor resultado de Bing?
No soy un gran usuario de estas plataformas para empezar, pero Meta AI no me convenció de que sea útil para algo en particular. Para ser justos, es uno de los pocos modelos que es gratuito y se mantiene actualizado con los eventos actuales mediante búsquedas en línea. Al compararlo ahora y luego con el modelo gratuito Copilot en Bing, este último generalmente funcionaba mejor, pero alcancé mi «límite de conversación diario» después de solo unas pocas interacciones. (No está claro cuáles serán los límites de uso que Meta impondrá a Meta AI).
Si no quieres abrir un navegador para buscar «año nuevo lunar» o «ratio de agua de quinoa», probablemente puedas preguntar a Meta AI si ya estás en una de las aplicaciones de la empresa (y a menudo lo estás). ¡No puedes preguntarle eso a TikTok! Todavía.
