La diversidad lingüística de la India presenta un desafío para las empresas de contenido digital que intentan mostrar y traducir contenido de manera precisa. Google también enfrenta un problema similar con las vistas generales de inteligencia artificial que recientemente ha implementado en el país.
En agosto, la compañía introdujo soporte en hindi para las vistas generales de inteligencia artificial en el país. Los usuarios en India también pueden cambiar entre hindi e inglés sin salir de la página de búsqueda. Sin embargo, la función es decepcionantemente inconsistente.
Un ejemplo simple fue un resultado que obtuvimos del blog de Google. El GIF mostraba una respuesta para «¿Qué se puede poner en lugar de azúcar en el té?» Cuando cambiamos el orden de las palabras a «¿Qué se puede poner en lugar de azúcar en el té?» en las pruebas, Google simplemente no mostró una respuesta.
Otro problema que identificamos fue la traducción literal de palabras en inglés. Cuando preguntamos en hindi acerca de «¿Qué tipo de comida podemos comer durante el verano?» una de las respuestas fue «Cosas pegajosas», lo cual es confuso. Cuando cambiamos a inglés, Google nos mostró «Aceitoso» como una opción, que es muy diferente a «pegajoso» cuando se trata de comida. De todos modos, es una sugerencia un tanto extraña.
En otro caso, cuando preguntamos sobre la propiedad de YouTube, las vistas generales de inteligencia artificial dijeron «Hasta el 16 de febrero de 2023, Neal Mohan era CEO de Google» en hindi, lo cual es incorrecto. El texto en inglés tenía la versión correcta diciendo «A partir del 16 de febrero de 2023, Neal Mohan es CEO de Google».
Además de problemas cualitativos. Cuando preguntamos «¿Cuándo es Diwali este año?» en lugar de obtener una respuesta simple, obtuvimos un párrafo sobre el Diwali del año pasado, luego un carrusel de enlaces, y finalmente la respuesta que estábamos buscando.
Cuando preguntamos si se puede comer comida con especias en hindi e inglés varias veces, obtuvimos respuestas inconsistentes a través de las vistas generales de inteligencia artificial.
Sin embargo, existen resultados más preocupantes relacionados con otros temas como la menstruación y el embarazo. Para una de nuestras preguntas, acerca de cuándo alguien debería pensar en tener hijos después del matrimonio, el primer párrafo de la respuesta de las vistas generales mencionaba que las parejas deberían esperar al menos dos años, de manera confusa.
También mencionaba que si alguien se casa alrededor de los 25 años, tiene «tres años» – sin especificar para qué. Este párrafo aparentemente fue obtenido de un artículo en forma de presentación en hindi en un sitio de noticias indio, que había escrito la información basándose en diversas opiniones en Quora y otros blogs.
Cuando preguntamos qué comer cuando alguien está menstruando, algunas respuestas sugerían «Beber leche con varias cosas» y limón para los cambios de humor.
Las vistas generales de inteligencia artificial de Google también carecen de contexto, cuando preguntamos sobre lugares de comida en Delhi, sugería que Bangla Sahib Gurudwara, un lugar de culto para los sijs, está abierto las 24 horas y se puede obtener té y snacks indios como samosas y kachori. Sin embargo, esto omite algo importante que el artículo fuente mencionaba: que se podían obtener estos elementos fuera del Gurudwara, una palabra operativa que la herramienta de inteligencia artificial no captó al resumir. Los snacks no están dentro del lugar de culto.
Algunos de los resultados para preguntas similares en inglés son mucho mejores que los resultados en hindi. Esto podría deberse en parte a que hay más y mejores fuentes disponibles en ese idioma. Pero algunos de los problemas que resaltamos se deben a errores de los sistemas de Google, como resúmenes fuera de contexto y traducciones inexactas. Google ha trabajado en problemas de búsqueda y lenguaje en India, y la expectativa era que hubiera entregado un mejor resultado en su primer intento.
Google le dijo a TechCrunch que sus vistas generales de inteligencia artificial solo aparecen para consultas donde tiene una alta confianza en la calidad de la salida, diciendo que la función está «enraizada en nuestros sistemas de calidad de búsqueda fundamentales» y solo mostrará información respaldada por los principales resultados web.
«Nuestras pruebas muestran que la tasa de precisión para las vistas generales de IA está a la par con otras funciones como los fragmentos destacados. Cuando surgen problemas, pueden ser el resultado de que nuestros sistemas están interpretando erróneamente el contenido web o reflejando inexactitudes en la web».
Google puede culpar a la calidad de las fuentes que está citando. Sin embargo, es el algoritmo de Google el que decide que la pregunta y las fuentes valen la pena ser resumidas por la IA. No todos los usuarios revisarán el material en los sitios de origen y simplemente señalarán a Google por mostrar respuestas incorrectas o incomprensibles.
Las vistas generales de inteligencia artificial han sido un esfuerzo decepcionante para Google. A principios de este año, la compañía recibió muchas críticas por mostrar respuestas de Reddit que le decían a un usuario que agregara pegamento a la pizza. Las vistas generales de inteligencia artificial le dijeron a otro usuario que comer «una pequeña roca por día», una respuesta que fue obtenida de The Onion. Muchos de los ejemplos que probamos en hindi simplemente no proporcionaron información correcta sobre el tema.
India tiene más de 830 millones de usuarios de internet, y una gran parte de ellos utiliza Google para buscar. Si la empresa desea que más personas utilicen las vistas generales de IA en idiomas locales, deberá mejorar en términos de precisión lingüística y de contenido.
En resumen, Google debe abordar y corregir los problemas de precisión y contexto en sus vistas generales de inteligencia artificial para garantizar una experiencia de usuario más satisfactoria y precisa para sus millones de usuarios en la India.
