Los avances en inteligencia artificial generativa han abierto las puertas a nuevas oportunidades en el mundo de la traducción, y una startup llamada Panjaya está llevando este concepto al siguiente nivel: una herramienta de doblaje basada en inteligencia artificial hiperrealista que recrea la voz original de una persona hablando en un nuevo idioma, con el video y los movimientos físicos del hablante modificándose automáticamente para coincidir de manera natural con los nuevos patrones de habla.
Después de tres años en sigilo, la startup está presentando BodyTalk, la primera versión de su producto, junto con su primera financiación externa de $9.5 millones. Panjaya es la creación de Hilik Shani y Ariel Shalom, dos especialistas en aprendizaje profundo que han pasado la mayoría de sus vidas profesionales trabajando silenciosamente en tecnología de aprendizaje profundo para el gobierno israelí y que ahora son respectivamente el gerente general y el CTO de la startup. Se unieron a Guy Piekarz como CEO hace 1.5 años.
Piekarz no es un fundador de Panjaya, pero es un nombre notable que se ha unido al equipo. En 2013, vendió una startup que fundó a Apple. Matcha, como se llamaba la startup, fue un jugador temprano y destacado en el descubrimiento y recomendación de videos en streaming, y fue adquirida durante los primeros días de la estrategia de TV y streaming de Apple. Luego de su experiencia en Apple, se unió a Panjaya a través de Viola Ventures, uno de sus inversores.
BodyTalk es interesante por cómo combina varias tecnologías que juegan en diferentes aspectos de los medios sintéticos. Comienza con traducción basada en audio que actualmente puede ofrecer traducciones en 29 idiomas. La traducción se pronuncia en una voz que imita al hablante original, y se ajusta a una versión del video original donde los labios y otros movimientos del orador se modifican para adaptarse a las nuevas palabras y frases. Todo esto se crea automáticamente en los videos después de que los usuarios los cargan en la plataforma.
El enfoque de Panjaya por el momento está solo en B2B; entre sus clientes se encuentran JFrog y la organización mediática TED. La empresa planea expandirse aún más en medios, específicamente en áreas como deportes, educación, marketing, salud y medicina.
Los videos resultantes de traducción son muy sorprendentes, no muy diferentes a lo que se obtiene con los deepfakes, aunque Piekarz no está de acuerdo con esa terminología y prefiere pensar en Panjaya como parte de la categoría de «deep real». Al apuntar solo al mercado B2B y controlar quién puede acceder a sus herramientas, la empresa está creando «barreras de protección» alrededor de la tecnología para evitar su mal uso.
A pesar de la popularidad de los subtítulos en la visualización de videos en la actualidad, sigue existiendo un amplio mercado internacional para el contenido doblado, y Panjaya apuesta por la idea de que un contenido en el idioma nativo puede tener un mejor rendimiento, especialmente en el contexto B2B. Algunos de sus clientes respaldan esta teoría al informar un aumento significativo en las visualizaciones y tasas de finalización para los videos traducidos con la herramienta de Panjaya.
En resumen, Panjaya está llevando la traducción de videos a un nuevo nivel con su herramienta BodyTalk, aprovechando la inteligencia artificial de manera innovadora para ofrecer una experiencia de doblaje hiperrealista y natural. Con una sólida base tecnológica y un enfoque claro en el mercado B2B, la empresa promete seguir creciendo y expandiendo su presencia en diversos sectores mediáticos en el futuro.
