Los ingenieros de software, desarrolladores e investigadores académicos tienen serias preocupaciones sobre las transcripciones de Whisper de OpenAI, según un informe de la Associated Press.
Aunque ha habido mucha discusión sobre la tendencia de la inteligencia artificial generativa a alucinar, básicamente, a inventar cosas, es un poco sorprendente que esto sea un problema en la transcripción, donde esperaríamos que la transcripción siga de cerca el audio que se está transcribiendo.
En lugar de eso, los investigadores le dijeron a la AP que Whisper ha introducido desde comentarios raciales hasta tratamientos médicos imaginarios en las transcripciones. Y eso podría ser particularmente desastroso, ya que Whisper se adopta en hospitales y otros contextos médicos.
Un investigador de la Universidad de Michigan que estudia reuniones públicas encontró alucinaciones en ocho de cada 10 transcripciones de audio. Un ingeniero de aprendizaje automático estudió más de 100 horas de transcripciones de Whisper y encontró alucinaciones en más de la mitad de ellas. Y un desarrollador reportó encontrar alucinaciones en casi todas las 26,000 transcripciones que creó con Whisper.
Un portavoz de OpenAI dijo que la empresa está «trabajando continuamente para mejorar la precisión de nuestros modelos, incluyendo reducir las alucinaciones» y señaló que sus políticas de uso prohíben el uso de Whisper «en ciertos contextos de toma de decisiones de alto riesgo».
«Agradecemos a los investigadores por compartir sus hallazgos», dijeron.
En resumen, es evidente que la precisión en las transcripciones de Whisper es un tema crucial a abordar, especialmente en entornos médicos donde la exactitud y la fiabilidad son fundamentales. Se espera que OpenAI continúe mejorando sus modelos y reduciendo las alucinaciones para garantizar que sus herramientas sean confiables y seguras para su uso en diversas industrias.
