Cómo Probamos PCs con IA: El Proceso de Evaluación de Copilot+ y Otros PCs con IA en el Laboratorio

Cómo Probamos PCs con IA: El Proceso de Evaluación de Copilot+ y Otros PCs con IA en el Laboratorio

Aunque los PCs Copilot+ de Microsoft no son los primeros PCs con IA que hemos visto, son los primeros portátiles que dependen en gran medida del poder y rendimiento de una NPU (Unidad de Procesamiento Neural) mucho más poderosa integrada. Esto plantea un nuevo desafío interesante: ¿cómo probamos los PCs con IA?

Naturalmente, los someteremos a un proceso de revisión exhaustivo usando los portátiles en nuestro trabajo y vida diaria, pero en Laptop Mag también confiamos en pruebas consistentemente reproducibles en nuestra misión de encontrar los mejores portátiles para ti. En este sentido, la respuesta corta es que, por ahora, solo tenemos tres pruebas sintéticas de referencia viables para evaluar el rendimiento de la NPU: Geekbench ML y los benchmarks UL Procyon AI Image Generation y Procyon AI Computer Vision. Otros tipos de cargas de prueba para evaluar un PC con IA son excesivamente difíciles y lentos de configurar y ejecutar como parte de un proceso de revisión típico.

Definiendo un PC con IA

Antes de profundizar más en el proceso de pruebas, es importante definir qué hace que un portátil sea un PC con IA. Aunque todos los portátiles pueden acceder a alguna versión de IA basada en la nube, los PCs con IA son generalmente considerados como ordenadores con una NPU integrada capaz de manejar IA en el dispositivo.

¿Qué es una NPU?

Una NPU, o Unidad de Procesamiento Neural, es un procesador dedicado a las operaciones de redes neuronales y tareas de IA. Aunque la CPU y la GPU de una computadora también pueden manejar cargas de trabajo de IA, la NPU está optimizada para la computación paralela, lo que las hace más eficientes en tareas de IA como generación de imágenes, reconocimiento de voz, desenfoque de fondo en videollamadas y tareas de detección de objetos en software de edición de fotos y videos.

Los portátiles sin NPUs pueden acceder a algunas de estas funciones, pero tendrán dificultades con tareas de IA más intensivas. Por lo tanto, el programa Copilot+ de Microsoft requiere más de 40 TOPS (billones de operaciones por segundo) de rendimiento de la NPU para que el portátil sea incluido.

Hasta ahora, los únicos portátiles que cumplen con este nuevo requisito de Microsoft son aquellos que cuentan con los chipsets Qualcomm Snapdragon X Elite y Snapdragon X Plus. Al momento de la publicación, hay 9 PCs Copilot+ disponibles para comprar. Sin embargo, los portátiles con un procesador AMD Ryzen AI «Strix Point» o Intel Core Ultra «Lunar Lake» también se convertirán en parte de la plataforma Copilot+ cuando se lancen a finales de este año.

Benchmarks de IA Existentes

Geekbench ML: Desarrollado por los mismos creadores del estándar de la industria Geekbench 6, este benchmark multiplataforma mide el rendimiento de aprendizaje automático de tu computadora en la CPU y la GPU, o utiliza los frameworks Core ML o NNAPI para probar los aceleradores neuronales.

Al igual que Geekbench 6, Geekbench ML utiliza cargas de trabajo del mundo real que implican visión por computadora y procesamiento del lenguaje natural.

Dado que Geekbench ML combina múltiples pruebas del mundo real en un solo benchmark, devuelve una puntuación sintética. Con resultados de la NPU que varían desde menos de 500 en el OnePlus Nord hasta más de 3,600 en el Apple iPhone 15 Pro, hay una variabilidad masiva en las puntuaciones. Un número más alto es preferido e indica un mejor rendimiento de la NPU. Sin embargo, puede ser difícil conceptualizar la diferencia entre un promedio de NPU de Geekbench ML de 500 en comparación con 3,600.

Por supuesto, comenzaremos a tener una mejor comprensión de esto a medida que probemos más PCs con IA y comparemos los resultados sintéticos con lo que estamos viendo en las pruebas del mundo real.

UL Procyon AI Image Generation: UL, la misma compañía que desarrolla 3DMark y PCMark 10, ha creado la suite de benchmarks Procyon, que está más orientada a pruebas de software de grado profesional en comparación con pruebas de juegos o productividad general.

El benchmark UL Procyon AI Image Generation mide el rendimiento de inferencia de los aceleradores de IA en el dispositivo para generar imágenes usando Stable Diffusion. El benchmark incluye dos pruebas para medir el rendimiento de GPUs discretas de gama media y alta. Se puede configurar para trabajar con los motores de inferencia Nvidia TensorRT, Intel OpenVINO y ONNX.

Aunque una NPU puede asistir en la generación de imágenes, este benchmark de Procyon no se enfoca únicamente en la NPU. Esto hace que sea complicado usarlo como un benchmark de NPU porque involucra tanto la NPU como la GPU en las cargas de trabajo de generación de imágenes.

El benchmark Procyon AI Image Generation devuelve una puntuación sintética, al igual que Geekbench ML, lo que puede dificultar la comprensión del rendimiento de tu PC con IA. Mientras el desafío de la prueba utilizando tanto la NPU como la GPU persista, nuevamente deberíamos poder afinar una mejor comprensión de los resultados a medida que probemos más PCs con IA.

UL Procyon AI Computer Vision: El segundo benchmark UL Procyon AI es la prueba de Visión por Computadora AI, que puede medir el rendimiento de inferencia de IA utilizando la CPU, GPU o aceleradores de IA dedicados como una NPU.

Este benchmark multiplataforma para Windows y Mac puede ejecutar los motores de inferencia Nvidia TensorRT, Intel OpenVINO, Qualcomm SNPE, Microsoft Windows ML y Apple Core ML.

Al igual que los otros benchmarks UL Procyon y Geekbench ML, las puntuaciones para el benchmark Procyon AI Computer Vision son sintéticas. Si bien se prefieren puntuaciones más altas, esto nuevamente será difícil de depender como único indicador de rendimiento de IA. Al igual que la prueba anterior, esto se complica por el uso de más que solo la NPU.

Otras Cargas de Prueba de IA

Hay algunas otras opciones de benchmark, aunque no están tan formalizadas como Geekbench ML o la suite UL Procyon. Estos benchmarks a menudo implican la instalación de software, realizar cambios en el software y luego dejar que la carga de trabajo de prueba se ejecute.

Algunas pruebas implican usar programas como Audacity para eliminar el ruido de fondo de un video o requieren que la NPU complete automáticamente un programa en Python. Estas pruebas proporcionan un resultado específico, haciéndolas sentir más «del mundo real» que los resultados sintéticos generados por Geekbench o Procyon. Sin embargo, estas pruebas implican un largo período de configuración y toman mucho tiempo en ejecutarse. Esto dificulta que las pruebas sean lo suficientemente repetibles como para unirse a nuestra suite de benchmarks. Un intento de ejecutar la carga de trabajo de Python dejó la unidad de revisión inutilizable hasta que se reinició varias veces.

Por ahora, nuestras pruebas de PCs con IA implican principalmente ejecutar Geekbench ML y las dos pruebas UL Procyon AI porque son mucho más simples de configurar y ejecutar para obtener resultados reproducibles.

El Futuro de las Pruebas de IA

Como la mayoría de las cosas relacionadas con los PCs con IA, esta lista de benchmarks está sujeta a cambios. Aunque no estamos en la primera generación de procesadores de IA, aún estamos en la etapa inicial del desarrollo de PCs con IA. Las compañías todavía están argumentando por qué necesitas un PC con IA en comparación con una computadora regular. Esto significa que podríamos terminar con una gran cantidad de nuevos benchmarks para PCs con IA en el futuro.

Esos benchmarks probablemente serán tan variados como el uso de los PCs con IA se vuelva a medida que los procesadores evolucionen con el tiempo.

El laboratorio de pruebas de Laptop Mag continuará evaluando nuevas pruebas y nuestro proceso evolucionará para asegurar que te brindemos la mejor y más precisa representación del rendimiento de los PCs con IA.