El equipo de Google AI & Infrastructure anunció este 3 de noviembre Physical-Engineering’s Last Exam (PLE), una evaluación y competencia abierta desarrollada con Mercor para medir cómo trabajan los agentes de IA en proyectos de ingeniería. Según el anuncio de Google Cloud, ninguno de los modelos evaluados alcanzó el 50% en las pruebas privadas.

🧠 La idea es ir más allá de contestar preguntas de libro: Google señala que los modelos de frontera ya superan el 90% en muchas evaluaciones académicas, pero eso no demuestra que puedan entregar diseños seguros, ajustados a normas y con costos eficientes. Mientras Humanity’s Last Exam mide conocimientos generales y Agents’ Last Exam evalúa trabajo profesional digital, PLE se concentra en tareas para construir el mundo físico, siempre bajo revisión y control de un ingeniero con licencia.

⚙️ PLE reúne 85 tareas de ejecución prolongada repartidas entre cuatro disciplinas. Para construirlas, ingenieros en ejercicio redactaron directamente 44; en las otras 41, definieron el trabajo inicial y una cadena de agentes armó el entorno y el evaluador a partir de normas de ingeniería cuyo uso se puede licenciar, antes de que los ingenieros validaran cada tarea y elevaran su dificultad.

  • Ingeniería mecánica: 30 tareas.
  • Ingeniería eléctrica: 27 tareas.
  • Ingeniería civil: 18 tareas.
  • Ingeniería estructural: 10 tareas.

🛠️ Cada agente trabaja en una carpeta de proyecto dentro de un contenedor, sobre el entorno Archipelago de Mercor: hay un promedio de 61 archivos por tarea y 5,170 en toda la evaluación, entre PDF, hojas de cálculo, correos, planos CAD 2D, modelos BIM 3D y revisiones de documentos. Debe revisar ese material, identificar las normas de construcción y los límites físicos aplicables, hacer cálculos y producir entregables listos para que un profesional con licencia los revise y apruebe.

📊 Google probó 14 modelos de frontera con siete entornos de ejecución para agentes disponibles públicamente: Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands y Pi. La evaluación considera cumplimiento normativo y eficiencia de costos, pero un diseño solo recibe puntos si primero supera todos los controles obligatorios de seguridad.

  • El mejor modelo, usando su entorno de ejecución nativo, obtuvo una puntuación media de 48.3% en el conjunto privado; todos quedaron por debajo del 50%.
  • En las tareas coelaboradas, la configuración de agente con mayor puntuación cumplió el 91% de las restricciones individuales, pero solo el 41.3% de sus entregables pasó todos los controles obligatorios de seguridad y viabilidad.
  • La elección del modelo produjo diferencias de hasta 50 puntos; al cambiar el entorno de ejecución para un mismo modelo, la diferencia mediana fue de 3 puntos. El entorno sí afectó de manera importante el costo de ejecución.

¿Por qué importa para quienes desarrollan agentes?

PLE permite evaluar agentes con archivos de proyecto, reglas estrictas de seguridad y costos de materiales, en lugar de quedarse con respuestas aisladas que suenan correctas. Google liberó 29 tareas públicas, sus herramientas de calificación y un contenedor de evaluación en GitHub; también ofrece un artículo técnico en arXiv y una tabla de posiciones abierta en ple-bench.com.

La competencia permite enviar una configuración propia de agente para evaluarla con el conjunto privado. Además, hay 13 modelos patrocinados por Google que se pueden ejecutar gratis en sus servidores; los detalles de los premios se anunciarán después.

💬 Si desarrollaras un agente para ingeniería, ¿qué priorizarías: subir su puntuación o demostrar que cada entregable pasa todos los controles de seguridad?

¿Pero deveras? 🌵💚