Prueba C
Tres años evaluando IA de frontera
Desde 2023, evaluación profesional de los grandes modelos de lenguaje detrás de los productos de IA actuales — el conocimiento práctico de cómo se comportan, y cómo fallan, que fundamenta cada integración de IA que construyo.
- Período
- 2023 — presente
- Foco
- Evaluación de código y razonamiento
- Método
- RLHF · prompts adversariales · rúbricas estrictas
Evaluación de LLMs · RLHF · prompt engineering
El trabajo
Desde 2023 trabajo como AI trainer y especialista en RLHF para proveedores de los principales laboratorios de IA — evaluando y rankeando salidas de modelos en tareas de código y razonamiento, diseñando prompts adversariales que buscan dónde se rompen, y revisando el trabajo de pares bajo rúbricas de calidad estrictas. Ese es el circuito de retroalimentación humana con el que se entrenan los modelos de lenguaje líderes de hoy.
Por qué importa para tu proyecto
La mayoría de las “integraciones de IA” fallan en la brecha entre la demo y producción: el modelo que parecía brillante en una prueba alucina un precio, rompe un caso borde o se degrada en silencio después de un cambio de prompt. Tres años de evaluación profesional significan que diseño contra esas fallas desde el inicio:
- Integraciones con evaluación primero — cada funcionalidad de IA sale con pruebas que miden si el modelo hace el trabajo, no solo si el código corre.
- Conocimiento de los modos de falla — sé distinguir lo que un modelo hace de forma confiable de lo que solo puede demostrar en una demo.
- Alcance honesto — parte de tu proceso conviene automatizarla con software tradicional, no con IA. Te digo cuál es cuál.
El resultado
Las funcionalidades de IA construidas sobre esta base hacen el trabajo que prometen — o no salen a producción. Ese criterio es la diferencia entre la IA como funcionalidad y la IA como pasivo.