Ship Shift · Glosario

Evaluación de modelos (evals)

La evaluación de modelos (evals) es el conjunto de pruebas y métricas para medir si un sistema de IA cumple el nivel de calidad acordado en casos reales.

Actualizado: 17/11/2026

Consultoría de IA aplicada

Definición

La evaluación de modelos (evals) es el conjunto de pruebas y métricas para medir si un sistema de IA cumple el nivel de calidad acordado en casos reales.

Explicación

«Me gusta la respuesta» no es una métrica. Define un set de casos etiquetados, criterios de éxito (exact match, top-k, rubric humana) y umbral de go/no-go. Repite tras cada cambio de prompt, modelo o índice RAG.

Para agentes, evalúa trayectorias: ¿llamó a la herramienta correcta?, ¿pidió confirmación?, ¿alucinó un SKU? Automatiza lo automatizable y reserva revisión humana para ambigüedad. Sin evals, los despliegues son fe ciega.

Publicamos cifras solo cuando están medidas con el cliente (p. ej. 83 % acierto a la primera en tipificación de partidas). El resto se deja como cualitativo.

Ejemplo en empresa

Antes de ampliar un clasificador de emails, corremos 200 mensajes históricos etiquetados por el equipo y solo subimos a producción si la precisión por clase supera el umbral pactado.

Términos relacionados

Cómo lo trabajamos en Ship Shift

No publicamos definiciones aisladas: cada término del glosario encaja con un servicio o una solución que ya desplegamos. Si tu equipo está evaluando Evaluación de modelos (evals), partimos del proceso real (datos, canales, ERP) y solo después elegimos el modelo o la herramienta. Puedes seguir en Datos y analítica o contarnos el caso en contacto.

Datos y analítica · ← Volver al glosario A–Z