Evaluations Framework

Descripción

Framework sistemático para evaluar la calidad de outputs de agentes, asegurando estándares de excelencia en la entrega de software.

Tipos de Evaluación

1. PBI Decomposition Quality

Evalúa la calidad de la descomposición de historias de usuario:

• ¿Las tareas tienen un tamaño adecuado? (Story Points 2-8)
• ¿Incluye todas las actividades necesarias?
• ¿Las estimaciones son realistas?

Rubric:

• Excellent (90-100): Descomposición completa, tamaños consistentes, estimaciones precisas
• Good (70-89): Descomposición adecuada con detalles menores faltantes
• Fair (50-69): Tareas incompletas o mal estimadas
• Poor (<50): Descomposición insuficiente o ilógica

2. Spec Generation Quality

Evalúa la calidad de especificaciones técnicas generadas:

• ¿Cubre criterios de aceptación completamente?
• ¿Es verificable y comprobable?
• ¿Es implementable sin ambigüedades?

Rubric:

• Excellent (90-100): Especificación clara, completa, verificable
• Good (70-89): Especificación adecuada con gaps menores
• Fair (50-69): Ambigüedades significativas, algunos criterios faltantes
• Poor (<50): Especificación incompleta o confusa

3. Estimation Accuracy

Evalúa la precisión de estimaciones tras finalizar sprints:

• Comparación: horas predichas vs. horas reales
• Análisis de desviaciones por tipo de tarea
• Tendencias históricas

Rubric:

• Excellent (90-100): Desviación <10%
• Good (70-89): Desviación 10-20%
• Fair (50-69): Desviación 20-35%
• Poor (<50): Desviación >35%

4. Review Thoroughness

Evalúa la calidad de revisiones de código/requisitos:

• Cantidad de issues encontrados vs. missed
• Cobertura de áreas críticas
• Profundidad del análisis

Rubric:

• Excellent (90-100): >90% issues detectados, análisis profundo
• Good (70-89): 70-90% issues detectados
• Fair (50-69): 50-70% issues detectados
• Poor (<50): <50% issues detectados

5. Assignment Quality

Evalúa si las tareas se asignaron a personas idóneas:

• ¿Coincide experiencia con complejidad?
• ¿Hay oportunidades de crecimiento?
• ¿Están balanceadas las cargas?

Rubric:

• Excellent (90-100): Asignación óptima, desarrollo continuo
• Good (70-89): Asignación apropiada
• Fair (50-69): Algunos mismatches
• Poor (<50): Múltiples mismatches graves

Proceso de Evaluación

1. Define eval set: Selecciona items a evaluar (PBIs, specs, sprints, etc.)
2. Run agent: Ejecuta el agente o process a evaluar
3. Score outputs: Aplica rubric correspondiente
4. Analyze patterns: Identifica tendencias y áreas de mejora
5. Improve: Ajusta prompts, skills, procesos

Almacenamiento

Evaluaciones se guardan en:

data/evals/{eval-name}/
├── config.json (definición y rubric)
├── results/
│   └── {timestamp}.json (scores, feedback)
└── trends/
    └── {eval-name}-trends.json (análisis histórico)

Automatización

• Scheduled runs: Ejecutarse en horarios definidos
• Trend analysis: Detectar patrones a lo largo del tiempo
• Regression detection: Alertas si scores caen >10%
• Reports: Generación automática de reportes

Integración

Las evaluaciones se integran con el workflow de sprints, refinamiento y planning para mejora continua basada en datos.