Evaluación de LLM y agentes de IA
La evaluación conecta una decisión de ingeniería con evidencia observable. Estos proyectos separan dimensiones que suelen mezclarse: una respuesta puede tener JSON válido y ser incorrecta, incluir una cita sin respaldo o resolver una tarea violando un límite de ejecución.
Qué decisión querés resolver
Para decidir un cambio de modelo
Comparar ambos candidatos sobre tareas versionadas y revisar los segmentos que retroceden. Model Regression Gate conserva resultados pareados y distingue aceptación, rechazo y revisión.
Para evaluar respuestas
Medir el contenido además del formato. Structured Output Contracts contrasta validez con exactitud; Citation Grounding Checker vincula cada afirmación con el pasaje que podría respaldarla.
Para evaluar agentes
Registrar efectos observables y fallos, además de la respuesta final. Agent Injection Evals separa capacidad, intentos de ataque y efectos realizados; Agent Context Budget estudia pérdida de evidencia y calidad de respuesta.
Proyectos y evidencia
Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes.
Model Regression Gate
Control reproducible de promoción de modelos, con tareas versionadas, comparaciones pareadas de exactitud, tolerancias por segmento y un resultado separado que exige revisión.
Agent Injection Evals
Evaluación reproducible de inyección de prompts con un modelo local fijado, herramientas simuladas y métricas separadas de capacidad, intentos de ataque y efectos realizados.
Structured Output Contracts
Contratos JSON acotados con validación estricta, rechazos explícitos y reintentos limitados. Compara validez y exactitud con dos modelos Qwen locales y respuestas originales.
Citation Grounding Checker
Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.
AI Model Routing Policy
Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.
Agent Context Budget
Compara la entrada de ventana completa, el truncamiento, la selección y la compresión extractiva, y mide la pérdida de evidencia por separado de la calidad de las respuestas.
Lecturas de arquitectura y método
Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta
Cómo evaluar agentes de larga duración con estado verificable, controles de procedimiento, intentos repetidos, infraestructura comparable y costos que incluyan los fracasos.