# Evaluación de LLM y agentes de IA La evaluación conecta una decisión de ingeniería con evidencia observable. Estos proyectos separan dimensiones que suelen mezclarse: una respuesta puede tener JSON válido y ser incorrecta, incluir una cita sin respaldo o resolver una tarea violando un límite de ejecución. Por [Lucio Durán]() · Uruguay ## Qué decisión querés resolver ### Para decidir un cambio de modelo Comparar ambos candidatos sobre tareas versionadas y revisar los segmentos que retroceden. Model Regression Gate conserva resultados pareados y distingue aceptación, rechazo y revisión. ### Para evaluar respuestas Medir el contenido además del formato. Structured Output Contracts contrasta validez con exactitud; Citation Grounding Checker vincula cada afirmación con el pasaje que podría respaldarla. ### Para evaluar agentes Registrar efectos observables y fallos, además de la respuesta final. Agent Injection Evals separa capacidad, intentos de ataque y efectos realizados; Agent Context Budget estudia pérdida de evidencia y calidad de respuesta. ## Proyectos y evidencia Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes. - ### [Model Regression Gate]() Control reproducible de promoción de modelos, con tareas versionadas, comparaciones pareadas de exactitud, tolerancias por segmento y un resultado separado que exige revisión. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() · [Release v0.1.0]() - ### [Agent Injection Evals]() Evaluación reproducible de inyección de prompts con un modelo local fijado, herramientas simuladas y métricas separadas de capacidad, intentos de ataque y efectos realizados. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() - ### [Structured Output Contracts]() Contratos JSON acotados con validación estricta, rechazos explícitos y reintentos limitados. Compara validez y exactitud con dos modelos Qwen locales y respuestas originales. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() · [Release v0.1.0]() - ### [Citation Grounding Checker]() Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() · [Release v0.1.0]() - ### [AI Model Routing Policy]() Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() · [Release v0.1.0]() - ### [Agent Context Budget]() Compara la entrada de ventana completa, el truncamiento, la selección y la compresión extractiva, y mide la pérdida de evidencia por separado de la calidad de las respuestas. Python · Licencia: MIT [Leer la ficha]() · [Repositorio]() · [Release v0.1.1]() ## Lecturas de arquitectura y método - ### [Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta]() Cómo evaluar agentes de larga duración con estado verificable, controles de procedimiento, intentos repetidos, infraestructura comparable y costos que incluyan los fracasos.