{"schemaVersion":1,"id":"https://lucioduran.com/es/topics/llm-evaluation","url":"https://lucioduran.com/es/topics/llm-evaluation","title":"Evaluación de LLM y agentes de IA","description":"Evaluación reproducible de modelos y agentes: regresiones, citas, salidas estructuradas e inyección de prompts. Código y resultados de Lucio Durán.","language":"es","datePublished":"2026-11-10","dateModified":"2026-11-10","contentFormat":"text/markdown","content":"# Evaluación de LLM y agentes de IA\n\nLa evaluación conecta una decisión de ingeniería con evidencia observable. Estos proyectos separan dimensiones que suelen mezclarse: una respuesta puede tener JSON válido y ser incorrecta, incluir una cita sin respaldo o resolver una tarea violando un límite de ejecución.\n\nPor [Lucio Durán](<https://lucioduran.com/es>) · Uruguay\n\n## Qué decisión querés resolver\n\n### Para decidir un cambio de modelo\n\nComparar ambos candidatos sobre tareas versionadas y revisar los segmentos que retroceden. Model Regression Gate conserva resultados pareados y distingue aceptación, rechazo y revisión.\n\n### Para evaluar respuestas\n\nMedir el contenido además del formato. Structured Output Contracts contrasta validez con exactitud; Citation Grounding Checker vincula cada afirmación con el pasaje que podría respaldarla.\n\n### Para evaluar agentes\n\nRegistrar efectos observables y fallos, además de la respuesta final. Agent Injection Evals separa capacidad, intentos de ataque y efectos realizados; Agent Context Budget estudia pérdida de evidencia y calidad de respuesta.\n\n## Proyectos y evidencia\n\nCada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes.\n\n- ### [Model Regression Gate](<https://lucioduran.com/es/projects/model-regression-gate>)\n\n  Control reproducible de promoción de modelos, con tareas versionadas, comparaciones pareadas de exactitud, tolerancias por segmento y un resultado separado que exige revisión.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/model-regression-gate>) · [Repositorio](<https://github.com/lucioduran/model-regression-gate>) · [Release v0.1.0](<https://github.com/lucioduran/model-regression-gate/releases/tag/v0.1.0>)\n- ### [Agent Injection Evals](<https://lucioduran.com/es/projects/agent-injection-evals>)\n\n  Evaluación reproducible de inyección de prompts con un modelo local fijado, herramientas simuladas y métricas separadas de capacidad, intentos de ataque y efectos realizados.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/agent-injection-evals>) · [Repositorio](<https://github.com/lucioduran/agent-injection-evals>)\n- ### [Structured Output Contracts](<https://lucioduran.com/es/projects/structured-output-contracts>)\n\n  Contratos JSON acotados con validación estricta, rechazos explícitos y reintentos limitados. Compara validez y exactitud con dos modelos Qwen locales y respuestas originales.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/structured-output-contracts>) · [Repositorio](<https://github.com/lucioduran/structured-output-contracts>) · [Release v0.1.0](<https://github.com/lucioduran/structured-output-contracts/releases/tag/v0.1.0>)\n- ### [Citation Grounding Checker](<https://lucioduran.com/es/projects/citation-grounding-checker>)\n\n  Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/citation-grounding-checker>) · [Repositorio](<https://github.com/lucioduran/citation-grounding-checker>) · [Release v0.1.0](<https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0>)\n- ### [AI Model Routing Policy](<https://lucioduran.com/es/projects/ai-model-routing-policy>)\n\n  Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/ai-model-routing-policy>) · [Repositorio](<https://github.com/lucioduran/ai-model-routing-policy>) · [Release v0.1.0](<https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0>)\n- ### [Agent Context Budget](<https://lucioduran.com/es/projects/agent-context-budget>)\n\n  Compara la entrada de ventana completa, el truncamiento, la selección y la compresión extractiva, y mide la pérdida de evidencia por separado de la calidad de las respuestas.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/agent-context-budget>) · [Repositorio](<https://github.com/lucioduran/agent-context-budget>) · [Release v0.1.1](<https://github.com/lucioduran/agent-context-budget/releases/tag/v0.1.1>)\n\n## Lecturas de arquitectura y método\n\n- ### [Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta](<https://lucioduran.com/es/blog/agent-evaluation-harness-contamination-cost-per-success>)\n\n  Cómo evaluar agentes de larga duración con estado verificable, controles de procedimiento, intentos repetidos, infraestructura comparable y costos que incluyan los fracasos.","headings":[{"level":1,"text":"Evaluación de LLM y agentes de IA","url":"https://lucioduran.com/es/topics/llm-evaluation#title"},{"level":2,"text":"Qué decisión querés resolver","url":"https://lucioduran.com/es/topics/llm-evaluation#decisions"},{"level":3,"text":"Para decidir un cambio de modelo","url":"https://lucioduran.com/es/topics/llm-evaluation#decision-1"},{"level":3,"text":"Para evaluar respuestas","url":"https://lucioduran.com/es/topics/llm-evaluation#decision-2"},{"level":3,"text":"Para evaluar agentes","url":"https://lucioduran.com/es/topics/llm-evaluation#decision-3"},{"level":2,"text":"Proyectos y evidencia","url":"https://lucioduran.com/es/topics/llm-evaluation#projects"},{"level":3,"text":"Model Regression Gate","url":"https://lucioduran.com/es/topics/llm-evaluation#project-model-regression-gate"},{"level":3,"text":"Agent Injection Evals","url":"https://lucioduran.com/es/topics/llm-evaluation#project-agent-injection-evals"},{"level":3,"text":"Structured Output Contracts","url":"https://lucioduran.com/es/topics/llm-evaluation#project-structured-output-contracts"},{"level":3,"text":"Citation Grounding Checker","url":"https://lucioduran.com/es/topics/llm-evaluation#project-citation-grounding-checker"},{"level":3,"text":"AI Model Routing Policy","url":"https://lucioduran.com/es/topics/llm-evaluation#project-ai-model-routing-policy"},{"level":3,"text":"Agent Context Budget","url":"https://lucioduran.com/es/topics/llm-evaluation#project-agent-context-budget"},{"level":2,"text":"Lecturas de arquitectura y método","url":"https://lucioduran.com/es/topics/llm-evaluation#articles"},{"level":3,"text":"Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta","url":"https://lucioduran.com/es/topics/llm-evaluation#article-agent-evaluation-harness-contamination-cost-per-success"}],"sections":[{"heading":"Evaluación de LLM y agentes de IA","level":1,"url":"https://lucioduran.com/es/topics/llm-evaluation","content":""},{"heading":"Evaluación de LLM y agentes de IA","level":1,"url":"https://lucioduran.com/es/topics/llm-evaluation#title","content":"La evaluación conecta una decisión de ingeniería con evidencia observable. Estos proyectos separan dimensiones que suelen mezclarse: una respuesta puede tener JSON válido y ser incorrecta, incluir una cita sin respaldo o resolver una tarea violando un límite de ejecución.\n\nPor [Lucio Durán](<https://lucioduran.com/es>) · Uruguay"},{"heading":"Qué decisión querés resolver","level":2,"url":"https://lucioduran.com/es/topics/llm-evaluation#decisions","content":""},{"heading":"Para decidir un cambio de modelo","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#decision-1","content":"Comparar ambos candidatos sobre tareas versionadas y revisar los segmentos que retroceden. Model Regression Gate conserva resultados pareados y distingue aceptación, rechazo y revisión."},{"heading":"Para evaluar respuestas","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#decision-2","content":"Medir el contenido además del formato. Structured Output Contracts contrasta validez con exactitud; Citation Grounding Checker vincula cada afirmación con el pasaje que podría respaldarla."},{"heading":"Para evaluar agentes","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#decision-3","content":"Registrar efectos observables y fallos, además de la respuesta final. Agent Injection Evals separa capacidad, intentos de ataque y efectos realizados; Agent Context Budget estudia pérdida de evidencia y calidad de respuesta."},{"heading":"Proyectos y evidencia","level":2,"url":"https://lucioduran.com/es/topics/llm-evaluation#projects","content":"Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes."},{"heading":"Model Regression Gate","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-model-regression-gate","content":"Control reproducible de promoción de modelos, con tareas versionadas, comparaciones pareadas de exactitud, tolerancias por segmento y un resultado separado que exige revisión.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/model-regression-gate>) · [Repositorio](<https://github.com/lucioduran/model-regression-gate>) · [Release v0.1.0](<https://github.com/lucioduran/model-regression-gate/releases/tag/v0.1.0>)"},{"heading":"Agent Injection Evals","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-agent-injection-evals","content":"Evaluación reproducible de inyección de prompts con un modelo local fijado, herramientas simuladas y métricas separadas de capacidad, intentos de ataque y efectos realizados.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/agent-injection-evals>) · [Repositorio](<https://github.com/lucioduran/agent-injection-evals>)"},{"heading":"Structured Output Contracts","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-structured-output-contracts","content":"Contratos JSON acotados con validación estricta, rechazos explícitos y reintentos limitados. Compara validez y exactitud con dos modelos Qwen locales y respuestas originales.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/structured-output-contracts>) · [Repositorio](<https://github.com/lucioduran/structured-output-contracts>) · [Release v0.1.0](<https://github.com/lucioduran/structured-output-contracts/releases/tag/v0.1.0>)"},{"heading":"Citation Grounding Checker","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-citation-grounding-checker","content":"Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/citation-grounding-checker>) · [Repositorio](<https://github.com/lucioduran/citation-grounding-checker>) · [Release v0.1.0](<https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0>)"},{"heading":"AI Model Routing Policy","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-ai-model-routing-policy","content":"Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/ai-model-routing-policy>) · [Repositorio](<https://github.com/lucioduran/ai-model-routing-policy>) · [Release v0.1.0](<https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0>)"},{"heading":"Agent Context Budget","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#project-agent-context-budget","content":"Compara la entrada de ventana completa, el truncamiento, la selección y la compresión extractiva, y mide la pérdida de evidencia por separado de la calidad de las respuestas.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/agent-context-budget>) · [Repositorio](<https://github.com/lucioduran/agent-context-budget>) · [Release v0.1.1](<https://github.com/lucioduran/agent-context-budget/releases/tag/v0.1.1>)"},{"heading":"Lecturas de arquitectura y método","level":2,"url":"https://lucioduran.com/es/topics/llm-evaluation#articles","content":""},{"heading":"Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta","level":3,"url":"https://lucioduran.com/es/topics/llm-evaluation#article-agent-evaluation-harness-contamination-cost-per-success","content":"Cómo evaluar agentes de larga duración con estado verificable, controles de procedimiento, intentos repetidos, infraestructura comparable y costos que incluyan los fracasos."}],"links":[{"text":"Lucio Durán","url":"https://lucioduran.com/es"},{"text":"Model Regression Gate","url":"https://lucioduran.com/es/projects/model-regression-gate"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/model-regression-gate"},{"text":"Repositorio","url":"https://github.com/lucioduran/model-regression-gate"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/model-regression-gate/releases/tag/v0.1.0"},{"text":"Agent Injection Evals","url":"https://lucioduran.com/es/projects/agent-injection-evals"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/agent-injection-evals"},{"text":"Repositorio","url":"https://github.com/lucioduran/agent-injection-evals"},{"text":"Structured Output Contracts","url":"https://lucioduran.com/es/projects/structured-output-contracts"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/structured-output-contracts"},{"text":"Repositorio","url":"https://github.com/lucioduran/structured-output-contracts"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/structured-output-contracts/releases/tag/v0.1.0"},{"text":"Citation Grounding Checker","url":"https://lucioduran.com/es/projects/citation-grounding-checker"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/citation-grounding-checker"},{"text":"Repositorio","url":"https://github.com/lucioduran/citation-grounding-checker"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0"},{"text":"AI Model Routing Policy","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"},{"text":"Repositorio","url":"https://github.com/lucioduran/ai-model-routing-policy"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0"},{"text":"Agent Context Budget","url":"https://lucioduran.com/es/projects/agent-context-budget"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/agent-context-budget"},{"text":"Repositorio","url":"https://github.com/lucioduran/agent-context-budget"},{"text":"Release v0.1.1","url":"https://github.com/lucioduran/agent-context-budget/releases/tag/v0.1.1"},{"text":"Evaluar agentes sin autoengaño: harness, contaminación y costo por tarea resuelta","url":"https://lucioduran.com/es/blog/agent-evaluation-harness-contamination-cost-per-success"}],"structuredData":[{"@context":"https://schema.org","@graph":[{"@type":"Person","@id":"https://lucioduran.com/#person","name":"Lucio Durán","url":"https://lucioduran.com/"},{"@type":"WebSite","@id":"https://lucioduran.com/#website","url":"https://lucioduran.com/","name":"Lucio Durán","inLanguage":["en","es"],"publisher":{"@id":"https://lucioduran.com/#person"}},{"@type":"CollectionPage","@id":"https://lucioduran.com/es/topics/llm-evaluation#page","url":"https://lucioduran.com/es/topics/llm-evaluation","name":"Evaluación de LLM y agentes de IA","description":"Evaluación reproducible de modelos y agentes: regresiones, citas, salidas estructuradas e inyección de prompts. Código y resultados de Lucio Durán.","inLanguage":"es","author":{"@id":"https://lucioduran.com/#person"},"publisher":{"@id":"https://lucioduran.com/#person"},"isPartOf":{"@id":"https://lucioduran.com/#website"},"isAccessibleForFree":true,"datePublished":"2026-11-10","dateModified":"2026-11-10","mainEntity":{"@type":"ItemList","numberOfItems":6,"itemListElement":[{"@type":"ListItem","position":1,"name":"Model Regression Gate","url":"https://lucioduran.com/es/projects/model-regression-gate"},{"@type":"ListItem","position":2,"name":"Agent Injection Evals","url":"https://lucioduran.com/es/projects/agent-injection-evals"},{"@type":"ListItem","position":3,"name":"Structured Output Contracts","url":"https://lucioduran.com/es/projects/structured-output-contracts"},{"@type":"ListItem","position":4,"name":"Citation Grounding Checker","url":"https://lucioduran.com/es/projects/citation-grounding-checker"},{"@type":"ListItem","position":5,"name":"AI Model Routing Policy","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"},{"@type":"ListItem","position":6,"name":"Agent Context Budget","url":"https://lucioduran.com/es/projects/agent-context-budget"}]}}]}],"contentHash":"1c19c4e94d5ece03fbbbea26eb37578d2b0f57de5eda1d0969ac0cf12f8a5a40","provenance":{"method":"Deterministic serialization of the server-rendered main element","source":"https://lucioduran.com/es/topics/llm-evaluation","hashAlgorithm":"sha256","hashScope":"JSON document fields before contentHash and provenance","sourceHTMLBytes":42607,"contentBytes":4954}}