{"schemaVersion":1,"id":"https://lucioduran.com/es/projects/citation-grounding-checker","url":"https://lucioduran.com/es/projects/citation-grounding-checker","title":"Citation Grounding Checker","description":"Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.","language":"es","datePublished":"2026-10-21","dateModified":"2026-10-21","contentFormat":"text/markdown","content":"[Proyectos]() / Citation Grounding Checker\n\n# Citation Grounding Checker\n\nVerificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.\n\nAutor: [Lucio Durán]() · Python 3.11.13 · Licencia: [MIT]()\n\nFicha publicada: 2026-10-21 · Ficha actualizada: 2026-10-21\n\n[Repositorio]() · [Evidencia original]() · [Release v0.1.0]()\n\n## Problema y utilidad para agentes\n\nRecuperar una fuente relevante no demuestra que respalde una afirmación. Una cifra alterada, una negación o un contexto omitido cambian lo que una cita permite concluir.\n\nEl proyecto expone afirmación, pasaje, etiqueta de referencia y veredicto juntos. Permite inspeccionar errores de grounding sin mezclarlos con errores del buscador: aquí el pasaje ya está dado.\n\n## Arquitectura\n\n1. **Contrato de evidencia.** Valida las citas literales, offsets, archivos y separación entre desarrollo y evaluación. Cada veredicto enlaza un pasaje con revisión inmutable.\n2. **Tres verificadores.** Reglas conservadoras, FLAN-T5-small y DeBERTa v3 xsmall NLI reciben solo pasaje y afirmación. Etiquetas, categorías y explicaciones de referencia quedan fuera del prompt.\n3. **Evaluación explícita.** Distingue respaldo, contradicción, evidencia insuficiente y abstención. Conserva salidas originales, hashes, matrices de confusión y métricas por categoría.\n\n- [Diseño y metodología]()\n\n## Qué demuestra\n\n- Trazabilidad desde una afirmación hasta su evidencia textual exacta.\n- Evaluación comparada de verificadores con cobertura y abstenciones visibles.\n- Ejecución local de modelos fijados y separación de etiquetas respecto de entradas.\n\n## Resultados publicados\n\nCorpus original de 48 pares sintéticos sobre 16 pasajes: 12 casos de desarrollo y 36 de evaluación. Los modelos se ejecutaron en Intel Xeon W-3223 con dos hilos de CPU.\n\nLas tres clases tienen 12 casos cada una en evaluación. La precisión se calcula entre las predicciones emitidas para cada clase; los aciertos usan los 36 casos como denominador. Abstenerse no equivale a clasificar evidencia como insuficiente.\n\n### Veredictos sobre los 36 casos de evaluación\n\n| Método | Aciertos | Abstenciones | Precisión: respaldo | Precisión: contradicción | Precisión: insuficiente |\n| --- | --- | --- | --- | --- | --- |\n| Reglas | 3 / 36 | 33 / 36 | 1.000 | 1.000 | Sin predicciones |\n| FLAN-T5-small | 21 / 36 | 0 / 36 | 0.500 | 0.583 | 0.833 |\n| DeBERTa NLI | 31 / 36 | 1 / 36 | 0.923 | 0.800 | 1.000 |\n\nDeBERTa acertó 31 de 36 casos y se abstuvo en uno. Las reglas acertaron tres y se abstuvieron en 33. La precisión de las reglas sobre sus pocas respuestas debe leerse junto con esa cobertura.\n\nLas etiquetas son referencias sintéticas del autor. No hay anotación humana independiente ni medición de desacuerdo entre revisores. El análisis conserva errores numéricos, de paráfrasis y de contexto. [Resultados y análisis]().\n\n## Reproducir\n\nValidación, reglas y replay usan Python 3.11 o posterior sin dependencias de modelos. La inferencia completa requiere descargar los pesos fijados y sus paquetes.\n\nLos comandos de entorno usan shell POSIX. La medición exige un árbol Git limpio y una salida nueva. El lock corresponde a Intel macOS; cada nueva ejecución conserva sus propios metadatos.\n\n### Revisar la evidencia guardada\n\n```\ngit clone https://github.com/lucioduran/citation-grounding-checker.git\ncd citation-grounding-checker\ngit checkout 1bb2d88a9a434e3193949f8e92f1aff3e118199c\npython -m grounding validate\npython -m grounding verify --report results/eval/report.json\npython -m grounding check --passage \"The gate is open.\" --claim \"The gate is not open.\"\n```\n\n### Repetir la medición local\n\n```\npython -m venv .venv\n. .venv/bin/activate\npython -m pip install -r requirements-local.lock\npython -m grounding download\nHF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split dev --output build/dev\nHF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split eval --output build/eval\npython -m grounding verify --report build/eval/report.json\n```\n\n## Alcance y límites\n\n- Corpus pequeño, sintético y conocido por el autor; varios casos comparten pasajes y plantillas.\n- Umbral NLI fijo de 0,6 sin calibración. No hay recuperación web, validación humana ni evaluación de seguridad de producción.\n- Los tiempos son observaciones individuales. El replay recalcula resultados guardados, no repite inferencia ni establece su autenticidad.\n\n- [Arquitectura RAG: recuperación, citas y evaluación]()\n\n## Fuentes y revisión\n\nLos valores de esta ficha provienen del informe enlazado. No son una medición en vivo. El informe conserva la revisión ejecutada; la revisión consultada incluye la publicación posterior de ese informe.\n\n- Revisión consultada: [` 1bb2d88a9a434e3193949f8e92f1aff3e118199c `]()\n- Revisión registrada por el experimento: [` 7fb3a7ca724d31fa4db75a1057d20659a8d33a45 `]()\n- Fecha del informe (UTC): 2026-10-21T21:57:14.496757+00:00\n- Release publicada: [v0.1.0]() · 2026-10-21T21:59:32Z\n- SHA-256 del corpus: ` 9cce1c138bbefbb52c360d9cd2a7eb7839ef5664348d0465b6409314f538e00d `\n\n- [README y uso]()\n- [Evidencia original]()\n- [Evidencia de desarrollo]()\n- [Resultados y análisis]()\n- [Diseño y metodología]()\n- [Corpus y procedencia]()\n- [Modelos, revisiones y licencias]()\n- [Dependencias del entorno medido]()\n- [Licencia MIT]()","headings":[{"level":1,"text":"Citation Grounding Checker","url":"https://lucioduran.com/es/projects/citation-grounding-checker#title"},{"level":2,"text":"Problema y utilidad para agentes","url":"https://lucioduran.com/es/projects/citation-grounding-checker#problem"},{"level":2,"text":"Arquitectura","url":"https://lucioduran.com/es/projects/citation-grounding-checker#architecture"},{"level":2,"text":"Qué demuestra","url":"https://lucioduran.com/es/projects/citation-grounding-checker#demonstrates"},{"level":2,"text":"Resultados publicados","url":"https://lucioduran.com/es/projects/citation-grounding-checker#results"},{"level":3,"text":"Veredictos sobre los 36 casos de evaluación","url":"https://lucioduran.com/es/projects/citation-grounding-checker#results-judgments"},{"level":2,"text":"Reproducir","url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce"},{"level":3,"text":"Revisar la evidencia guardada","url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce-replay"},{"level":3,"text":"Repetir la medición local","url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce-inference"},{"level":2,"text":"Alcance y límites","url":"https://lucioduran.com/es/projects/citation-grounding-checker#scope"},{"level":2,"text":"Fuentes y revisión","url":"https://lucioduran.com/es/projects/citation-grounding-checker#sources"}],"sections":[{"heading":"Citation Grounding Checker","level":1,"url":"https://lucioduran.com/es/projects/citation-grounding-checker","content":"[Proyectos]() / Citation Grounding Checker"},{"heading":"Citation Grounding Checker","level":1,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#title","content":"Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.\n\nAutor: [Lucio Durán]() · Python 3.11.13 · Licencia: [MIT]()\n\nFicha publicada: 2026-10-21 · Ficha actualizada: 2026-10-21\n\n[Repositorio]() · [Evidencia original]() · [Release v0.1.0]()"},{"heading":"Problema y utilidad para agentes","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#problem","content":"Recuperar una fuente relevante no demuestra que respalde una afirmación. Una cifra alterada, una negación o un contexto omitido cambian lo que una cita permite concluir.\n\nEl proyecto expone afirmación, pasaje, etiqueta de referencia y veredicto juntos. Permite inspeccionar errores de grounding sin mezclarlos con errores del buscador: aquí el pasaje ya está dado."},{"heading":"Arquitectura","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#architecture","content":"1. **Contrato de evidencia.** Valida las citas literales, offsets, archivos y separación entre desarrollo y evaluación. Cada veredicto enlaza un pasaje con revisión inmutable.\n2. **Tres verificadores.** Reglas conservadoras, FLAN-T5-small y DeBERTa v3 xsmall NLI reciben solo pasaje y afirmación. Etiquetas, categorías y explicaciones de referencia quedan fuera del prompt.\n3. **Evaluación explícita.** Distingue respaldo, contradicción, evidencia insuficiente y abstención. Conserva salidas originales, hashes, matrices de confusión y métricas por categoría.\n\n- [Diseño y metodología]()"},{"heading":"Qué demuestra","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#demonstrates","content":"- Trazabilidad desde una afirmación hasta su evidencia textual exacta.\n- Evaluación comparada de verificadores con cobertura y abstenciones visibles.\n- Ejecución local de modelos fijados y separación de etiquetas respecto de entradas."},{"heading":"Resultados publicados","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#results","content":"Corpus original de 48 pares sintéticos sobre 16 pasajes: 12 casos de desarrollo y 36 de evaluación. Los modelos se ejecutaron en Intel Xeon W-3223 con dos hilos de CPU.\n\nLas tres clases tienen 12 casos cada una en evaluación. La precisión se calcula entre las predicciones emitidas para cada clase; los aciertos usan los 36 casos como denominador. Abstenerse no equivale a clasificar evidencia como insuficiente."},{"heading":"Veredictos sobre los 36 casos de evaluación","level":3,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#results-judgments","content":"| Método | Aciertos | Abstenciones | Precisión: respaldo | Precisión: contradicción | Precisión: insuficiente |\n| --- | --- | --- | --- | --- | --- |\n| Reglas | 3 / 36 | 33 / 36 | 1.000 | 1.000 | Sin predicciones |\n| FLAN-T5-small | 21 / 36 | 0 / 36 | 0.500 | 0.583 | 0.833 |\n| DeBERTa NLI | 31 / 36 | 1 / 36 | 0.923 | 0.800 | 1.000 |\n\nDeBERTa acertó 31 de 36 casos y se abstuvo en uno. Las reglas acertaron tres y se abstuvieron en 33. La precisión de las reglas sobre sus pocas respuestas debe leerse junto con esa cobertura.\n\nLas etiquetas son referencias sintéticas del autor. No hay anotación humana independiente ni medición de desacuerdo entre revisores. El análisis conserva errores numéricos, de paráfrasis y de contexto. [Resultados y análisis]()."},{"heading":"Reproducir","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce","content":"Validación, reglas y replay usan Python 3.11 o posterior sin dependencias de modelos. La inferencia completa requiere descargar los pesos fijados y sus paquetes.\n\nLos comandos de entorno usan shell POSIX. La medición exige un árbol Git limpio y una salida nueva. El lock corresponde a Intel macOS; cada nueva ejecución conserva sus propios metadatos."},{"heading":"Revisar la evidencia guardada","level":3,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce-replay","content":"```\ngit clone https://github.com/lucioduran/citation-grounding-checker.git\ncd citation-grounding-checker\ngit checkout 1bb2d88a9a434e3193949f8e92f1aff3e118199c\npython -m grounding validate\npython -m grounding verify --report results/eval/report.json\npython -m grounding check --passage \"The gate is open.\" --claim \"The gate is not open.\"\n```"},{"heading":"Repetir la medición local","level":3,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#reproduce-inference","content":"```\npython -m venv .venv\n. .venv/bin/activate\npython -m pip install -r requirements-local.lock\npython -m grounding download\nHF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split dev --output build/dev\nHF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split eval --output build/eval\npython -m grounding verify --report build/eval/report.json\n```"},{"heading":"Alcance y límites","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#scope","content":"- Corpus pequeño, sintético y conocido por el autor; varios casos comparten pasajes y plantillas.\n- Umbral NLI fijo de 0,6 sin calibración. No hay recuperación web, validación humana ni evaluación de seguridad de producción.\n- Los tiempos son observaciones individuales. El replay recalcula resultados guardados, no repite inferencia ni establece su autenticidad.\n\n- [Arquitectura RAG: recuperación, citas y evaluación]()"},{"heading":"Fuentes y revisión","level":2,"url":"https://lucioduran.com/es/projects/citation-grounding-checker#sources","content":"Los valores de esta ficha provienen del informe enlazado. No son una medición en vivo. El informe conserva la revisión ejecutada; la revisión consultada incluye la publicación posterior de ese informe.\n\n- Revisión consultada: [` 1bb2d88a9a434e3193949f8e92f1aff3e118199c `]()\n- Revisión registrada por el experimento: [` 7fb3a7ca724d31fa4db75a1057d20659a8d33a45 `]()\n- Fecha del informe (UTC): 2026-10-21T21:57:14.496757+00:00\n- Release publicada: [v0.1.0]() · 2026-10-21T21:59:32Z\n- SHA-256 del corpus: ` 9cce1c138bbefbb52c360d9cd2a7eb7839ef5664348d0465b6409314f538e00d `\n\n- [README y uso]()\n- [Evidencia original]()\n- [Evidencia de desarrollo]()\n- [Resultados y análisis]()\n- [Diseño y metodología]()\n- [Corpus y procedencia]()\n- [Modelos, revisiones y licencias]()\n- [Dependencias del entorno medido]()\n- [Licencia MIT]()"}],"links":[{"text":"Proyectos","url":"https://lucioduran.com/es/projects"},{"text":"Lucio Durán","url":"https://lucioduran.com/es"},{"text":"MIT","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/LICENSE"},{"text":"Repositorio","url":"https://github.com/lucioduran/citation-grounding-checker"},{"text":"Evidencia original","url":"https://raw.githubusercontent.com/lucioduran/citation-grounding-checker/1bb2d88a9a434e3193949f8e92f1aff3e118199c/results/eval/report.json"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0"},{"text":"Diseño y metodología","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/methodology.md"},{"text":"Resultados y análisis","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/results.md"},{"text":"Arquitectura RAG: recuperación, citas y evaluación","url":"https://lucioduran.com/es/blog/rag-pipeline-architecture-chunking-reranking-evaluation"},{"text":"1bb2d88a9a434e3193949f8e92f1aff3e118199c","url":"https://github.com/lucioduran/citation-grounding-checker/commit/1bb2d88a9a434e3193949f8e92f1aff3e118199c"},{"text":"7fb3a7ca724d31fa4db75a1057d20659a8d33a45","url":"https://github.com/lucioduran/citation-grounding-checker/commit/7fb3a7ca724d31fa4db75a1057d20659a8d33a45"},{"text":"v0.1.0","url":"https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0"},{"text":"README y uso","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/README.md"},{"text":"Evidencia de desarrollo","url":"https://raw.githubusercontent.com/lucioduran/citation-grounding-checker/1bb2d88a9a434e3193949f8e92f1aff3e118199c/results/dev/report.json"},{"text":"Corpus y procedencia","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/data/README.md"},{"text":"Modelos, revisiones y licencias","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/model-notices.md"},{"text":"Dependencias del entorno medido","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/requirements-local.lock"},{"text":"Licencia MIT","url":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/LICENSE"}],"structuredData":[{"@context":"https://schema.org","@graph":[{"@type":"WebPage","@id":"https://lucioduran.com/es/projects/citation-grounding-checker#page","url":"https://lucioduran.com/es/projects/citation-grounding-checker","name":"Citation Grounding Checker","description":"Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.","inLanguage":"es","datePublished":"2026-10-21","dateModified":"2026-10-21","author":{"@id":"https://lucioduran.com/#person"},"mainEntity":{"@id":"https://lucioduran.com/projects/citation-grounding-checker#software"}},{"@type":"SoftwareSourceCode","@id":"https://lucioduran.com/projects/citation-grounding-checker#software","name":"Citation Grounding Checker","description":"Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.","url":"https://lucioduran.com/es/projects/citation-grounding-checker","codeRepository":"https://github.com/lucioduran/citation-grounding-checker","programmingLanguage":"Python","runtimePlatform":"Python 3.11.13","license":"https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/LICENSE","version":"v0.1.0","identifier":{"@type":"PropertyValue","propertyID":"git-commit","value":"1bb2d88a9a434e3193949f8e92f1aff3e118199c"},"author":{"@type":"Person","@id":"https://lucioduran.com/#person","name":"Lucio Durán","url":"https://lucioduran.com"},"isAccessibleForFree":true,"citation":["https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/README.md","https://raw.githubusercontent.com/lucioduran/citation-grounding-checker/1bb2d88a9a434e3193949f8e92f1aff3e118199c/results/eval/report.json","https://raw.githubusercontent.com/lucioduran/citation-grounding-checker/1bb2d88a9a434e3193949f8e92f1aff3e118199c/results/dev/report.json","https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/results.md","https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/methodology.md","https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/data/README.md","https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/docs/model-notices.md","https://github.com/lucioduran/citation-grounding-checker/blob/1bb2d88a9a434e3193949f8e92f1aff3e118199c/requirements-local.lock","https://github.com/lucioduran/citation-grounding-checker/releases/tag/v0.1.0"]},{"@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"Proyectos","item":"https://lucioduran.com/es/projects"},{"@type":"ListItem","position":2,"name":"Citation Grounding Checker","item":"https://lucioduran.com/es/projects/citation-grounding-checker"}]}]}],"contentHash":"5c1fb87e9a5380b65e608bbc2034cacee1499b113744e895e0237f39c2ed1667","provenance":{"method":"Deterministic serialization of the server-rendered main element","source":"https://lucioduran.com/es/projects/citation-grounding-checker","hashAlgorithm":"sha256","hashScope":"JSON document fields before contentHash and provenance","sourceHTMLBytes":45892,"contentBytes":7773}}