Citation Grounding Checker
Verificación de respaldo de citas con reglas, FLAN-T5 y DeBERTa NLI. Predicciones, abstenciones y precisión vinculadas al pasaje exacto de cada afirmación.
Problema y utilidad para agentes
Recuperar una fuente relevante no demuestra que respalde una afirmación. Una cifra alterada, una negación o un contexto omitido cambian lo que una cita permite concluir.
El proyecto expone afirmación, pasaje, etiqueta de referencia y veredicto juntos. Permite inspeccionar errores de grounding sin mezclarlos con errores del buscador: aquí el pasaje ya está dado.
Arquitectura
- Contrato de evidencia. Valida las citas literales, offsets, archivos y separación entre desarrollo y evaluación. Cada veredicto enlaza un pasaje con revisión inmutable.
- Tres verificadores. Reglas conservadoras, FLAN-T5-small y DeBERTa v3 xsmall NLI reciben solo pasaje y afirmación. Etiquetas, categorías y explicaciones de referencia quedan fuera del prompt.
- Evaluación explícita. Distingue respaldo, contradicción, evidencia insuficiente y abstención. Conserva salidas originales, hashes, matrices de confusión y métricas por categoría.
Qué demuestra
- Trazabilidad desde una afirmación hasta su evidencia textual exacta.
- Evaluación comparada de verificadores con cobertura y abstenciones visibles.
- Ejecución local de modelos fijados y separación de etiquetas respecto de entradas.
Resultados publicados
Corpus original de 48 pares sintéticos sobre 16 pasajes: 12 casos de desarrollo y 36 de evaluación. Los modelos se ejecutaron en Intel Xeon W-3223 con dos hilos de CPU.
Las tres clases tienen 12 casos cada una en evaluación. La precisión se calcula entre las predicciones emitidas para cada clase; los aciertos usan los 36 casos como denominador. Abstenerse no equivale a clasificar evidencia como insuficiente.
Veredictos sobre los 36 casos de evaluación
| Método | Aciertos | Abstenciones | Precisión: respaldo | Precisión: contradicción | Precisión: insuficiente |
|---|---|---|---|---|---|
| Reglas | 3 / 36 | 33 / 36 | 1.000 | 1.000 | Sin predicciones |
| FLAN-T5-small | 21 / 36 | 0 / 36 | 0.500 | 0.583 | 0.833 |
| DeBERTa NLI | 31 / 36 | 1 / 36 | 0.923 | 0.800 | 1.000 |
DeBERTa acertó 31 de 36 casos y se abstuvo en uno. Las reglas acertaron tres y se abstuvieron en 33. La precisión de las reglas sobre sus pocas respuestas debe leerse junto con esa cobertura.
Las etiquetas son referencias sintéticas del autor. No hay anotación humana independiente ni medición de desacuerdo entre revisores. El análisis conserva errores numéricos, de paráfrasis y de contexto. Resultados y análisis.
Reproducir
Validación, reglas y replay usan Python 3.11 o posterior sin dependencias de modelos. La inferencia completa requiere descargar los pesos fijados y sus paquetes.
Los comandos de entorno usan shell POSIX. La medición exige un árbol Git limpio y una salida nueva. El lock corresponde a Intel macOS; cada nueva ejecución conserva sus propios metadatos.
Revisar la evidencia guardada
git clone https://github.com/lucioduran/citation-grounding-checker.git
cd citation-grounding-checker
git checkout 1bb2d88a9a434e3193949f8e92f1aff3e118199c
python -m grounding validate
python -m grounding verify --report results/eval/report.json
python -m grounding check --passage "The gate is open." --claim "The gate is not open."Repetir la medición local
python -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements-local.lock
python -m grounding download
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split dev --output build/dev
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 TOKENIZERS_PARALLELISM=false OMP_NUM_THREADS=2 MKL_NUM_THREADS=2 python -m grounding run --split eval --output build/eval
python -m grounding verify --report build/eval/report.jsonAlcance y límites
- Corpus pequeño, sintético y conocido por el autor; varios casos comparten pasajes y plantillas.
- Umbral NLI fijo de 0,6 sin calibración. No hay recuperación web, validación humana ni evaluación de seguridad de producción.
- Los tiempos son observaciones individuales. El replay recalcula resultados guardados, no repite inferencia ni establece su autenticidad.
Fuentes y revisión
Los valores de esta ficha provienen del informe enlazado. No son una medición en vivo. El informe conserva la revisión ejecutada; la revisión consultada incluye la publicación posterior de ese informe.
- Revisión consultada:
1bb2d88a9a434e3193949f8e92f1aff3e118199c - Revisión registrada por el experimento:
7fb3a7ca724d31fa4db75a1057d20659a8d33a45 - Fecha del informe (UTC):
- Release publicada: v0.1.0 ·
- SHA-256 del corpus:
9cce1c138bbefbb52c360d9cd2a7eb7839ef5664348d0465b6409314f538e00d