Inferencia de IA: latencia, memoria y calidad
Optimizar la inferencia exige observar qué cambia para la tarea y para quien recibe la respuesta. Esta colección reúne experimentos locales sobre latencia, memoria, calidad, caché y entrega por streaming, con configuraciones e informes publicados para interpretar cada resultado.
Qué decisión querés resolver
Para medir la espera del usuario
Separar el tiempo hasta el primer token, el intervalo entre tokens y la duración total. LLM Serving Bench registra llegadas reales; LLM Stream Backpressure examina consumidores lentos, límites de búfer y cancelación.
Para reducir memoria o ejecutar localmente
Comparar calidad y latencia junto con el tamaño de los pesos. Quantization Quality Lab estudia MiniLM en CPU; WebGPU Local Inference muestra ejecución en navegador y alternativa en WebAssembly.
Para reutilizar o enrutar respuestas
Contabilizar errores y costo de la política. LLM Semantic Cache evalúa aciertos correctos e incorrectos con aislamiento e invalidación; AI Model Routing Policy conserva resultados negativos y fallos inyectados.
Proyectos y evidencia
Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes.
LLM Serving Bench
Medición de inferencia CPU por HTTP/SSE: llegadas por token, TTFT, TPOT, latencia y memoria. Ocho configuraciones de SmolLM2 con evidencia cruda y replay offline.
LLM Stream Backpressure
Streaming HTTP/SSE con límites de búfer, contrapresión de consumidores lentos, eventos de herramientas intercalados y cancelación medida sobre conexiones locales reales.
Quantization Quality Lab
Estudio real de cuantización de MiniLM en CPU que separa tamaño de pesos, memoria del proceso, calidad de recuperación y latencia, conservando regresiones y diferencias numéricas.
WebGPU Local Inference
Clasificación de solicitudes de soporte en el navegador, con WebGPU nativo, alternativa real en WebAssembly y arranque desde caché registrado durante un fallo local de recursos.
LLM Semantic Cache
Caché exacta y semántica en SQLite con aislamiento por usuario, permisos y versión, invalidación transaccional y evaluación local de aciertos correctos e incorrectos.
AI Model Routing Policy
Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.