{"schemaVersion":1,"id":"https://lucioduran.com/es/topics/llm-inference","url":"https://lucioduran.com/es/topics/llm-inference","title":"Inferencia de IA: latencia, memoria y calidad","description":"Inferencia local y entrega de respuestas de IA: latencia por token, cuantización, streaming, caché y selección de modelos. Proyectos de Lucio Durán.","language":"es","datePublished":"2026-11-10","dateModified":"2026-11-10","contentFormat":"text/markdown","content":"# Inferencia de IA: latencia, memoria y calidad\n\nOptimizar la inferencia exige observar qué cambia para la tarea y para quien recibe la respuesta. Esta colección reúne experimentos locales sobre latencia, memoria, calidad, caché y entrega por streaming, con configuraciones e informes publicados para interpretar cada resultado.\n\nPor [Lucio Durán](<https://lucioduran.com/es>) · Uruguay\n\n## Qué decisión querés resolver\n\n### Para medir la espera del usuario\n\nSeparar el tiempo hasta el primer token, el intervalo entre tokens y la duración total. LLM Serving Bench registra llegadas reales; LLM Stream Backpressure examina consumidores lentos, límites de búfer y cancelación.\n\n### Para reducir memoria o ejecutar localmente\n\nComparar calidad y latencia junto con el tamaño de los pesos. Quantization Quality Lab estudia MiniLM en CPU; WebGPU Local Inference muestra ejecución en navegador y alternativa en WebAssembly.\n\n### Para reutilizar o enrutar respuestas\n\nContabilizar errores y costo de la política. LLM Semantic Cache evalúa aciertos correctos e incorrectos con aislamiento e invalidación; AI Model Routing Policy conserva resultados negativos y fallos inyectados.\n\n## Proyectos y evidencia\n\nCada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes.\n\n- ### [LLM Serving Bench](<https://lucioduran.com/es/projects/llm-serving-bench>)\n\n  Medición de inferencia CPU por HTTP/SSE: llegadas por token, TTFT, TPOT, latencia y memoria. Ocho configuraciones de SmolLM2 con evidencia cruda y replay offline.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/llm-serving-bench>) · [Repositorio](<https://github.com/lucioduran/llm-serving-bench>) · [Release v0.1.0](<https://github.com/lucioduran/llm-serving-bench/releases/tag/v0.1.0>)\n- ### [LLM Stream Backpressure](<https://lucioduran.com/es/projects/llm-stream-backpressure>)\n\n  Streaming HTTP/SSE con límites de búfer, contrapresión de consumidores lentos, eventos de herramientas intercalados y cancelación medida sobre conexiones locales reales.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/llm-stream-backpressure>) · [Repositorio](<https://github.com/lucioduran/llm-stream-backpressure>) · [Release v0.1.0](<https://github.com/lucioduran/llm-stream-backpressure/releases/tag/v0.1.0>)\n- ### [Quantization Quality Lab](<https://lucioduran.com/es/projects/quantization-quality-lab>)\n\n  Estudio real de cuantización de MiniLM en CPU que separa tamaño de pesos, memoria del proceso, calidad de recuperación y latencia, conservando regresiones y diferencias numéricas.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/quantization-quality-lab>) · [Repositorio](<https://github.com/lucioduran/quantization-quality-lab>) · [Release v1.0.0](<https://github.com/lucioduran/quantization-quality-lab/releases/tag/v1.0.0>)\n- ### [WebGPU Local Inference](<https://lucioduran.com/es/projects/webgpu-local-inference>)\n\n  Clasificación de solicitudes de soporte en el navegador, con WebGPU nativo, alternativa real en WebAssembly y arranque desde caché registrado durante un fallo local de recursos.\n\n  JavaScript · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/webgpu-local-inference>) · [Repositorio](<https://github.com/lucioduran/webgpu-local-inference>) · [Release v0.1.0](<https://github.com/lucioduran/webgpu-local-inference/releases/tag/v0.1.0>)\n- ### [LLM Semantic Cache](<https://lucioduran.com/es/projects/llm-semantic-cache>)\n\n  Caché exacta y semántica en SQLite con aislamiento por usuario, permisos y versión, invalidación transaccional y evaluación local de aciertos correctos e incorrectos.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/llm-semantic-cache>) · [Repositorio](<https://github.com/lucioduran/llm-semantic-cache>) · [Release v0.1.0](<https://github.com/lucioduran/llm-semantic-cache/releases/tag/v0.1.0>)\n- ### [AI Model Routing Policy](<https://lucioduran.com/es/projects/ai-model-routing-policy>)\n\n  Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.\n\n  Python · Licencia: MIT\n\n  [Leer la ficha](<https://lucioduran.com/es/projects/ai-model-routing-policy>) · [Repositorio](<https://github.com/lucioduran/ai-model-routing-policy>) · [Release v0.1.0](<https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0>)","headings":[{"level":1,"text":"Inferencia de IA: latencia, memoria y calidad","url":"https://lucioduran.com/es/topics/llm-inference#title"},{"level":2,"text":"Qué decisión querés resolver","url":"https://lucioduran.com/es/topics/llm-inference#decisions"},{"level":3,"text":"Para medir la espera del usuario","url":"https://lucioduran.com/es/topics/llm-inference#decision-1"},{"level":3,"text":"Para reducir memoria o ejecutar localmente","url":"https://lucioduran.com/es/topics/llm-inference#decision-2"},{"level":3,"text":"Para reutilizar o enrutar respuestas","url":"https://lucioduran.com/es/topics/llm-inference#decision-3"},{"level":2,"text":"Proyectos y evidencia","url":"https://lucioduran.com/es/topics/llm-inference#projects"},{"level":3,"text":"LLM Serving Bench","url":"https://lucioduran.com/es/topics/llm-inference#project-llm-serving-bench"},{"level":3,"text":"LLM Stream Backpressure","url":"https://lucioduran.com/es/topics/llm-inference#project-llm-stream-backpressure"},{"level":3,"text":"Quantization Quality Lab","url":"https://lucioduran.com/es/topics/llm-inference#project-quantization-quality-lab"},{"level":3,"text":"WebGPU Local Inference","url":"https://lucioduran.com/es/topics/llm-inference#project-webgpu-local-inference"},{"level":3,"text":"LLM Semantic Cache","url":"https://lucioduran.com/es/topics/llm-inference#project-llm-semantic-cache"},{"level":3,"text":"AI Model Routing Policy","url":"https://lucioduran.com/es/topics/llm-inference#project-ai-model-routing-policy"}],"sections":[{"heading":"Inferencia de IA: latencia, memoria y calidad","level":1,"url":"https://lucioduran.com/es/topics/llm-inference","content":""},{"heading":"Inferencia de IA: latencia, memoria y calidad","level":1,"url":"https://lucioduran.com/es/topics/llm-inference#title","content":"Optimizar la inferencia exige observar qué cambia para la tarea y para quien recibe la respuesta. Esta colección reúne experimentos locales sobre latencia, memoria, calidad, caché y entrega por streaming, con configuraciones e informes publicados para interpretar cada resultado.\n\nPor [Lucio Durán](<https://lucioduran.com/es>) · Uruguay"},{"heading":"Qué decisión querés resolver","level":2,"url":"https://lucioduran.com/es/topics/llm-inference#decisions","content":""},{"heading":"Para medir la espera del usuario","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#decision-1","content":"Separar el tiempo hasta el primer token, el intervalo entre tokens y la duración total. LLM Serving Bench registra llegadas reales; LLM Stream Backpressure examina consumidores lentos, límites de búfer y cancelación."},{"heading":"Para reducir memoria o ejecutar localmente","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#decision-2","content":"Comparar calidad y latencia junto con el tamaño de los pesos. Quantization Quality Lab estudia MiniLM en CPU; WebGPU Local Inference muestra ejecución en navegador y alternativa en WebAssembly."},{"heading":"Para reutilizar o enrutar respuestas","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#decision-3","content":"Contabilizar errores y costo de la política. LLM Semantic Cache evalúa aciertos correctos e incorrectos con aislamiento e invalidación; AI Model Routing Policy conserva resultados negativos y fallos inyectados."},{"heading":"Proyectos y evidencia","level":2,"url":"https://lucioduran.com/es/topics/llm-inference#projects","content":"Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes."},{"heading":"LLM Serving Bench","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-llm-serving-bench","content":"Medición de inferencia CPU por HTTP/SSE: llegadas por token, TTFT, TPOT, latencia y memoria. Ocho configuraciones de SmolLM2 con evidencia cruda y replay offline.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/llm-serving-bench>) · [Repositorio](<https://github.com/lucioduran/llm-serving-bench>) · [Release v0.1.0](<https://github.com/lucioduran/llm-serving-bench/releases/tag/v0.1.0>)"},{"heading":"LLM Stream Backpressure","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-llm-stream-backpressure","content":"Streaming HTTP/SSE con límites de búfer, contrapresión de consumidores lentos, eventos de herramientas intercalados y cancelación medida sobre conexiones locales reales.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/llm-stream-backpressure>) · [Repositorio](<https://github.com/lucioduran/llm-stream-backpressure>) · [Release v0.1.0](<https://github.com/lucioduran/llm-stream-backpressure/releases/tag/v0.1.0>)"},{"heading":"Quantization Quality Lab","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-quantization-quality-lab","content":"Estudio real de cuantización de MiniLM en CPU que separa tamaño de pesos, memoria del proceso, calidad de recuperación y latencia, conservando regresiones y diferencias numéricas.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/quantization-quality-lab>) · [Repositorio](<https://github.com/lucioduran/quantization-quality-lab>) · [Release v1.0.0](<https://github.com/lucioduran/quantization-quality-lab/releases/tag/v1.0.0>)"},{"heading":"WebGPU Local Inference","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-webgpu-local-inference","content":"Clasificación de solicitudes de soporte en el navegador, con WebGPU nativo, alternativa real en WebAssembly y arranque desde caché registrado durante un fallo local de recursos.\n\nJavaScript · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/webgpu-local-inference>) · [Repositorio](<https://github.com/lucioduran/webgpu-local-inference>) · [Release v0.1.0](<https://github.com/lucioduran/webgpu-local-inference/releases/tag/v0.1.0>)"},{"heading":"LLM Semantic Cache","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-llm-semantic-cache","content":"Caché exacta y semántica en SQLite con aislamiento por usuario, permisos y versión, invalidación transaccional y evaluación local de aciertos correctos e incorrectos.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/llm-semantic-cache>) · [Repositorio](<https://github.com/lucioduran/llm-semantic-cache>) · [Release v0.1.0](<https://github.com/lucioduran/llm-semantic-cache/releases/tag/v0.1.0>)"},{"heading":"AI Model Routing Policy","level":3,"url":"https://lucioduran.com/es/topics/llm-inference#project-ai-model-routing-policy","content":"Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.\n\nPython · Licencia: MIT\n\n[Leer la ficha](<https://lucioduran.com/es/projects/ai-model-routing-policy>) · [Repositorio](<https://github.com/lucioduran/ai-model-routing-policy>) · [Release v0.1.0](<https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0>)"}],"links":[{"text":"Lucio Durán","url":"https://lucioduran.com/es"},{"text":"LLM Serving Bench","url":"https://lucioduran.com/es/projects/llm-serving-bench"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/llm-serving-bench"},{"text":"Repositorio","url":"https://github.com/lucioduran/llm-serving-bench"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/llm-serving-bench/releases/tag/v0.1.0"},{"text":"LLM Stream Backpressure","url":"https://lucioduran.com/es/projects/llm-stream-backpressure"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/llm-stream-backpressure"},{"text":"Repositorio","url":"https://github.com/lucioduran/llm-stream-backpressure"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/llm-stream-backpressure/releases/tag/v0.1.0"},{"text":"Quantization Quality Lab","url":"https://lucioduran.com/es/projects/quantization-quality-lab"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/quantization-quality-lab"},{"text":"Repositorio","url":"https://github.com/lucioduran/quantization-quality-lab"},{"text":"Release v1.0.0","url":"https://github.com/lucioduran/quantization-quality-lab/releases/tag/v1.0.0"},{"text":"WebGPU Local Inference","url":"https://lucioduran.com/es/projects/webgpu-local-inference"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/webgpu-local-inference"},{"text":"Repositorio","url":"https://github.com/lucioduran/webgpu-local-inference"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/webgpu-local-inference/releases/tag/v0.1.0"},{"text":"LLM Semantic Cache","url":"https://lucioduran.com/es/projects/llm-semantic-cache"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/llm-semantic-cache"},{"text":"Repositorio","url":"https://github.com/lucioduran/llm-semantic-cache"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/llm-semantic-cache/releases/tag/v0.1.0"},{"text":"AI Model Routing Policy","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"},{"text":"Leer la ficha","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"},{"text":"Repositorio","url":"https://github.com/lucioduran/ai-model-routing-policy"},{"text":"Release v0.1.0","url":"https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0"}],"structuredData":[{"@context":"https://schema.org","@graph":[{"@type":"Person","@id":"https://lucioduran.com/#person","name":"Lucio Durán","url":"https://lucioduran.com/"},{"@type":"WebSite","@id":"https://lucioduran.com/#website","url":"https://lucioduran.com/","name":"Lucio Durán","inLanguage":["en","es"],"publisher":{"@id":"https://lucioduran.com/#person"}},{"@type":"CollectionPage","@id":"https://lucioduran.com/es/topics/llm-inference#page","url":"https://lucioduran.com/es/topics/llm-inference","name":"Inferencia de IA: latencia, memoria y calidad","description":"Inferencia local y entrega de respuestas de IA: latencia por token, cuantización, streaming, caché y selección de modelos. Proyectos de Lucio Durán.","inLanguage":"es","author":{"@id":"https://lucioduran.com/#person"},"publisher":{"@id":"https://lucioduran.com/#person"},"isPartOf":{"@id":"https://lucioduran.com/#website"},"isAccessibleForFree":true,"datePublished":"2026-11-10","dateModified":"2026-11-10","mainEntity":{"@type":"ItemList","numberOfItems":6,"itemListElement":[{"@type":"ListItem","position":1,"name":"LLM Serving Bench","url":"https://lucioduran.com/es/projects/llm-serving-bench"},{"@type":"ListItem","position":2,"name":"LLM Stream Backpressure","url":"https://lucioduran.com/es/projects/llm-stream-backpressure"},{"@type":"ListItem","position":3,"name":"Quantization Quality Lab","url":"https://lucioduran.com/es/projects/quantization-quality-lab"},{"@type":"ListItem","position":4,"name":"WebGPU Local Inference","url":"https://lucioduran.com/es/projects/webgpu-local-inference"},{"@type":"ListItem","position":5,"name":"LLM Semantic Cache","url":"https://lucioduran.com/es/projects/llm-semantic-cache"},{"@type":"ListItem","position":6,"name":"AI Model Routing Policy","url":"https://lucioduran.com/es/projects/ai-model-routing-policy"}]}}]}],"contentHash":"7378c45217aca66aee2156f474dd52f4377d691c96bf33d6eb05072ed1121e8c","provenance":{"method":"Deterministic serialization of the server-rendered main element","source":"https://lucioduran.com/es/topics/llm-inference","hashAlgorithm":"sha256","hashScope":"JSON document fields before contentHash and provenance","sourceHTMLBytes":41937,"contentBytes":4676}}