TensorRT-LLM
github.com/NVIDIA/TensorRT-LLMNVIDIA's library for optimized LLM inference on GPUs with quantization and kernel fusion. — extraído del sitio web oficial o Wikipedia.
Aprender TensorRT-LLM
Recursos recomendados para empezar
Conectemos
¿Te interesa esta tecnología?
No dudes en contactarme si querés discutir esta tecnología o explorar cómo puede aplicarse a tus proyectos.