ExLlamaV2
github.com/turboderp/exllamav2Fast inference library for quantized Llama models on consumer GPUs with EXL2 format. — extraído del sitio web oficial o Wikipedia.
Aprender ExLlamaV2
Recursos recomendados para empezar
Conectemos
¿Te interesa esta tecnología?
No dudes en contactarme si querés discutir esta tecnología o explorar cómo puede aplicarse a tus proyectos.