ExLlamaV2

Fast inference library for quantized Llama models on consumer GPUs with EXL2 format. — estratto dal sito ufficiale o da Wikipedia.

Impara ExLlamaV2

Risorse raccomandate per iniziare

Interessato a questa tecnologia?

Non esitare a contattarmi se vuoi discutere di questa tecnologia o esplorare come può essere applicata ai tuoi progetti.