llama-cpp-bindings 0.4.2

llama.cpp bindings for Rust
Documentation 
1
2
3
4
5
6
7

LLAMA_TEST_HF_REPO=unsloth/Qwen3.5-0.8B-GGUF
LLAMA_TEST_HF_MODEL=Qwen3.5-0.8B-Q4_K_M.gguf
LLAMA_TEST_HF_MMPROJ=mmproj-F16.gguf
LLAMA_TEST_HF_EMBED_REPO=Qwen/Qwen3-Embedding-0.6B-GGUF
LLAMA_TEST_HF_EMBED_MODEL=Qwen3-Embedding-0.6B-Q8_0.gguf
LLAMA_TEST_HF_ENCODER_REPO=Xiaojian9992024/t5-small-GGUF
LLAMA_TEST_HF_ENCODER_MODEL=t5-small.bf16.gguf