llama_cpp_sys_v3/
lib.rs

1use libloading::Library;
2use std::path::{Path, PathBuf};
3
4pub mod types;
5pub use types::*;
6
7#[derive(Debug, thiserror::Error)]
8pub enum LoadError {
9    #[error("DLL not found: {0}")]
10    NotFound(PathBuf),
11    #[error("Failed to load DLL: {0}")]
12    LoadFailed(#[from] libloading::Error),
13    #[error("Symbol not found: {0}")]
14    SymbolMissing(&'static str),
15}
16
17/// A loaded instance of the llama.cpp dynamic library.
18/// This struct holds the library handle and all resolved function pointers.
19pub struct LlamaLib {
20    // We must keep the libraries alive as long as the functions are used.
21    _libs: Vec<Library>,
22    pub symbols: LlamaSymbols,
23}
24
25macro_rules! resolve_symbols {
26    ($libs:expr, { $( $name:ident : $type:ty ),* $(,)? }) => {
27        LlamaSymbols {
28            $(
29                $name: {
30                    let mut found = None;
31                    for lib in $libs.iter() {
32                        if let Ok(sym) = unsafe { lib.get::<$type>(stringify!($name).as_bytes()) } {
33                            found = Some(*sym);
34                            break;
35                        }
36                    }
37                    found.ok_or(LoadError::SymbolMissing(stringify!($name)))?
38                },
39            )*
40        }
41    };
42}
43
44impl LlamaLib {
45    /// Attempt to load the llama.cpp library from the given path.
46    pub fn open(path: &Path) -> Result<Self, LoadError> {
47        if !path.exists() {
48            return Err(LoadError::NotFound(path.to_path_buf()));
49        }
50
51        let mut libs = Vec::new();
52
53        // Try to load ggml.dll first if it's in the same directory
54        if let Some(parent) = path.parent() {
55            let ggml_path = parent.join("ggml.dll");
56            if ggml_path.exists() {
57                #[cfg(target_os = "windows")]
58                let lib = unsafe {
59                    libloading::os::windows::Library::load_with_flags(
60                        &ggml_path,
61                        libloading::os::windows::LOAD_WITH_ALTERED_SEARCH_PATH,
62                    )?
63                };
64                #[cfg(not(target_os = "windows"))]
65                let lib = unsafe { libloading::Library::new(&ggml_path)? };
66
67                libs.push(libloading::Library::from(lib));
68            }
69        }
70
71        #[cfg(target_os = "windows")]
72        let main_lib = unsafe {
73            libloading::os::windows::Library::load_with_flags(
74                path,
75                libloading::os::windows::LOAD_WITH_ALTERED_SEARCH_PATH,
76            )?
77        };
78        #[cfg(not(target_os = "windows"))]
79        let main_lib = unsafe { Library::new(path)? };
80
81        libs.push(libloading::Library::from(main_lib));
82
83        // Resolve all required symbols here
84        let symbols = resolve_symbols!(libs, {
85            llama_backend_init: unsafe extern "C" fn(),
86            llama_backend_free: unsafe extern "C" fn(),
87            ggml_backend_load_all: unsafe extern "C" fn(),
88            ggml_backend_load_all_from_path: unsafe extern "C" fn(*const std::ffi::c_char),
89
90            llama_model_default_params: unsafe extern "C" fn() -> llama_model_params,
91            llama_model_load_from_file: unsafe extern "C" fn(*const std::ffi::c_char, llama_model_params) -> *mut llama_model,
92            llama_model_free: unsafe extern "C" fn(*mut llama_model),
93
94            llama_context_default_params: unsafe extern "C" fn() -> llama_context_params,
95            llama_init_from_model: unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context,
96            llama_free: unsafe extern "C" fn(*mut llama_context),
97
98            llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch,
99            llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch,
100            llama_batch_free: unsafe extern "C" fn(llama_batch),
101
102            llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32,
103            llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory,
104            llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool),
105
106            llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32),
107            llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab,
108            llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32,
109            llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32,
110            llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32,
111
112            llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32,
113            llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32,
114
115            llama_token_get_text: unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const std::ffi::c_char,
116            llama_tokenize: unsafe extern "C" fn(*const llama_vocab, *const std::ffi::c_char, i32, *mut llama_token, i32, bool, bool) -> i32,
117            llama_token_to_piece: unsafe extern "C" fn(*const llama_vocab, llama_token, *mut std::ffi::c_char, i32, i32, bool) -> i32,
118
119            llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
120            llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
121            llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
122            llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool,
123
124            llama_print_system_info: unsafe extern "C" fn() -> *const std::ffi::c_char,
125
126            // Sampler API
127            llama_sampler_chain_init: unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler,
128            llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler,
129            llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler),
130            llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler,
131            llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler,
132            llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
133            llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler,
134            llama_sampler_init_penalties: unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler,
135            llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler),
136            llama_sampler_sample: unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token,
137            llama_chat_apply_template: unsafe extern "C" fn(*const std::ffi::c_char, *const llama_chat_message, usize, bool, *mut std::ffi::c_char, i32) -> i32,
138            llama_model_chat_template: unsafe extern "C" fn(*const llama_model, *const std::ffi::c_char, *mut std::ffi::c_char, usize) -> i32,
139        });
140
141        Ok(Self {
142            _libs: libs,
143            symbols,
144        })
145    }
146}
147
148pub struct LlamaSymbols {
149    pub llama_backend_init: unsafe extern "C" fn(),
150    pub llama_backend_free: unsafe extern "C" fn(),
151    pub ggml_backend_load_all: unsafe extern "C" fn(),
152    pub ggml_backend_load_all_from_path: unsafe extern "C" fn(*const std::ffi::c_char),
153
154    pub llama_model_default_params: unsafe extern "C" fn() -> llama_model_params,
155    pub llama_model_load_from_file:
156        unsafe extern "C" fn(*const std::ffi::c_char, llama_model_params) -> *mut llama_model,
157    pub llama_model_free: unsafe extern "C" fn(*mut llama_model),
158
159    pub llama_context_default_params: unsafe extern "C" fn() -> llama_context_params,
160    pub llama_init_from_model:
161        unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context,
162    pub llama_free: unsafe extern "C" fn(*mut llama_context),
163
164    pub llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch,
165    pub llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch,
166    pub llama_batch_free: unsafe extern "C" fn(llama_batch),
167
168    pub llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32,
169    pub llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory,
170    pub llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool),
171
172    pub llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32),
173    pub llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab,
174    pub llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32,
175    pub llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32,
176    pub llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32,
177
178    pub llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32,
179    pub llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32,
180
181    pub llama_token_get_text:
182        unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const std::ffi::c_char,
183    pub llama_tokenize: unsafe extern "C" fn(
184        *const llama_vocab,
185        *const std::ffi::c_char,
186        i32,
187        *mut llama_token,
188        i32,
189        bool,
190        bool,
191    ) -> i32,
192    pub llama_token_to_piece: unsafe extern "C" fn(
193        *const llama_vocab,
194        llama_token,
195        *mut std::ffi::c_char,
196        i32,
197        i32,
198        bool,
199    ) -> i32,
200
201    pub llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
202    pub llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
203    pub llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
204    pub llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool,
205
206    pub llama_print_system_info: unsafe extern "C" fn() -> *const std::ffi::c_char,
207
208    pub llama_sampler_chain_init:
209        unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler,
210    pub llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler,
211    pub llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler),
212    pub llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler,
213    pub llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler,
214    pub llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
215    pub llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler,
216    pub llama_sampler_init_penalties:
217        unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler,
218    pub llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler),
219    pub llama_sampler_sample:
220        unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token,
221    pub llama_chat_apply_template: unsafe extern "C" fn(
222        *const std::ffi::c_char,
223        *const llama_chat_message,
224        usize,
225        bool,
226        *mut std::ffi::c_char,
227        i32,
228    ) -> i32,
229    pub llama_model_chat_template: unsafe extern "C" fn(
230        *const llama_model,
231        *const std::ffi::c_char,
232        *mut std::ffi::c_char,
233        usize,
234    ) -> i32,
235}
llama_cpp_sys_v3/lib.rs

llama_cpp_sys_v3/
lib.rs
