llama_cpp_sys_v3/
lib.rs

1use libloading::Library;
2use std::path::{Path, PathBuf};
3
4pub mod types;
5pub use types::*;
6
7#[derive(Debug, thiserror::Error)]
8pub enum LoadError {
9    #[error("DLL not found: {0}")]
10    NotFound(PathBuf),
11    #[error("Failed to load DLL: {0}")]
12    LoadFailed(#[from] libloading::Error),
13    #[error("Symbol not found: {0}")]
14    SymbolMissing(&'static str),
15}
16
17/// A loaded instance of the llama.cpp dynamic library.
18/// This struct holds the library handle and all resolved function pointers.
19pub struct LlamaLib {
20    // We must keep the libraries alive as long as the functions are used.
21    _libs: Vec<Library>,
22    pub symbols: LlamaSymbols,
23}
24
25macro_rules! resolve_symbols {
26    ($libs:expr, { $( $name:ident : $type:ty ),* $(,)? }) => {
27        LlamaSymbols {
28            $(
29                $name: {
30                    let mut found = None;
31                    for lib in $libs.iter() {
32                        if let Ok(sym) = unsafe { lib.get::<$type>(stringify!($name).as_bytes()) } {
33                            found = Some(*sym);
34                            break;
35                        }
36                    }
37                    found.ok_or(LoadError::SymbolMissing(stringify!($name)))?
38                },
39            )*
40        }
41    };
42}
43
44impl LlamaLib {
45    /// Attempt to load the llama.cpp library from the given path.
46    pub fn open(path: &Path) -> Result<Self, LoadError> {
47        if !path.exists() {
48            return Err(LoadError::NotFound(path.to_path_buf()));
49        }
50
51        let mut libs = Vec::new();
52
53        // Try to load ggml.dll first if it's in the same directory
54        if let Some(parent) = path.parent() {
55            let ggml_path = parent.join("ggml.dll");
56            if ggml_path.exists() {
57                #[cfg(target_os = "windows")]
58                let lib = unsafe {
59                    libloading::os::windows::Library::load_with_flags(
60                        &ggml_path,
61                        libloading::os::windows::LOAD_WITH_ALTERED_SEARCH_PATH,
62                    )?
63                };
64                #[cfg(not(target_os = "windows"))]
65                let lib = unsafe { libloading::Library::new(&ggml_path)? };
66
67                libs.push(libloading::Library::from(lib));
68            }
69        }
70
71        #[cfg(target_os = "windows")]
72        let main_lib = unsafe {
73            libloading::os::windows::Library::load_with_flags(
74                path,
75                libloading::os::windows::LOAD_WITH_ALTERED_SEARCH_PATH,
76            )?
77        };
78        #[cfg(not(target_os = "windows"))]
79        let main_lib = unsafe { Library::new(path)? };
80
81        libs.push(libloading::Library::from(main_lib));
82
83        // Resolve all required symbols here
84        let symbols = resolve_symbols!(libs, {
85            llama_backend_init: unsafe extern "C" fn(),
86            llama_backend_free: unsafe extern "C" fn(),
87            ggml_backend_load_all: unsafe extern "C" fn(),
88            ggml_backend_load_all_from_path: unsafe extern "C" fn(*const std::ffi::c_char),
89
90            llama_model_default_params: unsafe extern "C" fn() -> llama_model_params,
91            llama_model_load_from_file: unsafe extern "C" fn(*const std::ffi::c_char, llama_model_params) -> *mut llama_model,
92            llama_model_free: unsafe extern "C" fn(*mut llama_model),
93
94            llama_context_default_params: unsafe extern "C" fn() -> llama_context_params,
95            llama_init_from_model: unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context,
96            llama_free: unsafe extern "C" fn(*mut llama_context),
97
98            llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch,
99            llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch,
100            llama_batch_free: unsafe extern "C" fn(llama_batch),
101
102            llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32,
103            llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory,
104            llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool),
105
106            llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32),
107            llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab,
108            llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32,
109            llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32,
110            llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32,
111
112            llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32,
113            llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32,
114
115            llama_token_get_text: unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const std::ffi::c_char,
116            llama_tokenize: unsafe extern "C" fn(*const llama_vocab, *const std::ffi::c_char, i32, *mut llama_token, i32, bool, bool) -> i32,
117            llama_token_to_piece: unsafe extern "C" fn(*const llama_vocab, llama_token, *mut std::ffi::c_char, i32, i32, bool) -> i32,
118
119            llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
120            llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
121            llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
122            llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool,
123
124            llama_print_system_info: unsafe extern "C" fn() -> *const std::ffi::c_char,
125
126            // Sampler API
127            llama_sampler_chain_init: unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler,
128            llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler,
129            llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler),
130            llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler,
131            llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler,
132            llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
133            llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler,
134            llama_sampler_init_min_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
135            llama_sampler_init_typical: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
136            llama_sampler_init_mirostat_v2: unsafe extern "C" fn(u32, f32, f32) -> *mut llama_sampler,
137            llama_sampler_init_penalties: unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler,
138            llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler),
139            llama_sampler_sample: unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token,
140            llama_sampler_accept: unsafe extern "C" fn(*mut llama_sampler, llama_token),
141            llama_chat_apply_template: unsafe extern "C" fn(*const std::ffi::c_char, *const llama_chat_message, usize, bool, *mut std::ffi::c_char, i32) -> i32,
142            llama_model_chat_template: unsafe extern "C" fn(*const llama_model, *const std::ffi::c_char, *mut std::ffi::c_char, usize) -> i32,
143        });
144
145        Ok(Self {
146            _libs: libs,
147            symbols,
148        })
149    }
150}
151
152pub struct LlamaSymbols {
153    pub llama_backend_init: unsafe extern "C" fn(),
154    pub llama_backend_free: unsafe extern "C" fn(),
155    pub ggml_backend_load_all: unsafe extern "C" fn(),
156    pub ggml_backend_load_all_from_path: unsafe extern "C" fn(*const std::ffi::c_char),
157
158    pub llama_model_default_params: unsafe extern "C" fn() -> llama_model_params,
159    pub llama_model_load_from_file:
160        unsafe extern "C" fn(*const std::ffi::c_char, llama_model_params) -> *mut llama_model,
161    pub llama_model_free: unsafe extern "C" fn(*mut llama_model),
162
163    pub llama_context_default_params: unsafe extern "C" fn() -> llama_context_params,
164    pub llama_init_from_model:
165        unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context,
166    pub llama_free: unsafe extern "C" fn(*mut llama_context),
167
168    pub llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch,
169    pub llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch,
170    pub llama_batch_free: unsafe extern "C" fn(llama_batch),
171
172    pub llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32,
173    pub llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory,
174    pub llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool),
175
176    pub llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32),
177    pub llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab,
178    pub llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32,
179    pub llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32,
180    pub llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32,
181
182    pub llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32,
183    pub llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32,
184
185    pub llama_token_get_text:
186        unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const std::ffi::c_char,
187    pub llama_tokenize: unsafe extern "C" fn(
188        *const llama_vocab,
189        *const std::ffi::c_char,
190        i32,
191        *mut llama_token,
192        i32,
193        bool,
194        bool,
195    ) -> i32,
196    pub llama_token_to_piece: unsafe extern "C" fn(
197        *const llama_vocab,
198        llama_token,
199        *mut std::ffi::c_char,
200        i32,
201        i32,
202        bool,
203    ) -> i32,
204
205    pub llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
206    pub llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
207    pub llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
208    pub llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool,
209
210    pub llama_print_system_info: unsafe extern "C" fn() -> *const std::ffi::c_char,
211
212    pub llama_sampler_chain_init:
213        unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler,
214    pub llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler,
215    pub llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler),
216    pub llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler,
217    pub llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler,
218    pub llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
219    pub llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler,
220    pub llama_sampler_init_min_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
221    pub llama_sampler_init_typical: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
222    pub llama_sampler_init_mirostat_v2: unsafe extern "C" fn(u32, f32, f32) -> *mut llama_sampler,
223    pub llama_sampler_init_penalties:
224        unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler,
225    pub llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler),
226    pub llama_sampler_sample:
227        unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token,
228    pub llama_sampler_accept: unsafe extern "C" fn(*mut llama_sampler, llama_token),
229    pub llama_chat_apply_template: unsafe extern "C" fn(
230        *const std::ffi::c_char,
231        *const llama_chat_message,
232        usize,
233        bool,
234        *mut std::ffi::c_char,
235        i32,
236    ) -> i32,
237    pub llama_model_chat_template: unsafe extern "C" fn(
238        *const llama_model,
239        *const std::ffi::c_char,
240        *mut std::ffi::c_char,
241        usize,
242    ) -> i32,
243}
llama_cpp_sys_v3/lib.rs

llama_cpp_sys_v3/
lib.rs
