Skip to main content

LlamaSymbols

llama_cpp_sys_v3

Struct LlamaSymbols 

Source 
pub struct LlamaSymbols {
Show 43 fields
    pub llama_backend_init: unsafe extern "C" fn(),
    pub llama_backend_free: unsafe extern "C" fn(),
    pub ggml_backend_load_all: unsafe extern "C" fn(),
    pub ggml_backend_load_all_from_path: unsafe extern "C" fn(*const c_char),
    pub llama_model_default_params: unsafe extern "C" fn() -> llama_model_params,
    pub llama_model_load_from_file: unsafe extern "C" fn(*const c_char, llama_model_params) -> *mut llama_model,
    pub llama_model_free: unsafe extern "C" fn(*mut llama_model),
    pub llama_context_default_params: unsafe extern "C" fn() -> llama_context_params,
    pub llama_init_from_model: unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context,
    pub llama_free: unsafe extern "C" fn(*mut llama_context),
    pub llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch,
    pub llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch,
    pub llama_batch_free: unsafe extern "C" fn(llama_batch),
    pub llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32,
    pub llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory,
    pub llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool),
    pub llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32),
    pub llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab,
    pub llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32,
    pub llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32,
    pub llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32,
    pub llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32,
    pub llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32,
    pub llama_token_get_text: unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const c_char,
    pub llama_tokenize: unsafe extern "C" fn(*const llama_vocab, *const c_char, i32, *mut llama_token, i32, bool, bool) -> i32,
    pub llama_token_to_piece: unsafe extern "C" fn(*const llama_vocab, llama_token, *mut c_char, i32, i32, bool) -> i32,
    pub llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
    pub llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
    pub llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token,
    pub llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool,
    pub llama_print_system_info: unsafe extern "C" fn() -> *const c_char,
    pub llama_sampler_chain_init: unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler,
    pub llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler,
    pub llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler),
    pub llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler,
    pub llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler,
    pub llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler,
    pub llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler,
    pub llama_sampler_init_penalties: unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler,
    pub llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler),
    pub llama_sampler_sample: unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token,
    pub llama_chat_apply_template: unsafe extern "C" fn(*const c_char, *const llama_chat_message, usize, bool, *mut c_char, i32) -> i32,
    pub llama_model_chat_template: unsafe extern "C" fn(*const llama_model, *const c_char, *mut c_char, usize) -> i32,

}

Fields§

§llama_backend_init: unsafe extern "C" fn()§llama_backend_free: unsafe extern "C" fn()§ggml_backend_load_all: unsafe extern "C" fn()§ggml_backend_load_all_from_path: unsafe extern "C" fn(*const c_char)§llama_model_default_params: unsafe extern "C" fn() -> llama_model_params§llama_model_load_from_file: unsafe extern "C" fn(*const c_char, llama_model_params) -> *mut llama_model§llama_model_free: unsafe extern "C" fn(*mut llama_model)§llama_context_default_params: unsafe extern "C" fn() -> llama_context_params§llama_init_from_model: unsafe extern "C" fn(*mut llama_model, llama_context_params) -> *mut llama_context§llama_free: unsafe extern "C" fn(*mut llama_context)§llama_batch_get_one: unsafe extern "C" fn(*mut llama_token, i32) -> llama_batch§llama_batch_init: unsafe extern "C" fn(i32, i32, i32) -> llama_batch§llama_batch_free: unsafe extern "C" fn(llama_batch)§llama_decode: unsafe extern "C" fn(*mut llama_context, llama_batch) -> i32§llama_get_memory: unsafe extern "C" fn(*const llama_context) -> *mut llama_memory§llama_memory_clear: unsafe extern "C" fn(*mut llama_memory, bool)§llama_set_n_threads: unsafe extern "C" fn(*mut llama_context, u32, u32)§llama_model_get_vocab: unsafe extern "C" fn(*const llama_model) -> *const llama_vocab§llama_vocab_n_tokens: unsafe extern "C" fn(*const llama_vocab) -> i32§llama_n_vocab: unsafe extern "C" fn(*const llama_vocab) -> i32§llama_n_ctx: unsafe extern "C" fn(*const llama_context) -> u32§llama_get_logits: unsafe extern "C" fn(*mut llama_context) -> *mut f32§llama_get_logits_ith: unsafe extern "C" fn(*mut llama_context, i32) -> *mut f32§llama_token_get_text: unsafe extern "C" fn(*const llama_vocab, llama_token) -> *const c_char§llama_tokenize: unsafe extern "C" fn(*const llama_vocab, *const c_char, i32, *mut llama_token, i32, bool, bool) -> i32§llama_token_to_piece: unsafe extern "C" fn(*const llama_vocab, llama_token, *mut c_char, i32, i32, bool) -> i32§llama_vocab_bos: unsafe extern "C" fn(*const llama_vocab) -> llama_token§llama_vocab_eos: unsafe extern "C" fn(*const llama_vocab) -> llama_token§llama_vocab_nl: unsafe extern "C" fn(*const llama_vocab) -> llama_token§llama_vocab_is_eog: unsafe extern "C" fn(*const llama_vocab, llama_token) -> bool§llama_print_system_info: unsafe extern "C" fn() -> *const c_char§llama_sampler_chain_init: unsafe extern "C" fn(llama_sampler_chain_params) -> *mut llama_sampler§llama_sampler_init_greedy: unsafe extern "C" fn() -> *mut llama_sampler§llama_sampler_free: unsafe extern "C" fn(*mut llama_sampler)§llama_sampler_init_temp: unsafe extern "C" fn(f32) -> *mut llama_sampler§llama_sampler_init_top_k: unsafe extern "C" fn(i32) -> *mut llama_sampler§llama_sampler_init_top_p: unsafe extern "C" fn(f32, usize) -> *mut llama_sampler§llama_sampler_init_dist: unsafe extern "C" fn(u32) -> *mut llama_sampler§llama_sampler_init_penalties: unsafe extern "C" fn(i32, f32, f32, f32) -> *mut llama_sampler§llama_sampler_chain_add: unsafe extern "C" fn(*mut llama_sampler, *mut llama_sampler)§llama_sampler_sample: unsafe extern "C" fn(*mut llama_sampler, *mut llama_context, i32) -> llama_token§llama_chat_apply_template: unsafe extern "C" fn(*const c_char, *const llama_chat_message, usize, bool, *mut c_char, i32) -> i32§llama_model_chat_template: unsafe extern "C" fn(*const llama_model, *const c_char, *mut c_char, usize) -> i32

Auto Trait Implementations§

Blanket Implementations§

Source§

impl<T> Any for T
where T: 'static + ?Sized,

Source§

fn type_id(&self) -> TypeId

Gets the TypeId of self. Read more
Source§

impl<T> Borrow<T> for T
where T: ?Sized,

Source§

fn borrow(&self) -> &T

Immutably borrows from an owned value. Read more
Source§

impl<T> BorrowMut<T> for T
where T: ?Sized,

Source§

fn borrow_mut(&mut self) -> &mut T

Mutably borrows from an owned value. Read more
Source§

impl<T> From<T> for T

Source§

fn from(t: T) -> T

Returns the argument unchanged.

Source§

impl<T, U> Into<U> for T
where U: From<T>,

Source§

fn into(self) -> U

Calls U::from(self).

That is, this conversion is whatever the implementation of From<T> for U chooses to do.

Source§

impl<T, U> TryFrom<U> for T
where U: Into<T>,

Source§

type Error = Infallible

The type returned in the event of a conversion error.
Source§

fn try_from(value: U) -> Result<T, <T as TryFrom<U>>::Error>

Performs the conversion.
Source§

impl<T, U> TryInto<U> for T
where U: TryFrom<T>,

Source§

type Error = <U as TryFrom<T>>::Error

The type returned in the event of a conversion error.
Source§

fn try_into(self) -> Result<U, <U as TryFrom<T>>::Error>

Performs the conversion.