slm_ikllama 0.1.4

ik_llama.cpp backend for slm_inference
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

mod backend;
mod batch;
mod context;
mod model;
mod vocab;

pub use batch::Batch;
pub use context::{Builder, Context, KVType};
pub use model::{Model, ModelConfig};

use slm_inference::core::{Free, SharedPtr};

#[derive(Clone)]
pub struct LlamaContextFree;
impl Free<slm_ikllama_sys::llama_context> for LlamaContextFree {
    #[inline(never)]
    unsafe fn free(ptr: *mut slm_ikllama_sys::llama_context) {
        unsafe { slm_ikllama_sys::llama_free(ptr) };
    }
}

pub type LlamaContextPtr = SharedPtr<slm_ikllama_sys::llama_context, LlamaContextFree>;

#[derive(Clone)]
pub struct LlamaModelFree;
impl Free<slm_ikllama_sys::llama_model> for LlamaModelFree {
    #[inline(never)]
    unsafe fn free(ptr: *mut slm_ikllama_sys::llama_model) {
        unsafe { slm_ikllama_sys::llama_free_model(ptr) };
    }
}

pub type LlamaModelPtr = SharedPtr<slm_ikllama_sys::llama_model, LlamaModelFree>;