Struct LlamaBatch 

pub struct LlamaBatch {
    pub backend: Arc<LlamaLib>,
    pub handle: llama_batch,
}

Fields

backend: Arc<LlamaLib>

handle: llama_batch

Implementations

impl LlamaBatch

pub fn new( backend: Arc<LlamaLib>, n_tokens: i32, embd: i32, n_seq_max: i32, ) -> Self

pub fn clear(&mut self)

pub fn add( &mut self, token: llama_token, pos: llama_pos, seq_ids: &[i32], logits: bool, )

Trait Implementations

impl Drop for LlamaBatch

fn drop(&mut self)

Executes the destructor for this type.