Skip to main content

llama_detokenize

Function llama_detokenize 

Source
pub unsafe extern "C" fn llama_detokenize(
    vocab: *const llama_vocab,
    tokens: *const llama_token,
    n_tokens: i32,
    text: *mut c_char,
    text_len_max: i32,
    remove_special: bool,
    unparse_special: bool,
) -> i32