List of all items

Structs

• common::CommonParams
• common::common_params
• common::common_sampler_params
• context::LlamaContext
• context::params::LlamaContextParams
• context::perf::PerfContextData
• llama_backend::InvalidNumaStrategy
• llama_backend::LlamaBackend
• llama_batch::LlamaBatch
• model::LlamaChatMessage
• model::LlamaLoraAdapter
• model::LlamaModel
• model::LlamaVocab
• model::params::LlamaModelParams
• model::params::kv_overrides::KvOverrideValueIterator
• model::params::kv_overrides::KvOverrides
• mtmd::MtmdBitmap
• mtmd::MtmdContext
• mtmd::MtmdContextParams
• mtmd::MtmdImageTokens
• mtmd::MtmdInputChunk
• mtmd::MtmdInputChunks
• mtmd::MtmdInputText
• sampling::LlamaSampler
• sampling::LlamaSamplerParams
• token::LlamaToken
• token::data::LlamaTokenData
• token::data_array::LlamaTokenDataArray
• token_type::LlamaTokenAttrs

Enums

• ApplyChatTemplateError
• ChatTemplateError
• DecodeError
• EmbeddingsError
• EncodeError
• LLamaCppError
• LlamaContextLoadError
• LlamaLoraAdapterInitError
• LlamaLoraAdapterRemoveError
• LlamaLoraAdapterSetError
• LlamaModelLoadError
• NewLlamaChatMessageError
• StringToTokenError
• TokenToStringError
• context::kv_cache::KvCacheConversionError
• context::params::LlamaPoolingType
• context::params::RopeScalingType
• context::session::LoadSessionError
• context::session::SaveSessionError
• llama_backend::NumaStrategy
• llama_batch::BatchAddError
• model::AddBos
• model::LlamaTokenTypeFromIntError
• model::Special
• model::VocabType
• model::params::kv_overrides::ParamOverrideValue
• mtmd::MtmdError
• mtmd::MtmdInputChunkType
• token_type::LlamaTokenAttr
• token_type::LlamaTokenTypeFromIntError

Functions

• ggml_time_us
• llama_supports_mlock
• llama_time_us
• max_devices
• mlock_supported
• mmap_supported
• token::from_vec_token_sys
• token::to_vec_token_sys

Type Aliases

• Result
• common::common_sampler_type
• mtmd::Result

Constants

• common::COMMON_SAMPLER_TYPE_DRY
• common::COMMON_SAMPLER_TYPE_INFILL
• common::COMMON_SAMPLER_TYPE_MIN_P
• common::COMMON_SAMPLER_TYPE_NONE
• common::COMMON_SAMPLER_TYPE_TEMPERATURE
• common::COMMON_SAMPLER_TYPE_TFS_Z
• common::COMMON_SAMPLER_TYPE_TOP_K
• common::COMMON_SAMPLER_TYPE_TOP_P
• common::COMMON_SAMPLER_TYPE_TYPICAL_P
• common::COMMON_SAMPLER_TYPE_XTC