List of all items

Structs

• InferenceParameters
• InferenceRequest
• InferenceSession
• InferenceSessionConfig
• InferenceSnapshot
• InferenceStats
• Loader
• Mmap
• TokenBias
• Vocabulary
• model::ModelParameters
• model::OutputRequest
• util::TokenUtf8Buffer

Enums

• ContainerType
• ElementType
• FileType
• InferenceError
• LoadError
• LoadProgress
• ModelKVMemoryType
• QuantizeError
• QuantizeProgress
• SnapshotError
• model::HyperparametersWriteError
• util::FindAllModelFilesError

Traits

• TensorLoader
• model::Hyperparameters
• model::KnownModel
• model::Model

Functions

• load
• load_progress_callback_stdout
• model::common::extract_embeddings
• model::common::extract_logits
• model::common::prepare_for_evaluate
• model::common::read_last_token
• model::common::update_session
• quantize
• util::find_all_model_files
• util::has_data_left
• util::mmap_populate
• util::read_bytes
• util::read_bytes_with_len
• util::read_f32
• util::read_i32
• util::read_u32
• util::write_f32
• util::write_i32
• util::write_u32

Type Aliases

• TokenId