List of all items

Structs

• hf_loader::HuggingFaceFileCacheStatus
• hf_loader::HuggingFaceLoader
• hf_loader::HuggingFaceRepoInfo
• hf_loader::HuggingFaceSibling
• llm::base::LlmModelBase
• llm::local::chat_template::LlmChatTemplate
• llm::local::gguf::gguf_file::GgufFile
• llm::local::gguf::gguf_layers::GgufLayer
• llm::local::gguf::gguf_layers::GgufLayers
• llm::local::gguf::gguf_model::GgufModel
• llm::local::gguf::gguf_model::GgufQuant
• llm::local::gguf::gguf_preset::GgufPreset
• llm::local::gguf::gguf_preset::GgufPresetConfig
• llm::local::gguf::gguf_preset::GgufPresetQuant
• llm::local::gguf::gguf_tensors::BlockQ2K
• llm::local::gguf::gguf_tensors::BlockQ3K
• llm::local::gguf::gguf_tensors::BlockQ4K
• llm::local::gguf::gguf_tensors::BlockQ4_0
• llm::local::gguf::gguf_tensors::BlockQ4_1
• llm::local::gguf::gguf_tensors::BlockQ5K
• llm::local::gguf::gguf_tensors::BlockQ5_0
• llm::local::gguf::gguf_tensors::BlockQ5_1
• llm::local::gguf::gguf_tensors::BlockQ6K
• llm::local::gguf::gguf_tensors::BlockQ8K
• llm::local::gguf::gguf_tensors::BlockQ8_0
• llm::local::gguf::gguf_tensors::BlockQ8_1
• llm::local::gguf::gguf_tensors::TensorInfo
• llm::local::gguf::loaders::hf::GgufHfLoader
• llm::local::gguf::loaders::local::GgufLocalLoader
• llm::local::gguf::loaders::preset::GgufPresetLoader
• llm::local::metadata::LocalLlmMetadata
• llm::local::metadata::general::GeneralMetadata
• llm::local::metadata::general::SourceMetadata
• llm::local::metadata::llm::llama::AttentionMetadata
• llm::local::metadata::llm::llama::LlamaMetadata
• llm::local::metadata::llm::llama::RopeMetadata
• llm::local::metadata::llm::llama::RopeScalingMetadata
• llm::local::metadata::llm::llama::SsmMetadata
• llm::local::metadata::tokenizer::GgmlTokenizerMetadata
• llm::local::metadata::tokenizer::TokenizerMetadata
• llm::local::organizations::LocalLlmOrganization

Enums

• llm::local::gguf::generated::preset_models::GgufPresetId
• llm::local::gguf::gguf_file::Value
• llm::local::gguf::gguf_file::ValueType
• llm::local::gguf::gguf_file::VersionedMagic
• llm::local::gguf::gguf_tensors::GgmlDType
• llm::local::metadata::general::FileType
• llm::local::metadata::llm::Architecture
• llm::local::metadata::tokenizer::GgmlTokenizerModel

Traits

• hf_loader::HfTokenTrait
• llm::local::gguf::generated::preset_models::GgufPresetTrait
• llm::local::gguf::gguf_file::FromValue

Functions

• llm::local::metadata::memory::estimate_context_size_bytes
• llm::local::metadata::memory::estimate_max_quantization_level
• llm::local::metadata::memory::estimate_memory_usage_range_bytes
• llm::local::metadata::memory::estimate_model_size_dtype
• llm::local::metadata::memory::estimate_quant_memory_usage_bytes

Constants

• llm::base::DEFAULT_CONTEXT_LENGTH
• llm::local::gguf::gguf_file::DEFAULT_ALIGNMENT
• llm::local::gguf::gguf_tensors::K_SCALE_SIZE
• llm::local::gguf::gguf_tensors::QK4_0
• llm::local::gguf::gguf_tensors::QK4_1
• llm::local::gguf::gguf_tensors::QK5_0
• llm::local::gguf::gguf_tensors::QK5_1
• llm::local::gguf::gguf_tensors::QK8_0
• llm::local::gguf::gguf_tensors::QK8_1
• llm::local::gguf::gguf_tensors::QK_K