List of all items

Structs

• EmbedRequest
• EmbedResponse
• GenerateRequest
• GenerateResponse
• ModelMetadata
• SamplingParams
• TokenStream
• backend::cpu::CpuBackend
• backend::cpu::CpuDevice
• backend::cpu::CpuTensor
• backend::webgpu::WebGpuDevice
• backend::webgpu::WebGpuTensor
• config::EngineConfig
• config::EngineConfigBuilder
• config::MemoryConfig
• config::SpeculativeConfig
• engine::Engine
• gguf::GgufLoader
• gguf::GgufMetadata
• gguf::QuantizedModelConfig
• kv_cache::CacheBlock
• kv_cache::KVCache
• kv_cache::KVCacheConfig
• loader::ModelConfig
• loader::ModelFiles
• loader::ModelLoader
• models::llama::Llama
• models::llama::LlamaConfig
• sampler::Sampler
• tokenizer::Tokenizer

Enums

• ModelArchitecture
• ModelSource
• loader::ModelFormat
• loader::WeightFiles

Traits

• backend::ComputeBackend
• backend::DeviceOps
• backend::TensorOps
• engine::InferenceEngine