List of all items

Structs

• model::llama::chat::GenerationConfig
• model::llama::chat::LlamaChat
• model::llama::generation::GenerationContext
• model::llama::generation::GenerationOutput
• model::llama::generation::StreamingDecoder
• model::llama::generation::TopP
• model::llama::nn::attention::KeyValueCache
• model::llama::nn::attention::MultiHeadAttention
• model::llama::nn::attention::MultiHeadAttentionConfig
• model::llama::nn::attention::MultiHeadAttentionRecord
• model::llama::nn::attention::MultiHeadAttentionRecordItem
• model::llama::nn::llama::Llama
• model::llama::nn::llama::LlamaConfig
• model::llama::tokenizer::byte::ByteTokenizer

Enums

• model::llama::generation::GenerationError
• model::llama::generation::Sampler
• model::llama::nn::llama::LlamaVersion
• model::llama::nn::llama::TinyLlamaVersion

Traits

• model::llama::generation::Sampling
• model::llama::tokenizer::base::Tokenizer

Functions

• model::llama::generation::manual_argmax

Type Aliases

• backend::ElemType
• backend::burn_backend_types::InferenceBackend
• backend::burn_backend_types::InferenceDevice

Constants

• backend::DTYPE_NAME
• backend::burn_backend_types::INFERENCE_DEVICE
• backend::burn_backend_types::NAME