List of all items

Structs

• llms::api::ApiConfig
• llms::api::ApiError
• llms::api::anthropic::AnthropicBackend
• llms::api::anthropic::AnthropicConfig
• llms::api::anthropic::builder::AnthropicBackendBuilder
• llms::api::anthropic::completion::req::AnthropicCompletionRequest
• llms::api::anthropic::completion::req::CompletionRequestMessage
• llms::api::anthropic::completion::res::AnthropicCompletionResponse
• llms::api::anthropic::completion::res::CompletionContent
• llms::api::anthropic::completion::res::CompletionUsage
• llms::api::generic_openai::GenericApiBackend
• llms::api::generic_openai::GenericApiConfig
• llms::api::openai::OpenAiBackend
• llms::api::openai::OpenAiConfig
• llms::api::openai::builder::OpenAiBackendBuilder
• llms::api::openai::completion::req::CompletionRequestMessage
• llms::api::openai::completion::req::OpenAiCompletionRequest
• llms::api::openai::completion::res::ChatChoice
• llms::api::openai::completion::res::ChatChoiceLogprobs
• llms::api::openai::completion::res::ChatCompletionResponseMessage
• llms::api::openai::completion::res::ChatCompletionTokenLogprob
• llms::api::openai::completion::res::CompletionUsage
• llms::api::openai::completion::res::OpenAiCompletionResponse
• llms::api::openai::completion::res::TopLogprobs
• llms::api::perplexity::builder::PerplexityBackendBuilder
• llms::local::LocalLlmConfig
• llms::local::llama_cpp::LlamaCppBackend
• llms::local::llama_cpp::LlamaCppConfig
• llms::local::llama_cpp::builder::LlamaCppBackendBuilder
• llms::local::llama_cpp::completion::req::LlamaCppCompletionRequest
• llms::local::llama_cpp::completion::res::LlamaCppCompletionResponse
• llms::local::llama_cpp::completion::res::LlamaGenerationSettings
• llms::local::llama_cpp::completion::res::LlamaTimings
• llms::local::llama_cpp::server::LlamaCppServer
• llms::local::llama_cpp::server::LlamaCppServerConfig
• requests::CompletionRequest
• requests::CompletionResponse
• requests::GenerationSettings
• requests::InferenceProbabilities
• requests::LlamaCppLogitBias
• requests::LogitBias
• requests::OpenAiLogitBias
• requests::RequestConfig
• requests::StopSequences
• requests::TimingUsage
• requests::TokenUsage
• requests::TopProbabilities

Enums

• llms::LlmBackend
• llms::api::ClientError
• llms::api::anthropic::completion::res::StopReason
• llms::api::openai::completion::req::Stop
• llms::api::openai::completion::res::FinishReason
• llms::api::openai::completion::res::Role
• llms::local::llama_cpp::completion::res::Stop
• requests::CompletionError
• requests::CompletionFinishReason
• requests::StoppingSequence

Traits

• llms::api::LlmApiConfigTrait
• llms::local::LlmLocalTrait
• requests::LogitBiasTrait
• requests::RequestConfigTrait

Functions

• llms::local::llama_cpp::server::get_all_server_pids
• llms::local::llama_cpp::server::get_server_pid_by_model
• llms::local::llama_cpp::server::kill_all_servers
• llms::local::llama_cpp::server::kill_server_from_model
• llms::local::llama_cpp::server::kill_server_from_pid
• llms::local::llama_cpp::server::server_pid_exists

Constants

• llms::api::anthropic::ANTHROPIC_API_HOST
• llms::api::anthropic::ANTHROPIC_BETA_HEADER
• llms::api::anthropic::ANTHROPIC_VERSION_HEADER
• llms::api::openai::OPENAI_API_HOST
• llms::api::openai::OPENAI_ORGANIZATION_HEADER
• llms::api::openai::OPENAI_PROJECT_HEADER
• llms::local::llama_cpp::LLAMA_CPP_API_HOST
• llms::local::llama_cpp::LLAMA_CPP_API_PORT