Struct LlamaCppServerConfig 

pub struct LlamaCppServerConfig {
    pub endpoint: String,
    pub model_name: String,
    pub max_tokens: usize,
    pub temperature: f32,
    pub top_p: f32,
    pub timeout_secs: u64,
    pub chat_template: Option<ChatTemplate>,
}

llama-server 設定

Fields

endpoint: String

サーバーエンドポイント (e.g., “http://localhost:8080”)

model_name: String

モデル名（表示用、サーバー側で設定済み）

max_tokens: usize

最大生成トークン数

temperature: f32

Temperature

top_p: f32

Top-p

timeout_secs: u64

リクエストタイムアウト（秒）

chat_template: Option<ChatTemplate>

Chat template format (Some = 使用, None = 使用しない)

Implementations

impl LlamaCppServerConfig

pub fn new(endpoint: impl Into<String>) -> LlamaCppServerConfig

新しい設定を作成

pub fn with_model_name(self, name: impl Into<String>) -> LlamaCppServerConfig

モデル名を設定

pub fn with_max_tokens(self, max_tokens: usize) -> LlamaCppServerConfig

最大トークン数を設定

pub fn with_temperature(self, temperature: f32) -> LlamaCppServerConfig

Temperature を設定

pub fn with_top_p(self, top_p: f32) -> LlamaCppServerConfig

Top-p を設定

pub fn with_timeout(self, secs: u64) -> LlamaCppServerConfig

タイムアウトを設定

pub fn with_chat_template(self, template: ChatTemplate) -> LlamaCppServerConfig

Chat template を設定

pub fn without_chat_template(self) -> LlamaCppServerConfig

Chat template を無効化

Trait Implementations

impl Clone for LlamaCppServerConfig

fn clone(&self) -> LlamaCppServerConfig

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for LlamaCppServerConfig

fn fmt(&self, f: &mut Formatter<'_>) -> Result<(), Error>

Formats the value using the given formatter.

impl Default for LlamaCppServerConfig

fn default() -> LlamaCppServerConfig

Returns the “default value” for a type.