Struct LlamaServerConfig 

pub struct LlamaServerConfig {
    pub base_model_path: PathBuf,
    pub host: String,
    pub port: u16,
    pub n_gpu_layers: u32,
    pub ctx_size: u32,
    pub parallel: u32,
    pub pid_file: PathBuf,
    pub log_file: PathBuf,
    pub server_path: String,
}

llama-server の設定

Fields

base_model_path: PathBuf

ベースモデルのパス (GGUF)

host: String

ホスト

port: u16

ポート

n_gpu_layers: u32

GPU レイヤー数

ctx_size: u32

コンテキストサイズ

parallel: u32

並列スロット数

pid_file: PathBuf

PID ファイルパス

log_file: PathBuf

ログファイルパス

server_path: String

llama-server コマンドパス

Implementations

impl LlamaServerConfig

pub fn base_model(self, path: impl Into<PathBuf>) -> Self

ベースモデルパスを設定

pub fn host(self, host: impl Into<String>) -> Self

ホストを設定

pub fn port(self, port: u16) -> Self

ポートを設定

pub fn n_gpu_layers(self, n: u32) -> Self

GPU レイヤー数を設定

pub fn parallel(self, n: u32) -> Self

並列スロット数を設定

pub fn ctx_size(self, size: u32) -> Self

コンテキストサイズを設定

Trait Implementations

impl Clone for LlamaServerConfig

fn clone(&self) -> LlamaServerConfig

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for LlamaServerConfig

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Default for LlamaServerConfig

fn default() -> Self

Returns the “default value” for a type.