Struct LlamaServerApplicator 

pub struct LlamaServerApplicator { /* private fields */ }

llama-server へのモデル適用

Implementations

impl LlamaServerApplicator

pub fn new(config: LlamaServerConfig) -> Self

新しい Applicator を作成

Trait Implementations

impl ModelApplicator for LlamaServerApplicator

fn apply<'life0, 'life1, 'async_trait>( &'life0 self, model: &'life1 TrainedModel, ) -> Pin<Box<dyn Future<Output = Result<(), ApplicatorError>> + Send + 'async_trait>>

where Self: 'async_trait, 'life0: 'async_trait, 'life1: 'async_trait,

モデルを適用する（非同期）

fn rollback<'life0, 'life1, 'async_trait>( &'life0 self, to: &'life1 LoraModelId, ) -> Pin<Box<dyn Future<Output = Result<(), ApplicatorError>> + Send + 'async_trait>>

where Self: 'async_trait, 'life0: 'async_trait, 'life1: 'async_trait,

指定したモデルにロールバック（非同期）

fn current(&self) -> Option<TrainedModel>

現在適用中のモデル

fn previous_model_id(&self) -> Option<LoraModelId>

前のモデル ID（rollback 用）