Struct LlmBatchProcessor 

pub struct LlmBatchProcessor<D: LlmDecider> { /* private fields */ }

Ollama Batch Processor

Ollama は真の Batch API を持たないため、仮想バッチとして実装。 内部で LlmDecider を使用して並列/順次処理を行う。

Implementations

impl<D: LlmDecider> LlmBatchProcessor<D>

pub fn new(decider: D) -> Self

新しい LlmBatchProcessor を作成

pub fn from_arc(decider: Arc<D>) -> Self

Arc でラップされた Decider から作成

pub fn with_config(self, config: LlmBatchProcessorConfig) -> Self

設定を指定して作成

Trait Implementations

impl<D: LlmDecider + 'static> BatchProcessor for LlmBatchProcessor<D>

fn process( &self, request: BatchDecisionRequest, ) -> Pin<Box<dyn Future<Output = BatchProcessResult> + Send + '_>>

Batch リクエストを処理

fn plan_dependencies( &self, task: &str, actions: &[ActionDef], hint: Option<&SelectResult>, ) -> Pin<Box<dyn Future<Output = Option<DependencyGraph>> + Send + '_>>

タスクとアクション一覧からアクション依存グラフを生成

fn is_healthy(&self) -> Pin<Box<dyn Future<Output = bool> + Send + '_>>

ヘルスチェック

fn name(&self) -> &str

プロセッサ名