Crate llm_worker

Crate llm_worker 

Source
Expand description

llm-worker - LLMワーカーライブラリ

LLMとの対話を管理するコンポーネントを提供します。

§主要なコンポーネント

§Quick Start

use llm_worker::{Worker, Message};

// Workerを作成
let mut worker = Worker::new(client)
    .system_prompt("You are a helpful assistant.");

// ツールを登録(オプション)
// worker.register_tool(my_tool_definition)?;

// 対話を実行
let history = worker.run("Hello!").await?;

§キャッシュ保護

KVキャッシュのヒット率を最大化するには、Worker::lock()で ロック状態に遷移してから実行してください。

let mut locked = worker.lock();
locked.run("user input").await?;

Modules§

event
Worker層の公開イベント型
hook
Hook関連の型定義
llm_client
LLMクライアント層
state
Worker状態
subscriber
イベント購読
timeline
Timeline層
tool
ツール定義

Structs§

Message
会話のメッセージ
Worker
LLMとの対話を管理する中心コンポーネント
WorkerConfig
Worker設定

Enums§

ContentPart
コンテンツパーツ
MessageContent
メッセージコンテンツ
Role
メッセージのロール
ToolRegistryError
ツール登録エラー
WorkerError
Workerエラー
WorkerResult
Workerの実行結果(ステータス)