Expand description
llm-worker - LLMワーカーライブラリ
LLMとの対話を管理するコンポーネントを提供します。
§主要なコンポーネント
Worker- LLMとの対話を管理する中心コンポーネントtool::Tool- LLMから呼び出し可能なツールhook::Hook- ターン進行への介入subscriber::WorkerSubscriber- ストリーミングイベントの購読
§Quick Start
ⓘ
use llm_worker::{Worker, Message};
// Workerを作成
let mut worker = Worker::new(client)
.system_prompt("You are a helpful assistant.");
// ツールを登録(オプション)
// worker.register_tool(my_tool_definition)?;
// 対話を実行
let history = worker.run("Hello!").await?;§キャッシュ保護
KVキャッシュのヒット率を最大化するには、Worker::lock()で
ロック状態に遷移してから実行してください。
ⓘ
let mut locked = worker.lock();
locked.run("user input").await?;Modules§
- event
- Worker層の公開イベント型
- hook
- Hook関連の型定義
- llm_
client - LLMクライアント層
- state
- Worker状態
- subscriber
- イベント購読
- timeline
- Timeline層
- tool
- ツール定義
Structs§
- Message
- 会話のメッセージ
- Worker
- LLMとの対話を管理する中心コンポーネント
- Worker
Config - Worker設定
Enums§
- Content
Part - コンテンツパーツ
- Message
Content - メッセージコンテンツ
- Role
- メッセージのロール
- Tool
Registry Error - ツール登録エラー
- Worker
Error - Workerエラー
- Worker
Result - Workerの実行結果(ステータス)