Expand description
模型服务域:宿主统一提供 chat/embedding 模型调用能力。
提供方(实现 ModelProvider 的内置后端或第三方插件)向宿主注册模型清单;
消费者(内置组件经 PluginHandle、第三方插件经 host/model.* RPC)通过
ModelService 按 model_id 调用;宿主 ModelManager 聚合清单并按 model_id
{provider}/ 前缀路由到对应提供方。
Structs§
- Embedding
Template Args - 单条 input 的模板填充参数——命名语义字段,字段名即模板占位符名。
- Model
Chat Message - 对话消息。
- Model
Chat Request - chat 请求:model_id 指定模型,宿主按前缀路由到提供方。
- Model
Chat Response - chat 响应。
- Model
Embedding Request - embedding 请求:批量向量化(输入列表,一一对应返回)。
- Model
Embedding Response - embedding 响应:与 input 一一对应的向量(是否归一化取决于 provider)。
- Model
Info - 模型元数据——提供方模型清单中的一条。
- Model
Similarity Request - embedding 相似度请求:一个查询向量与多个目标向量两两计算相似度。
- Model
Similarity Response - embedding 相似度响应:查询向量与每个目标向量的相似度(顺序与 targets 一致)。
- Model
Token Usage - token 用量统计(可选返回)。
Enums§
- Chat
Capability - chat 模型支持的请求级可选能力——provider 在 list_models 如实声明,
消费者按能力传参;能力不匹配的请求返回
ModelError::InvalidRequest,不静默忽略。 - Embedding
Capability - embedding 模型支持的请求级可选能力——provider 在 list_models 如实声明,
消费者按能力传参;能力不匹配的请求返回
ModelError::InvalidRequest,不静默忽略。 - Model
Chat Role - 对话消息角色。
- Model
Error - 模型调用统一错误。
- Model
Kind - 模型种类:chat(文本生成)/ embedding(文本向量化)。
- Model
Similarity - embedding 模型推荐的 相似度计算方式(消费者按此选择公式;仅 embedding 模型有意义)。
- Model
Stream Chunk - 流式输出分块(宿主内部传播,不跨插件协议)。
- Semantic
Task - 语义任务类型:跨模型统一的任务抽象,嵌入模型按此选择输入模板。
Traits§
- Model
Provider - 模型提供方:声明模型清单并提供模型调用能力。
- Model
Service - 宿主统一模型服务:消费者(内置组件经 PluginHandle、第三方插件经 host/model.*) 通过本接口获取模型清单、按 model_id 调用模型。