Skip to main content

Module model

Module model 

Source
Expand description

模型服务域:宿主统一提供 chat/embedding 模型调用能力。

提供方(实现 ModelProvider 的内置后端或第三方插件)向宿主注册模型清单; 消费者(内置组件经 PluginHandle、第三方插件经 host/model.* RPC)通过 ModelService 按 model_id 调用;宿主 ModelManager 聚合清单并按 model_id {provider}/ 前缀路由到对应提供方。

Structs§

EmbeddingTemplateArgs
单条 input 的模板填充参数——命名语义字段,字段名即模板占位符名。
ModelChatMessage
对话消息。
ModelChatRequest
chat 请求:model_id 指定模型,宿主按前缀路由到提供方。
ModelChatResponse
chat 响应。
ModelEmbeddingRequest
embedding 请求:批量向量化(输入列表,一一对应返回)。
ModelEmbeddingResponse
embedding 响应:与 input 一一对应的向量(是否归一化取决于 provider)。
ModelInfo
模型元数据——提供方模型清单中的一条。
ModelSimilarityRequest
embedding 相似度请求:一个查询向量与多个目标向量两两计算相似度。
ModelSimilarityResponse
embedding 相似度响应:查询向量与每个目标向量的相似度(顺序与 targets 一致)。
ModelTokenUsage
token 用量统计(可选返回)。

Enums§

ChatCapability
chat 模型支持的请求级可选能力——provider 在 list_models 如实声明, 消费者按能力传参;能力不匹配的请求返回 ModelError::InvalidRequest,不静默忽略。
EmbeddingCapability
embedding 模型支持的请求级可选能力——provider 在 list_models 如实声明, 消费者按能力传参;能力不匹配的请求返回 ModelError::InvalidRequest,不静默忽略。
ModelChatRole
对话消息角色。
ModelError
模型调用统一错误。
ModelKind
模型种类:chat(文本生成)/ embedding(文本向量化)。
ModelSimilarity
embedding 模型推荐的 相似度计算方式(消费者按此选择公式;仅 embedding 模型有意义)。
ModelStreamChunk
流式输出分块(宿主内部传播,不跨插件协议)。
SemanticTask
语义任务类型:跨模型统一的任务抽象,嵌入模型按此选择输入模板。

Traits§

ModelProvider
模型提供方:声明模型清单并提供模型调用能力。
ModelService
宿主统一模型服务:消费者(内置组件经 PluginHandle、第三方插件经 host/model.*) 通过本接口获取模型清单、按 model_id 调用模型。