multibucket
异步、后端无关的对象存储门面:业务代码只针对 ObjectStorage trait 编写一次,即可对接任意存储桶。当前内置两个后端,均直连原始 HTTP API、不引入第三方 SDK:
- 七牛云对象存储 Kodo(
backends::qiniu) - Amazon S3 / S3 兼容服务(
backends::s3):基于 AWS Signature Version 4,因此同样覆盖 MinIO、Cloudflare R2、阿里云 OSS、腾讯云 COS、以及七牛自带的 S3 接口。
安装
[]
= "0.3"
= { = "1", = ["rt-multi-thread", "macros"] }
= "1"
需要 Rust 1.70+。TLS 使用 rustls,Windows 上无需 OpenSSL。
构造客户端
use ;
let cfg = new
// Region: Z0 / CnEast2 / Z1 / Z2 / Na0 / As0 / ApSoutheast2 / ApSoutheast3
.region;
let client = new;
私有空间的下载 URL 必须带签名。两种方式:
-
已绑定自定义下载域名(推荐,生产用):
let cfg = new .region .private_bucket; -
还没绑定自定义域名:用
.private()直接标记私有,签名会落到七牛默认的iovip-<region>.qiniuio.com下载主机上(标准私有下载机制,无需域名):let cfg = new .region .private;
内置域名若不适用(私有网关、七牛调整域名、需要直连指定 IP),可逐个覆盖:up_host(..) / rs_host(..) / rsf_host(..) / download_domain(..);use_https(false) 可切回 http。要控制超时与代理,传入自己的 reqwest::Client:
let http = builder
.timeout
.build?;
let client = new.with_http;
创建空间(可选)
不想在控制台手工建空间时,可以直接用代码创建(控制面接口,需要该密钥具备管理空间的权限):
// 空间名 = QiniuConfig::new 的第三个参数,区域 = .region(..)
client.create_bucket.await?; // 创建并设为私有
client.set_bucket_private.await?; // 只切换已有空间的访问权限
空间名称在七牛全系统内唯一,规则为 3~63 位小写字母 / 数字 / - 且首尾为字母或数字(不合法的名字会在发请求前报 Error::InvalidInput)。create_bucket(true) 是两次请求,若第二步失败空间已存在但仍为公开,可再调 set_bucket_private(true)。
上传
use Bytes;
use ;
let meta = client
.put
.await?;
println!;
PutBody 可由 Bytes、Vec<u8>、&'static [u8] 转来;同名 key 直接覆盖写,PutOptions { insert_only: true, .. } 可改为拒绝覆盖。
下载 / 元信息 / 存在 / 删除
let data = client.get.await?; // Bytes
let meta = client.stat.await?;
if client.exists.await?
未绑定自定义下载域名时,get() 会用七牛默认的 iovip-<region> 主机;若该主机拒绝(私有桶 401/403/404)或因 DNS / 连接失败不可达,会自动回退到桶的源站(io_src)域名下载。也可以显式走源站,它总会带上下载凭证,对私有 / 公开桶都适用:
// 通过 UC 服务解析出桶真实的源站域名(首次解析后缓存),再签名下载。
let data = client.get_via_io_src.await?;
列举
use ListOptions;
let mut opts = with_limit;
loop
ListOptions 另有 delimiter(支持 /,用于按目录分组)。
有时效的下载 URL
use Duration;
let url = client.presign_get?;
公有桶返回普通 URL,私有桶自动附带下载凭证(同步方法,不发请求)。
七牛对私有下载凭证的
e(过期时间戳)有硬性上限:下载服务器只接受e比其服务器时钟最多超前约 5 分钟的令牌,否则返回403 RequestExpiresTooSkewed(实测e=now+300可用、e=now+600被拒)。因此本库把下载 URL 的 TTL 自动封顶在 300 秒,无论调用方传入多大值;上传令牌不受影响(仍用 3600 秒)。若客户端机器时钟与七牛偏差过大,参见下文处理时钟偏差。
处理时钟偏差
所有签名(上传令牌 / 私有下载 / QBox 管理)都依赖本机时间与七牛服务器时间对齐。若本机时钟偏移过大,七牛会以 403 RequestExpiresTooSkewed 拒绝所有带 e 的请求。两种应对方式:
-
自动对齐(推荐):构造客户端后调用一次
sync_clock(),它读取七牛响应的Date头算出server_time - local_time并缓存,后续令牌自动基于七牛时钟生成。传输失败时静默保留原偏移、返回Ok,不影响正常机器:let client = new; client.sync_clock.await?; // 读七牛 Date 头自动对齐时钟 -
手动补偿:已知固定偏差(或无法联网探测)时,用
QiniuConfig::deadline_offset_secs(offset)直接把offset = server_time - local_time(秒)写入配置,作为sync_clock的初始值 / 替代:let cfg = new .region .deadline_offset_secs; // 本机比七牛快 1 小时两者都默认
0,普通机器无需设置——直接校准系统时钟即可。
大文件:分片与断点续传
便捷调用,内部走分片上传 v2,逐片自动重试:
// part_size = 0 表示使用默认 4 MiB
let meta = client
.put_resumable
.await?;
需要跨进程恢复时,自行持久化 upload_id 与已完成分片:
use ResumeState;
let state = ResumeState ;
client
.put_resumable_resume
.await?;
完全手动编排(并发控制、进度上报等场景):
use CompletedPart;
let mp = client
.initiate_multipart_upload
.await?;
let upload_id = mp.upload_id.to_string; // 立刻持久化,便于中断后恢复
let name1 = mp.upload_part.await?; // 返回 partName,需保存
let name2 = mp.upload_part.await?;
let meta = mp
.complete
.await?;
约束:分片号从 1 开始、最多 10000 片;除最后一片外每片不得小于 1 MiB。中断后可用 client.multipart_upload(key, upload_id) 重新接上已存在的上传任务。
前端直传凭证
use Duration;
let token = client.upload_token?;
把 token 下发给浏览器 / 移动端,让它们直接 POST 到七牛上传域名。
错误处理
所有方法返回 multibucket::Result<T>;后端非 2xx 会收敛为 Error::Api:
use Error;
if let Err = client.stat.await
exists() 已把 612 处理为 false,不会报错。签名依赖本机时间,频繁 401 请先校准系统时钟。
S3 后端(兼容 MinIO / R2 / OSS / COS)
与七牛后端实现的是同一个 ObjectStorage trait,因此上传 / 下载 / 删除 / 元信息 / 列举 / 预签名接口完全一致,只是构造方式与若干语义略有不同。签名算法为手写 SigV4(见 src/backends/s3/sigv4.rs),并用 AWS 官方示例向量做了单测,逐字节对齐。
构造客户端
use ;
// AWS S3(us-east-1),默认使用 virtual-hosted 寻址(https://<bucket>.s3.<region>.amazonaws.com)
let cfg = new;
// 带区域 / 临时凭证(STS)
let cfg = new
.region
.session_token;
let client = new;
不同 S3 兼容服务的差异只体现在三个配置项上:
| 服务 | endpoint | force_path_style | region |
|---|---|---|---|
| AWS S3 | 不填(默认 s3.<region>.amazonaws.com) |
否(默认) | 真实区域 |
| MinIO | localhost:9000 |
是(必须) | 任意,如 us-east-1 |
| Cloudflare R2 | <accountid>.r2.cloudflarestorage.com |
否 | auto |
| 阿里云 OSS | oss-cn-hangzhou.aliyuncs.com |
否 | 对应区域 |
| 腾讯云 COS | cos.ap-guangzhou.myqcloud.com |
否 | 对应区域 |
| 七牛 S3 接口 | s3-cn-south-1.qiniucs.com |
否 | cn-south-1 |
// MinIO 示例(path-style 是必须的)
let cfg = new
.endpoint
.force_path_style;
use_https(false) 可切回 http;超时 / 代理同样用 with_http(reqwest::Client) 传入。
上传 / 下载 / 删除 / 元信息 / 列举
接口与七牛完全一致,例如:
use Bytes;
use ;
// 上传(≤ 5 MiB 走简单 PUT;更大自动走分片,见下文)
client.put.await?;
// 私有写:insert_only 等价于 S3 的条件写 If-None-Match: *(已存在则报错)
client.put.await?;
let data = client.get.await?; // Bytes
let meta = client.stat.await?; // 含 size / etag / last_modified
if client.exists.await?
// 列举(带分页与目录分隔符)
let mut opts = with_limit;
loop
预签名下载 URL
同步方法、不发请求,链接里不含密钥,可安全下发给浏览器 / 移动端:
use Duration;
let url = client.presign_get?;
// -> https://<bucket>.s3.<region>.amazonaws.com/docs/readme.txt?X-Amz-Algorithm=...&X-Amz-Signature=...
有效期上限按 AWS 的 7 天(604800 秒)封顶。
大文件:分片上传
// 便捷调用:part_size = 0 表示使用默认 8 MiB;< 5 MiB 自动降级为简单 PUT
let meta = client.put_resumable.await?;
需要跨进程恢复时,自行持久化 upload_id 与已完成分片:
use CompletedPart;
let mp = client.create_multipart_upload.await?;
let upload_id = mp.upload_id.to_string; // 立刻持久化
let etag1 = mp.upload_part.await?; // 返回 ETag,需保存
let meta = mp.complete.await?;
// 中断后可:let mp = client.multipart_upload("video/big.mp4", upload_id); 重新接上
// 出错时:mp.abort().await?; 释放已上传的分片
约束:除最后一片外每片不得小于 5 MiB;最多 10 000 片;upload_id 与分片 ETag 由服务端返回。
与七牛后端的行为差异
- 删除幂等:S3 的
DELETE即使 key 不存在也返回 204,因此delete不会报“不存在”;七牛则会返回 612。 - 签名算法:七牛用自研
Mac/上传令牌,S3 用 AWS SigV4(含 header 签名与 query 预签名两套)。 - 寻址:S3 支持 virtual-hosted 与 path-style 两种;七牛由各 region 固定域名决定。
- 私有访问:七牛私有桶下载需 SDK 在 URL 上追加
e+token(且e被服务端时钟限制 ≤ 5 分钟);S3 预签名链接自带X-Amz-Expires,最长 7 天。 - 临时凭证:S3 支持
session_token(STS / 角色扮演),七牛无此概念。
运行示例
端到端示例覆盖上文全部用法(上传 → 元信息 → 下载 → 签名 URL → 列举 → 删除 → 分片 / 手动编排),凭证从环境变量读取:
# Windows PowerShell
$env:QINIU_ACCESS_KEY="..."; $env:QINIU_SECRET_KEY="..."; $env:QINIU_BUCKET="..."
# macOS / Linux
QINIU_ACCESS_KEY=... QINIU_SECRET_KEY=... QINIU_BUCKET=...
S3 示例(examples/s3_basic.rs)覆盖同样的流程,适合对接 AWS S3 或任意 S3 兼容服务:
# macOS / Linux(AWS S3)
AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=... S3_BUCKET=... \
# macOS / Linux(MinIO / path-style)
AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=... S3_BUCKET=mybucket \
S3_ENDPOINT=localhost:9000 S3_FORCE_PATH_STYLE=1
许可证
本项目采用 MIT OR Apache-2.0 双许可。