Skip to main content

Module nvcomp

s4_codec

Module nvcomp 

Source
Expand description

nvCOMP (NVIDIA proprietary) backend ラッパー。

§設計方針 (2026-05-12 確定)

  • integrated ferro-compress 経由: nvCOMP の Rust binding を s4-codec の内部 module crate::ferro_compress (Apache-2.0 OR MIT) として物理統合済。本 module は それを async な crate::Codec trait に bridge する薄い adapter。
  • feature gate: nvcomp-gpu feature を opt-in にすることで、CUDA toolchain と NVCOMP_HOME が無い環境でも default build (cargo check / test) が green に保たれる。
  • 配布形態: nvCOMP redist は NVIDIA SLA 制約あり。Phase 1 は BYO 方式 (顧客が NGC からダウンロード) を default、AMI 同梱は NVIDIA 書面確認後に判断。

§提供 codec

  • [NvcompZstdCodec]: nvCOMP zstd-GPU。汎用 text / log。
  • [NvcompBitcompCodec]: nvCOMP Bitcomp。整数列 (Parquet 数値列、time-series)。

§ビルド方法

export NVCOMP_HOME=/path/to/nvcomp-linux-x86_64-5.x.x.x_cuda12-archive
cargo build --features nvcomp-gpu
cargo test --features nvcomp-gpu -- --ignored  # GPU 必須テスト

Functions§

is_gpu_available