pub struct GpuStats {
pub peak_bytes: u64,
pub needed_bytes: u64,
pub batches: u64,
pub lines: u64,
pub splits: u64,
pub offloaded_ops: u64,
}Expand description
显存和批次的统计(给评测和报告用)。
Fields§
§peak_bytes: u64占用显存的峰值(缓冲池 + 权重,字节)。
needed_bytes: u64真正需要的显存峰值(在用的张量 + 权重,字节),比 peak_bytes 少池里闲着的部分。
batches: u64跑过的识别批次数和行数,行数 / 批次数就是平均批大小。
lines: u64§splits: u64显存不够、对半切开重来的次数。
offloaded_ops: u64透明分流(公式、版面模型)走了 GPU 的算子个数。
Trait Implementations§
impl Copy for GpuStats
impl StructuralPartialEq for GpuStats
Auto Trait Implementations§
impl Forget for GpuStats
impl Freeze for GpuStats
impl RefUnwindSafe for GpuStats
impl Send for GpuStats
impl Sync for GpuStats
impl Unpin for GpuStats
impl UnsafeUnpin for GpuStats
impl UnwindSafe for GpuStats
Blanket Implementations§
Source§impl<T> BorrowMut<T> for Twhere
T: ?Sized,
impl<T> BorrowMut<T> for Twhere
T: ?Sized,
Source§fn borrow_mut(&mut self) -> &mut T
fn borrow_mut(&mut self) -> &mut T
Mutably borrows from an owned value. Read more