List of all items

Structs

• k_quants::BlockQ2K
• k_quants::BlockQ3K
• k_quants::BlockQ4K
• k_quants::BlockQ4_0
• k_quants::BlockQ4_1
• k_quants::BlockQ5K
• k_quants::BlockQ5_0
• k_quants::BlockQ5_1
• k_quants::BlockQ6K
• k_quants::BlockQ8K
• k_quants::BlockQ8_0
• k_quants::BlockQ8_1

Enums

• GgmlDType

Traits

• DynQuantizedStorage
• QuantizedDeviceKernels
• cpu::QuantizedType
• k_quants::GgmlType

Functions

• cpu::cpu_from_data
• cpu::cpu_zeros
• dequant::dequant_ggml_bytes
• k_quants::blocks_as_bytes
• k_quants::blocks_from_bytes_cow
• k_quants::matmul
• k_quants::matmul_f16

Constants

• k_quants::K_SCALE_SIZE
• k_quants::QK4_0
• k_quants::QK4_1
• k_quants::QK5_0
• k_quants::QK5_1
• k_quants::QK8_0
• k_quants::QK8_1
• k_quants::QK_K