List of all items

Structs

• blas::CuBlas
• device::CudaDevice
• device::DeviceGuard
• ffi::cudaDeviceProp
• kernels::LaunchConfig
• memory::GpuMemoryPool
• memory::GpuTensor
• stream::CudaEvent
• stream::CudaStream
• stream::CudaTimer
• tensor::CudaTensor

Enums

• error::CudaError
• ffi::cudaMemcpyKind

Functions

• cuda_version
• current_device
• device::get_all_devices
• device::select_best_device
• device_count
• empty_cache
• error::check_cuda_error
• ffi::check_cublas
• ffi::check_cuda
• ffi::stubs::cudaDeviceSynchronize
• ffi::stubs::cudaFree
• ffi::stubs::cudaGetDevice
• ffi::stubs::cudaGetDeviceCount
• ffi::stubs::cudaMalloc
• ffi::stubs::cudaMemcpy
• ffi::stubs::cudaMemset
• ffi::stubs::cudaSetDevice
• ffi::stubs::cudaStreamCreate
• ffi::stubs::cudaStreamDestroy
• ffi::stubs::cudaStreamSynchronize
• init
• is_available
• memory::get_global_gpu_pool
• memory_info
• ops::attention::flash_attention
• ops::conv::conv2d
• ops::elementwise::add
• ops::elementwise::div
• ops::elementwise::gelu
• ops::elementwise::mul
• ops::elementwise::relu
• ops::elementwise::sigmoid
• ops::elementwise::softmax
• ops::elementwise::sub
• ops::matmul::bmm
• ops::matmul::matmul
• ops::reduction::max
• ops::reduction::mean
• ops::reduction::sum
• set_device
• synchronize

Type Aliases

• error::CudaResult
• ffi::cublasHandle_t
• ffi::cublasOperation_t
• ffi::cublasStatus_t
• ffi::cudaError_t
• ffi::cudaEvent_t
• ffi::cudaStream_t
• kernels::KernelFn

Constants

• ffi::CUBLAS_OP_N
• ffi::CUBLAS_OP_T
• kernels::attention::FLASH_ATTN_BWD
• kernels::attention::FLASH_ATTN_FWD
• kernels::attention::STANDARD_ATTN
• kernels::elementwise::ADD_KERNEL
• kernels::elementwise::GELU_KERNEL
• kernels::elementwise::MUL_KERNEL
• kernels::elementwise::RELU_KERNEL
• kernels::elementwise::SIGMOID_KERNEL
• kernels::matmul::GEMM_KERNEL
• kernels::matmul::GEMM_TILED_KERNEL
• kernels::matmul::GEMM_WMMA_KERNEL
• kernels::normalization::BATCH_NORM_KERNEL
• kernels::normalization::LAYER_NORM_KERNEL
• kernels::normalization::RMS_NORM_KERNEL
• kernels::reduction::MAX_KERNEL
• kernels::reduction::SOFTMAX_KERNEL
• kernels::reduction::SUM_KERNEL