rusty-gradients 0.2.0

A full-stack deep learning framework in Rust for training and deploying Transformer models. Features multi-backend support (CPU/CUDA/Metal/WASM), 62x GPU acceleration, Safetensors serialization, and BPE tokenization.
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

//! Модуль, содержащий строительные блоки для нейронных сетей.
//!
//! Этот модуль является аналогом `torch.nn` в PyTorch. Он предоставляет
//! набор готовых слоев, контейнеров и утилит для легкого построения
//! сложных нейросетевых архитектур.
//!
//! # Основные компоненты
//!
//! - [`Module`](module::Module): Основной трейт, который должны реализовывать все слои.
//! - [`Linear`](linear::Linear): Полносвязный слой.
//! - [`ReLU`](activations::ReLU), [`Sigmoid`](activations::Sigmoid): Слои активации.
//! - [`Embedding`](embedding::Embedding): Слой для представления дискретных данных.
//! - [`LayerNorm`](norm::LayerNorm): Слой нормализации.
//! - [`MultiHeadAttention`](attention::MultiHeadAttention): Ключевой компонент Трансформеров.
//! - [`TransformerBlock`](transformer::TransformerBlock): Готовый блок кодировщика Трансформера.
//! - [`Sequential`](containers::Sequential): Контейнер для последовательного объединения слоев.

// Объявляем файлы как публичные субмодули внутри `nn`.
pub mod linear;
pub mod module;
pub mod activations;
pub mod containers;
pub mod embedding;
pub mod norm;
pub mod attention;
pub mod feedforward;
pub mod transformer;


// Ре-экспортируем самые важные структуры для удобства.
pub use module::Module;
pub use linear::Linear;
pub use activations::{ReLU, Sigmoid};
pub use containers::Sequential;
pub use embedding::Embedding;
pub use norm::LayerNorm;
pub use attention::MultiHeadAttention;
pub use feedforward::FeedForward;
pub use transformer::TransformerBlock;