Struct DifferentiableGraph 

pub struct DifferentiableGraph<T = Vec<f64>> { /* private fields */ }

可微图结构：支持梯度计算的结构变换

核心思想：将离散的图结构参数化为连续空间， 使得梯度可以反向传播到结构参数。

Architecture Notes

与自动微分框架的集成

当前实现使用手动梯度计算。要与真正的自动微分框架（如 dfdx）集成， 需要：

1. 将 logits 存储为 Tensor1D<f64> 而非 f64
2. 构建计算图：logits → probability → adjacency_matrix → loss
3. 调用 loss.backward() 获取梯度

与 Graph 的转换

使用 to_graph() 将可微图转换为普通 Graph， 使用 from_graph() 从现有图初始化可微图。

Implementations

impl<T: Clone + Default> DifferentiableGraph<T>

pub fn new(num_nodes: usize) -> Self

创建新的可微图

pub fn with_config(num_nodes: usize, config: GradientConfig) -> Self

创建带配置的可微图

pub fn init_nodes(&mut self, features: Option<T>)

初始化节点

pub fn add_learnable_edge(&mut self, src: usize, dst: usize, init_prob: f64)

添加可学习边

pub fn remove_edge( &mut self, src: usize, dst: usize, ) -> Option<DifferentiableEdge>

移除边

pub fn get_edge_probability(&self, src: usize, dst: usize) -> Option<f64>

获取边的存在概率

pub fn get_edge_exists(&self, src: usize, dst: usize) -> Option<bool>

获取边的存在性（离散）

pub fn get_probability_matrix(&self) -> Vec<Vec<f64>>

获取所有边的概率矩阵

pub fn get_adjacency_matrix(&self) -> Vec<Vec<f64>>

获取离散邻接矩阵（使用 STE）

pub fn anneal_temperature(&mut self)

温度退火

pub fn with_temperature_annealing(self, steps: usize) -> Self

设置温度退火

pub fn discretize(&mut self)

离散化所有边（前向传播）

如果启用了 STE 模式，会存储 STE 修正项 (hard - soft)， 用于后续梯度计算时修正梯度。

pub fn compute_structure_gradients( &mut self, loss_gradients: &HashMap<(usize, usize), f64>, ) -> HashMap<(usize, usize), f64>

计算结构梯度

Arguments

• loss_gradients - 损失对边存在性的梯度 {(src, dst): ∂L/∂A_ij}

Returns

HashMap {(src, dst): ∂L/∂logits}，可用于更新边的 logits 参数

Gradient Computation

梯度计算遵循链式法则：

∂L/∂logits = ∂L/∂A * ∂A/∂logits

其中 A = σ(logits/τ)，所以：

∂A/∂logits = A * (1 - A) / τ

STE 修正

当启用 STE 模式时，梯度会加上 STE 修正项：

gradient = ∂L/∂logits + (hard - soft)

这确保了前向传播的离散化与反向传播的连续梯度一致。

Regularization

L1 稀疏正则化

L_sparse = λ_sparse * Σ|logits| ∂L_sparse/∂logits = λ_sparse * sign(logits)

梯度下降更新：logits -= lr * gradient

• 正 logits → 正梯度 → logits 减小 → 概率趋向 0 → 稀疏
• 负 logits → 负梯度 → logits 增大 → 概率趋向 0 → 稀疏

L2 平滑正则化

L_smooth = λ_smooth * Σ_{(i,j),(i,k)∈E} (A_ij - A_ik)² ∂L_smooth/∂A_ij = 2 * λ_smooth * Σ_k (A_ij - A_ik)

平滑正则化鼓励：

• 共享源节点的边有相似概率
• 共享目标节点的边有相似概率

pub fn update_structure(&mut self, gradients: &HashMap<(usize, usize), f64>)

基于梯度更新结构

pub fn optimization_step( &mut self, loss_gradients: HashMap<(usize, usize), f64>, ) -> HashMap<(usize, usize), f64>

一步优化：离散化 -> 计算梯度 -> 更新

pub fn get_learnable_edges(&self) -> Vec<&DifferentiableEdge>

获取可微边列表

pub fn num_edges(&self) -> usize

获取边数

pub fn num_nodes(&self) -> usize

获取节点数

pub fn config(&self) -> &GradientConfig

获取配置

pub fn set_config(&mut self, config: GradientConfig)

设置配置

pub fn temperature(&self) -> f64

获取当前温度

pub fn set_temperature(&mut self, temp: f64)

设置温度

pub fn edges( &self, ) -> impl Iterator<Item = (&(usize, usize), &DifferentiableEdge)>

获取边迭代器

pub fn to_graph(&self) -> Graph<usize, f64>

转换为普通 Graph

使用离散化的边存在性构建 Graph。 边的权重为 1.0（如果存在）或 0.0（如果不存在）。

Note

此方法创建的图使用节点索引作为节点数据，边权重为 f64。 节点索引通过 NodeIndex::new(index, generation) 创建， 其中 generation 由 Graph 内部管理。

pub fn to_graph_with_types( &self, node_types: &HashMap<usize, OperatorType>, edge_weights: &HashMap<(usize, usize), WeightTensor>, ) -> Graph<OperatorType, WeightTensor>

转换为带类型信息的 Graph（保留 OperatorType 和 WeightTensor）

使用离散化的边存在性构建 Graph，保留原始的节点和边类型信息。

Arguments

• node_types - 节点类型映射 (node_index -> OperatorType)
• edge_weights - 边权重映射 ((src, dst) -> WeightTensor)

Returns

带类型信息的 Graph<OperatorType, WeightTensor>

pub fn from_graph<U, V>( graph: &Graph<U, V>, init_probs: Option<HashMap<(usize, usize), f64>>, ) -> DifferentiableGraph<()>

where U: Clone, V: Clone,

从普通 Graph 初始化可微图

Arguments

• graph - 源图
• init_probs - 边的初始存在概率
  • 如果提供，只初始化指定的边
  • 如果为 None，根据图中存在的边初始化（概率设为 1.0）

Note

此方法忽略原图的节点和边数据，只使用图结构。 节点数据默认为 (),边数据默认为 ().

pub fn from_graph_with_prob<U, V>( graph: &Graph<U, V>, init_prob: Option<f64>, ) -> DifferentiableGraph<()>

where U: Clone, V: Clone,

从普通图构建可微图（使用统一的初始概率）

Arguments

• graph - 原始图
• init_prob - 边的初始存在概率（0.0~1.0）

Returns

DifferentiableGraph<()> - 可微图

Note

此方法忽略原图的节点和边数据，只使用图结构。

pub fn set_ste(&mut self, use_ste: bool)

启用/禁用 STE 模式

pub fn get_ste_corrections(&self) -> &HashMap<(usize, usize), f64>

获取 STE 修正项

Trait Implementations

impl<T: Clone> Clone for DifferentiableGraph<T>

fn clone(&self) -> DifferentiableGraph<T>

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl<T: Debug> Debug for DifferentiableGraph<T>

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.