Skip to main content

EMBEDDING_LOAD_EXPECTED_RSS_MB

Constant EMBEDDING_LOAD_EXPECTED_RSS_MB 

Source
pub const EMBEDDING_LOAD_EXPECTED_RSS_MB: u64 = 750;
Expand description

RSS esperado em MiB de uma única instância com o modelo ONNX carregado via fastembed.

Usado na fórmula min(cpus, available_memory_mb / EMBEDDING_LOAD_EXPECTED_RSS_MB) * 0.5 para calcular o número dinâmico de permits. Valor calibrado para multilingual-e5-small com runtime ONNX.