Skip to main content

REMEMBER_MAX_CONTROLLED_BATCH_PADDED_TOKENS

Constant REMEMBER_MAX_CONTROLLED_BATCH_PADDED_TOKENS 

Source
pub const REMEMBER_MAX_CONTROLLED_BATCH_PADDED_TOKENS: usize = 512;
Expand description

Orçamento máximo de tokens preenchidos por micro-batch controlado no remember.

O orçamento usa max_tokens_no_batch * tamanho_do_batch, aproximando o custo real do padding BatchLongest. Valores acima disso voltam para batches menores ou serialização.