Skip to main content

split_into_chunks_hierarchical

Function split_into_chunks_hierarchical 

Source
pub fn split_into_chunks_hierarchical(
    body: &str,
    tokenizer: &Tokenizer,
) -> Vec<Chunk>
Expand description

Divide body em chunks usando MarkdownSplitter com tokenizer real. Respeita limites semânticos de Markdown (H1-H6, parágrafos, blocos). Para texto puro sem marcadores Markdown, cai sobre quebras de parágrafo e sentenças.