Module chunking 

Token-aware chunking utilities for bodies that exceed the embedding window.

Structs

Chunk

Constants

CHUNK_OVERLAP_CHARS

CHUNK_SIZE_CHARS

Functions

aggregate_embeddings

chunk_text

needs_chunking

split_into_chunks

split_into_chunks_by_token_offsets

split_into_chunks_hierarchical

Divide body em chunks usando MarkdownSplitter com tokenizer real. Respeita limites semânticos de Markdown (H1-H6, parágrafos, blocos). Para texto puro sem marcadores Markdown, cai sobre quebras de parágrafo e sentenças.