Struct ProgressStreamingTokenizer 

pub struct ProgressStreamingTokenizer { /* private fields */ }

진행률 추적 스트리밍 토크나이저

대용량 파일 처리 시 진행 상황을 콜백으로 보고합니다.

Implementations

impl ProgressStreamingTokenizer

pub const DEFAULT_CALLBACK_INTERVAL: usize = 65536

기본 콜백 간격 (64KB)

pub fn new(tokenizer: Tokenizer) -> Self

새 진행률 추적 토크나이저 생성

pub fn with_progress_callback<F>(self, callback: F) -> Self

where F: Fn(StreamingProgress) + Send + 'static,

진행률 콜백 설정

pub const fn with_total_bytes(self, total: usize) -> Self

총 바이트 수 설정 (진행률 계산용)

pub const fn with_callback_interval(self, interval: usize) -> Self

콜백 간격 설정

pub fn with_chunk_size(self, size: usize) -> Self

청크 크기 설정

pub fn process_chunk(&mut self, chunk: &str) -> Vec<Token>

청크 처리

pub fn flush(&mut self) -> Vec<Token>

남은 버퍼 처리

pub fn process_reader<R: Read>(&mut self, reader: R) -> Result<Vec<Token>>

Reader에서 스트리밍 처리 (진행률 추적)

Errors

I/O 에러 발생 시

pub fn process_file<P: AsRef<Path>>(&mut self, path: P) -> Result<Vec<Token>>

파일에서 스트리밍 처리 (자동 크기 감지)

Errors

파일을 열 수 없거나 읽기 실패 시

pub const fn progress(&self) -> StreamingProgress

현재 진행 상황 조회

pub fn reset(&mut self)

리셋