Struct LargeFileProcessor 

pub struct LargeFileProcessor { /* private fields */ }

대용량 파일 스트리밍 프로세서

파일을 청크 단위로 읽으면서 토큰화를 수행합니다. 메모리 효율적인 처리를 위해 전체 파일을 메모리에 로드하지 않습니다.

Implementations

impl LargeFileProcessor

pub const DEFAULT_BUFFER_SIZE: usize = 65536

기본 버퍼 크기 (64KB)

pub fn new() -> Result<Self>

새 대용량 파일 프로세서 생성

Errors

배치 토크나이저 초기화 실패 시

pub const fn with_buffer_size(self, size: usize) -> Self

버퍼 크기 설정

pub fn with_progress_callback<F>(self, callback: F) -> Self

where F: Fn(LargeFileProgress) + Send + Sync + 'static,

진행률 콜백 설정

pub fn process_file<P: AsRef<Path>>(&self, path: P) -> Result<Vec<Token>>

대용량 파일 스트리밍 처리

파일을 청크 단위로 읽어 토큰화합니다. 문장 경계를 고려하여 분할합니다.

Arguments

• path - 파일 경로

Returns

토큰 목록

Errors

파일 읽기 실패 시

pub fn process_files<P: AsRef<Path> + Sync>( &self, paths: &[P], ) -> Result<Vec<Vec<Token>>>

여러 대용량 파일 병렬 처리

Errors

파일 읽기 실패 시