Struct TextVectorizationConfig 

#[non_exhaustive]
pub struct TextVectorizationConfig {
    pub max_tokens: Option<usize>,
    pub standardize: Standardize,
    pub split: Split,
    pub ngrams: Option<usize>,
    pub output_sequence_length: Option<usize>,
    pub pad_to_max_tokens: bool,
    pub limits: TextLimits,
}

TextVectorization の設定。Default と with_* ビルダで組み立てる。

既定値は max_tokens: None・standardize: LowerAndStripPunctuation・ split: Whitespace・ngrams: None・output_sequence_length: None・ limits: TextLimits::default()。Option のフィールドは with_* で Some を 設定する（None へ戻すには Default かフィールド代入）。値の検査は ビルダでは行わず、TextVectorization::from_vocabulary／adapt の構築時に行う。

• max_tokens: 予約 2 件を含む語彙数の上限。2 以下は InvalidMaxTokens
• ngrams: Some(n) で 1〜n-gram を作る（n は 1 以上かつ limits の上限以下）
• output_sequence_length: Some(L) で L へ切り詰め／0 埋め。None は バッチ内の最長に合わせる（出力モード系メソッドでは無視される）
• pad_to_max_tokens: 既定 false。true なら出力モード系メソッドの列数を max_tokens に固定する（max_tokens が None だと構築時に PadToMaxTokensWithoutMaxTokens）。false は語彙数（予約 2 件を含む）

Fields (Non-exhaustive)

Non-exhaustive structs could have additional fields added in future. Therefore, non-exhaustive structs cannot be constructed in external crates using the traditional Struct { .. } syntax; cannot be matched against without a wildcard ..; and struct update syntax will not work.

max_tokens: Option<usize>

予約 2 件を含む語彙数の上限。None は無制限（limits の上限は適用される）。

standardize: Standardize

標準化の方式（既定は ASCII。Unicode 小文字化は UnicodeLower で opt-in）。

split: Split

分割の方式（既定は ASCII 空白。Unicode White_Space は UnicodeWhitespace で opt-in）。

ngrams: Option<usize>

Some(n) なら 1〜n-gram を作る。

output_sequence_length: Option<usize>

Some(L) なら出力長を L に固定する。

pad_to_max_tokens: bool

出力モード系メソッドの列数を max_tokens へ固定するか（既定 false）。

limits: TextLimits

非信頼入力の上限。

Implementations

impl TextVectorizationConfig

pub fn with_max_tokens(self, max_tokens: usize) -> Self

max_tokens に Some(max_tokens) を設定する。

pub fn with_standardize(self, standardize: Standardize) -> Self

標準化の方式を設定する。

pub fn with_split(self, split: Split) -> Self

分割の方式を設定する。

pub fn with_ngrams(self, n: usize) -> Self

ngrams に Some(n) を設定する。

pub fn with_output_sequence_length(self, len: usize) -> Self

output_sequence_length に Some(len) を設定する。

pub fn with_pad_to_max_tokens(self, pad: bool) -> Self

pad_to_max_tokens を設定する。true には max_tokens の指定が必要。

pub fn with_limits(self, limits: TextLimits) -> Self

非信頼入力の上限を設定する。

Trait Implementations

impl Clone for TextVectorizationConfig

fn clone(&self) -> Self

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for TextVectorizationConfig

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Default for TextVectorizationConfig

fn default() -> Self

Returns the “default value” for a type.

impl Eq for TextVectorizationConfig

impl PartialEq for TextVectorizationConfig

fn eq(&self, other: &Self) -> bool

Equality operator ==.

fn ne(&self, other: &Rhs) -> bool

Inequality operator !=.

impl StructuralPartialEq for TextVectorizationConfig