Enum Split 

#[non_exhaustive]
pub enum Split {
    None,
    Whitespace,
    Character,
    UnicodeWhitespace,
}

分割の方式。既定の Whitespace の空白判定は ASCII に限る。

Unicode White_Space（全角空白・NBSP 等）での分割は UnicodeWhitespace を opt-in で選ぶ。#[non_exhaustive] のため variant の追加は非破壊。

Variants (Non-exhaustive)

Non-exhaustive enums could have additional variants added in future. Therefore, when matching against variants of non-exhaustive enums, an extra wildcard arm must be added to account for any future variants.

None

分割しない（入力全体を 1 トークン）。空入力 "" も 1 トークン（id 0）になる。

Whitespace

ASCII 空白（SP・TAB・LF・FF・CR）だけで分割する（既定）。連続空白で空 トークンは出ない。Unicode White_Space（全角空白・NBSP 等）では分割しない。

Character

char（Unicode スカラー値）単位で分割する。書記素クラスタ単位ではなく、 結合文字や ZWJ 絵文字は複数トークンに分かれる。

UnicodeWhitespace

Unicode White_Space（char::is_whitespace）で分割する。全角空白・NBSP・VT・ NEL・U+2028 で区切る。ZWSP（U+200B）は White_Space ではないので区切らない。 連続空白で空トークンは出ない。

Trait Implementations

impl Clone for Split

fn clone(&self) -> Self

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Copy for Split

impl Debug for Split

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Default for Split

fn default() -> Self

Returns the “default value” for a type.

impl Eq for Split

impl PartialEq for Split

fn eq(&self, other: &Self) -> bool

Equality operator ==.

fn ne(&self, other: &Rhs) -> bool

Inequality operator !=.

impl StructuralPartialEq for Split