kham-core 0.5.0

Pure Rust Thai word segmentation engine — no_std compatible
Documentation
# Thai sentences using only words present in the built-in dictionary.
# Format: input|tok1|tok2|...
# Whitespace tokens are excluded (keep_whitespace=false default).
# All expected tokens are TokenKind::Thai.
กินข้าว|กินข้าว
กินปลา|กิน|ปลา
ไปมา|ไปมา
มาที่นี่|มา|ที่นี่
คนที่นี่|คน|ที่นี่
สวัสดีชาวโลก|สวัสดี|ชาวโลก
ธนาคารแห่งนั้น|ธนาคาร|แห่ง|นั้น
คนนั้นไปที่นี่|คน|นั้น|ไป|ที่นี่
วันนี้อากาศดี|วันนี้|อากาศ|ดี
หมาแมวอยู่ในบ้าน|หมา|แมว|อยู่|ใน|บ้าน
พ่อแม่รักลูก|พ่อแม่|รัก|ลูก
ลูกสาวเรียนเก่ง|ลูกสาว|เรียน|เก่ง
ดื่มน้ำเย็น|ดื่ม|น้ำเย็น
ซื้อของในตลาด|ซื้อ|ของ|ใน|ตลาด
นอนหลับพักผ่อน|นอนหลับ|พักผ่อน
เดินทางไกลมาก|เดินทางไกล|มาก
เขาทำงานหนักมาก|เขา|ทำงานหนัก|มาก
แม่ค้าขายผลไม้|แม่|ค้าขาย|ผลไม้
เพื่อนฝูงมาเยี่ยม|เพื่อนฝูง|มา|เยี่ยม