vtext 0.2.0

// Copyright 2019 vtext developers
//
// Licensed under the Apache License, Version 2.0,
// <http://apache.org/licenses/LICENSE-2.0>. This file may not be copied,
// modified, or distributed except according to those terms.

use crate::tokenize::Tokenizer;

use crate::tokenize_sentence::*;

// macro located `vtext::tokenize_sentence::vecString`
use crate::vecString;

#[test]
fn test_punctuation_sentence_tokenizer() {
    let s = "Here is one. Here is another? Bang!! This trailing text is one more";

    let tokenizer = PunctuationTokenizerParams::default().build().unwrap();
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &[
        "Here is one. ",
        "Here is another? ",
        "Bang!",
        "! ",
        "This trailing text is one more",
    ];
    assert_eq!(tokens, b);

    let tokenizer = PunctuationTokenizer::default();
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &[
        "Here is one. ",
        "Here is another? ",
        "Bang!",
        "! ",
        "This trailing text is one more",
    ];
    assert_eq!(tokens, b);

    let s = "Trailing punctuation!!";
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &["Trailing punctuation!", "!"];
    assert_eq!(tokens, b);

    // String with characters longer than one byte and multi-code points
    let s2 = "y̆es? 这是另一个! 후행 텍스트";

    let tokenizer = PunctuationTokenizer::default();
    let tokens: Vec<&str> = tokenizer.tokenize(s2).collect();
    let b: &[_] = &["y̆es? ", "这是另一个! ", "후행 텍스트"];
    assert_eq!(tokens, b);
}

#[test]
fn test_unicode_sentence_tokenizer() {
    let s = "Here is one. Here is another? Bang!! This trailing text is one more";

    let tokenizer = UnicodeSentenceTokenizerParams::default().build().unwrap();
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &[
        "Here is one. ",
        "Here is another? ",
        "Bang!! ",
        "This trailing text is one more",
    ];
    assert_eq!(tokens, b);

    let tokenizer = UnicodeSentenceTokenizer::default();
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &[
        "Here is one. ",
        "Here is another? ",
        "Bang!! ",
        "This trailing text is one more",
    ];
    assert_eq!(tokens, b);

    let s = "Trailing punctuation!!";
    let tokens: Vec<&str> = tokenizer.tokenize(s).collect();
    let b: &[_] = &["Trailing punctuation!!"];
    assert_eq!(tokens, b);
}

#[test]
fn test_punctuation_sentence_tokenizer_multi_lang() {
    // More complex unicode languages
    // Examples taken from spaCy test suite
    // https://github.com/explosion/spaCy/blob/d8f3190c0a265033ca367097e00cbf085b34615a/spacy/tests/pipeline/test_sentencizer.py#L134
    let punct = vecString![
        '!', '.', '?', '։', '؟', '۔', '܀', '܁', '܂', '߹', '।', '॥', '၊', '။', '።', '፧', '፨', '᙮',
        '᜵', '᜶', '᠃', '᠉', '᥄', '᥅', '᪨', '᪩', '᪪', '᪫', '᭚', '᭛', '᭞', '᭟', '᰻', '᰼', '᱾', '᱿',
        '‼', '‽', '⁇', '⁈', '⁉', '⸮', '⸼', '꓿', '꘎', '꘏', '꛳', '꛷', '꡶', '꡷', '꣎', '꣏', '꤯', '꧈',
        '꧉', '꩝', '꩞', '꩟', '꫰', '꫱', '꯫', '﹒', '﹖', '﹗', '！', '．', '？', '𐩖', '𐩗', '𑁇', '𑁈',
        '𑂾', '𑂿', '𑃀', '𑃁', '𑅁', '𑅂', '𑅃', '𑇅', '𑇆', '𑇍', '𑇞', '𑇟', '𑈸', '𑈹', '𑈻', '𑈼', '𑊩', '𑑋',
        '𑑌', '𑗂', '𑗃', '𑗉', '𑗊', '𑗋', '𑗌', '𑗍', '𑗎', '𑗏', '𑗐', '𑗑', '𑗒', '𑗓', '𑗔', '𑗕', '𑗖', '𑗗',
        '𑙁', '𑙂', '𑜼', '𑜽', '𑜾', '𑩂', '𑩃', '𑪛', '𑪜', '𑱁', '𑱂', '𖩮', '𖩯', '𖫵', '𖬷', '𖬸', '𖭄', '𛲟',
        '𝪈', '｡', '。'
    ];

    let tokenizer = PunctuationTokenizerParams::default()
        .punctuation(punct)
        .build()
        .unwrap();

    // Bengali
    let expected = [
        "বাংলা ভাষা (বাঙলা, বাঙ্গলা, তথা বাঙ্গালা নামগুলোতেও পরিচিত) একটি ইন্দো-আর্য ভাষা, যা দক্ষিণ এশিয়ার বাঙালি \
        জাতির প্রধান কথ্য ও লেখ্য ভাষা। ",
        "মাতৃভাষীর সংখ্যায় বাংলা ইন্দো-ইউরোপীয় ভাষা পরিবারের চতুর্থ ও বিশ্বের ষষ্ঠ বৃহত্তম ভাষা।",
        "[৫] মোট ব্যবহারকারীর সংখ্যা অনুসারে বাংলা বিশ্বের সপ্তম বৃহত্তম ভাষা। ",
        "বাংলা সার্বভৌম ভাষাভিত্তিক জাতিরাষ্ট্র বাংলাদেশের একমাত্র রাষ্ট্রভাষা তথা সরকারি ভাষা[৬] এবং ভারতের পশ্চিমবঙ্গ, ত্রিপুরা, \
        আসামের বরাক উপত্যকার সরকারি ভাষা। ",
        "বঙ্গোপসাগরে অবস্থিত আন্দামান দ্বীপপুঞ্জের প্রধান কথ্য ভাষা বাংলা। ",
        "এছাড়া ভারতের ঝাড়খণ্ড, বিহার, মেঘালয়, মিজোরাম, উড়িষ্যা রাজ্যগুলোতে উল্লেখযোগ্য পরিমাণে বাংলাভাষী জনগণ রয়েছে। ",
        "ভারতে হিন্দির পরেই সর্বাধিক প্রচলিত ভাষা বাংলা।",
        "[৭][৮] এছাড়াও মধ্য প্রাচ্য, আমেরিকা ও ইউরোপে উল্লেখযোগ্য পরিমাণে বাংলাভাষী অভিবাসী রয়েছে।",
        "[৯] সারা বিশ্বে সব মিলিয়ে ২৬ কোটির অধিক লোক দৈনন্দিন জীবনে বাংলা ব্যবহার করে।",
        "[২] বাংলাদেশের জাতীয় সঙ্গীত এবং ভারতের জাতীয় সঙ্গীত ও স্তোত্র বাংলাতে রচিত।",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // German
    let expected = [
        "Die deutsche Sprache bzw. ",
        "Deutsch ([dɔʏ̯t͡ʃ]; abgekürzt dt. ",
        "oder dtsch.",
        ") ist eine westgermanische Sprache. ",
        "Ihr Sprachraum umfasst Deutschland, Österreich, die Deutschschweiz, Liechtenstein, \
        Luxemburg, Ostbelgien, Südtirol, das Elsass und Lothringen sowie Nordschleswig. ",
        "Außerdem ist sie eine Minderheitensprache in einigen europäischen und außereuropäischen \
        Ländern, z. ",
        "B. ",
        "in Rumänien und Südafrika, sowie Nationalsprache im afrikanischen Namibia",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Hindi
    let expected = [
        "हिन्दी विश्व की एक प्रमुख भाषा है एवं भारत की राजभाषा है। ",
        "केन्द्रीय स्तर पर भारत में दूसरी आधिकारिक भाषा अंग्रेजी है। ",
        "यह हिंदुस्तानी भाषा की एक मानकीकृत रूप है जिसमें संस्कृत के तत्सम तथा तद्भव शब्दों का प्रयोग अधिक है और अरबी-फ़ारसी \
        शब्द कम हैं। ",
        "हिंदी संवैधानिक रूप से भारत की राजभाषा और भारत की सबसे अधिक बोली और समझी जाने वाली भाषा है। ",
        "हालाँकि, हिन्दी भारत की राष्ट्रभाषा नहीं है,[3] क्योंकि भारत के संविधान में कोई भी भाषा को ऐसा दर्जा नहीं दिया गया था।",
        "[4][5] चीनी के बाद यह विश्व में सबसे अधिक बोली जाने वाली भाषा भी है। ",
        "विश्व आर्थिक मंच की गणना के अनुसार यह विश्व की दस शक्तिशाली भाषाओं में से एक है।",
        "[6]"
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Kannada
    let expected = [
        "ದ್ರಾವಿಡ ಭಾಷೆಗಳಲ್ಲಿ ಪ್ರಾಮುಖ್ಯವುಳ್ಳ ಭಾಷೆಯೂ ಭಾರತದ ಪುರಾತನವಾದ ಭಾಷೆಗಳಲ್ಲಿ ಒಂದೂ ಆಗಿರುವ ಕನ್ನಡ ಭಾಷೆಯನ್ನು \
        ಅದರ ವಿವಿಧ ರೂಪಗಳಲ್ಲಿ ಸುಮಾರು ೪೫ ದಶಲಕ್ಷ ಜನರು ಆಡು ನುಡಿಯಾಗಿ ಬಳಸುತ್ತಲಿದ್ದಾರೆ. ",
        "ಕನ್ನಡ ಕರ್ನಾಟಕ ರಾಜ್ಯದ ಆಡಳಿತ ಭಾಷೆ.",
        "[೧೧] ಜಗತ್ತಿನಲ್ಲಿ ಅತ್ಯಂತ ಹೆಚ್ಚು ಮಂದಿ ಮಾತನಾಡುವ ಭಾಷೆಯೆಂಬ ನೆಲೆಯಲ್ಲಿ ಇಪ್ಪತೊಂಬತ್ತನೆಯ ಸ್ಥಾನ ಕನ್ನಡಕ್ಕಿದೆ. ",
        "೨೦೧೧ರ ಜನಗಣತಿಯ ಪ್ರಕಾರ ಜಗತ್ತಿನಲ್ಲಿ ೬.",
        "೪ ಕೋಟಿ ಜನಗಳು ಕನ್ನಡ ಮಾತನಾಡುತ್ತಾರೆ ಎಂದು ತಿಳಿದುಬಂದಿದೆ. ",
        "ಇವರಲ್ಲಿ ೫.",
        "೫ ಕೋಟಿ ಜನಗಳ ಮಾತೃಭಾಷೆ ಕನ್ನಡವಾಗಿದೆ. ",
        "ಬ್ರಾಹ್ಮಿ ಲಿಪಿಯಿಂದ ರೂಪುಗೊಂಡ ಕನ್ನಡ ಲಿಪಿಯನ್ನು ಉಪಯೋಗಿಸಿ ಕನ್ನಡ ಭಾಷೆಯನ್ನು ಬರೆಯಲಾಗುತ್ತದೆ. ",
        "ಕನ್ನಡ ಬರಹದ ಮಾದರಿಗಳಿಗೆ ಸಾವಿರದ ಐನೂರು ವರುಷಗಳ ಚರಿತ್ರೆಯಿದೆ. ",
        "ಕ್ರಿ.",
        "ಶ. ",
        "ಆರನೆಯ ಶತಮಾನದ ಪಶ್ಚಿಮ ಗಂಗ ಸಾಮ್ರಾಜ್ಯದ ಕಾಲದಲ್ಲಿ [೧೨] ಮತ್ತು ಒಂಬತ್ತನೆಯ ಶತಮಾನದ ರಾಷ್ಟ್ರಕೂಟ ಸಾಮ್ರಾಜ್ಯದ \
        ಕಾಲದಲ್ಲಿ ಹಳಗನ್ನಡ ಸಾಹಿತ್ಯ ಅತ್ಯಂತ ಹೆಚ್ಚಿನ ರಾಜಾಶ್ರಯ ಪಡೆಯಿತು.",
        "[೧೩][೧೪] ಅದಲ್ಲದೆ ಸಾವಿರ ವರುಷಗಳ ಸಾಹಿತ್ಯ ಪರಂಪರೆ ಕನ್ನಡಕ್ಕಿದೆ.",
        "[೧೫]ವಿನೋಬಾ ಭಾವೆ ಕನ್ನಡ ಲಿಪಿಯನ್ನು ಲಿಪಿಗಳ ರಾಣಿಯೆಂದು ಹೊಗಳಿದ್ದಾರೆ.",
        "[ಸೂಕ್ತ ಉಲ್ಲೇಖನ ಬೇಕು]",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Sinhalese
    let expected = [
        "ශ්‍රී ලංකාවේ ප්‍රධාන ජාතිය වන සිංහල ජනයාගේ මව් බස සිංහල වෙයි. ",
        "අද වන විට මිලියන 20 කට අධික සිංහල සහ මිලියන 3කට අධික සිංහල නොවන ජනගහනයක් සිංහල භාෂාව භාවිත කරති. ",
        "සිංහල‍ ඉන්දු-යුරෝපීය භාෂාවල උප ගණයක් වන ඉන්දු-ආර්ය භාෂා ගණයට අයිති වන අතර මාල දිවයින භාවිත කරන දිවෙහි \
        භාෂාව සිංහලයෙන් පැවත එන්නකි. ",
        "සිංහල ශ්‍රී ලංකාවේ නිල භාෂාවයි .",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Tamil
    let expected = [
        "தமிழ் மொழி (Tamil language) தமிழர்களினதும், தமிழ் பேசும் பலரதும் தாய்மொழி ஆகும். ",
        "தமிழ் திராவிட மொழிக் குடும்பத்தின் முதன்மையான மொழிகளில் ஒன்றும் செம்மொழியும் ஆகும். ",
        "இந்தியா, இலங்கை, மலேசியா, சிங்கப்பூர் ஆகிய நாடுகளில் அதிக அளவிலும், ஐக்கிய அரபு அமீரகம், \
        தென்னாப்பிரிக்கா, மொரிசியசு, பிஜி, ரீயூனியன், டிரினிடாட் போன்ற நாடுகளில் சிறிய அளவிலும் தமிழ் \
        பேசப்படுகிறது. ",
        "1997ஆம் ஆண்டுப் புள்ளி விவரப்படி உலகம் முழுவதிலும் 8 கோடி (80 மில்லியன்) மக்களால் பேசப்படும் \
        தமிழ்[13], ஒரு மொழியைத் தாய்மொழியாகக் கொண்டு பேசும் மக்களின் எண்ணிக்கை அடிப்படையில் \
        பதினெட்டாவது இடத்தில் உள்ளது.",
        "[14] இணையத்தில் அதிகம் பயன்படுத்தப்படும் இந்திய மொழிகளில் தமிழ் முதன்மையாக உள்ளதாக 2017 ஆவது \
        ஆண்டில் நடைபெற்ற கூகுள் கணக்கெடுப்பில் தெரிய வந்தது.",
        "[15]",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Telugu
    let expected = [
        "ఆంధ్ర ప్రదేశ్, తెలంగాణ రాష్ట్రాల అధికార భాష తెలుగు. ",
        "భారత దేశంలో తెలుగు మాతృభాషగా మాట్లాడే 8.",
        "7 కోట్ల (2001) జనాభాతో [1] ప్రాంతీయ భాషలలో మొదటి స్థానంలో ఉంది. ",
        "ప్రపంచంలోని ప్రజలు అత్యధికముగా మాట్లాడే భాషలలో 15 స్థానములోనూ, భారత దేశములో హిందీ, తర్వాత \
        స్థానములోనూ నిలుస్తుంది. ",
        "పాతవైన ప్రపంచ భాష గణాంకాల (ఎథ్నోలాగ్) ప్రకారం ప్రపంచవ్యాప్తంగా 7.",
        "4 కోట్లు మందికి మాతృభాషగా ఉంది.",
        "[2] మొదటి భాషగా మాట్లాడతారు. ",
        "అతి ప్రాచీన దేశ భాషలలో సంస్కృతము తమిళముతో బాటు తెలుగు భాషను 2008 అక్టోబరు 31న భారత ప్రభుత్వము \
        గుర్తించింది.",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Urdu
    let expected = [
        "اُردُو لشکری زبان[8] (یا جدید معیاری اردو) برصغیر کی معیاری زبانوں میں سے ایک ہے۔ ",
        "یہ پاکستان کی قومی اور رابطہ عامہ کی زبان ہے، جبکہ بھارت کی چھے ریاستوں کی دفتری زبان کا درجہ رکھتی ہے۔ ",
        "آئین ہند کے مطابق اسے 22 دفتری شناخت زبانوں میں شامل کیا جاچکا ہے۔ ",
        "2001ء کی مردم شماری کے مطابق اردو کو بطور مادری زبان بھارت میں 5.",
        "01% فیصد لوگ بولتے ہیں اور اس لحاظ سے یہ بھارت کی چھٹی بڑی زبان ہے جبکہ پاکستان میں اسے بطور مادری زبان 7.",
        "59% فیصد لوگ استعمال کرتے ہیں، یہ پاکستان کی پانچویں بڑی زبان ہے۔ ",
        "اردو تاریخی طور پر ہندوستان کی مسلم آبادی سے جڑی ہے۔",
        "[حوالہ درکار] بعض ذخیرہ الفاظ کے علاوہ یہ زبان معیاری ہندی سے قابل فہم ہے جو اس خطے کی ہندوؤں سے منسوب ہے۔",
        "[حوالہ درکار] زبانِ اردو کو پہچان و ترقی اس وقت ملی جب برطانوی دور میں انگریز حکمرانوں نے اسے فارسی کی بجائے انگریزی کے ساتھ شمالی ہندوستان کے علاقوں اور جموں و کشمیر میں اسے سنہ 1846ء اور پنجاب میں سنہ 1849ء میں بطور دفتری زبان نافذ کیا۔ ",
        "اس کے علاوہ خلیجی، یورپی، ایشیائی اور امریکی علاقوں میں اردو بولنے والوں کی ایک بڑی تعداد آباد ہے جو بنیادی طور پر جنوبی ایشیاء سے کوچ کرنے والے اہلِ اردو ہیں۔ ",
        "1999ء کے اعداد وشمار کے مطابق اردو زبان کے مجموعی متکلمین کی تعداد دس کروڑ ساٹھ لاکھ کے لگ بھگ تھی۔ ",
        "اس لحاظ سے یہ دنیا کی نویں بڑی زبان ہے۔",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);
}

#[test]
fn test_unicode_sentence_tokenizer_multi_lang() {
    // More complex unicode languages
    // Examples taken from spaCy test suite
    // https://github.com/explosion/spaCy/blob/d8f3190c0a265033ca367097e00cbf085b34615a/spacy/tests/pipeline/test_sentencizer.py#L134
    let tokenizer = UnicodeSentenceTokenizer::default();

    // Bengali
    let expected = [
        "বাংলা ভাষা (বাঙলা, বাঙ্গলা, তথা বাঙ্গালা নামগুলোতেও পরিচিত) একটি ইন্দো-আর্য ভাষা, যা দক্ষিণ এশিয়ার বাঙালি জাতির প্রধান কথ্য ও লেখ্য ভাষা। ",
        "মাতৃভাষীর সংখ্যায় বাংলা ইন্দো-ইউরোপীয় ভাষা পরিবারের চতুর্থ ও বিশ্বের ষষ্ঠ বৃহত্তম ভাষা।[",
        "৫] মোট ব্যবহারকারীর সংখ্যা অনুসারে বাংলা বিশ্বের সপ্তম বৃহত্তম ভাষা। ",
        "বাংলা সার্বভৌম ভাষাভিত্তিক জাতিরাষ্ট্র বাংলাদেশের একমাত্র রাষ্ট্রভাষা তথা সরকারি ভাষা[৬] এবং ভারতের পশ্চিমবঙ্গ, ত্রিপুরা, আসামের বরাক উপত্যকার সরকারি ভাষা। ",
        "বঙ্গোপসাগরে অবস্থিত আন্দামান দ্বীপপুঞ্জের প্রধান কথ্য ভাষা বাংলা। ",
        "এছাড়া ভারতের ঝাড়খণ্ড, বিহার, মেঘালয়, মিজোরাম, উড়িষ্যা রাজ্যগুলোতে উল্লেখযোগ্য পরিমাণে বাংলাভাষী জনগণ রয়েছে। ",
        "ভারতে হিন্দির পরেই সর্বাধিক প্রচলিত ভাষা বাংলা।[",
        "৭][৮] এছাড়াও মধ্য প্রাচ্য, আমেরিকা ও ইউরোপে উল্লেখযোগ্য পরিমাণে বাংলাভাষী অভিবাসী রয়েছে।[",
        "৯] সারা বিশ্বে সব মিলিয়ে ২৬ কোটির অধিক লোক দৈনন্দিন জীবনে বাংলা ব্যবহার করে।[",
        "২] বাংলাদেশের জাতীয় সঙ্গীত এবং ভারতের জাতীয় সঙ্গীত ও স্তোত্র বাংলাতে রচিত।",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // German
    let expected = [
        "Die deutsche Sprache bzw. ",
        "Deutsch ([dɔʏ̯t͡ʃ]; abgekürzt dt. oder dtsch.) ist eine westgermanische Sprache. ",
        "Ihr Sprachraum umfasst Deutschland, Österreich, die Deutschschweiz, Liechtenstein, \
        Luxemburg, Ostbelgien, Südtirol, das Elsass und Lothringen sowie Nordschleswig. ",
        "Außerdem ist sie eine Minderheitensprache in einigen europäischen und außereuropäischen \
        Ländern, z. ",
        "B. in Rumänien und Südafrika, sowie Nationalsprache im afrikanischen Namibia",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Hindi
    let expected = [
        "हिन्दी विश्व की एक प्रमुख भाषा है एवं भारत की राजभाषा है। ",
        "केन्द्रीय स्तर पर भारत में दूसरी आधिकारिक भाषा अंग्रेजी है। ",
        "यह हिंदुस्तानी भाषा की एक मानकीकृत रूप है जिसमें संस्कृत के तत्सम तथा तद्भव शब्दों का प्रयोग अधिक है और अरबी-फ़ारसी शब्द कम हैं। ",
        "हिंदी संवैधानिक रूप से भारत की राजभाषा और भारत की सबसे अधिक बोली और समझी जाने वाली भाषा है। ",
        "हालाँकि, हिन्दी भारत की राष्ट्रभाषा नहीं है,[3] क्योंकि भारत के संविधान में कोई भी भाषा को ऐसा दर्जा नहीं दिया गया था।[",
        "4][5] चीनी के बाद यह विश्व में सबसे अधिक बोली जाने वाली भाषा भी है। ",
        "विश्व आर्थिक मंच की गणना के अनुसार यह विश्व की दस शक्तिशाली भाषाओं में से एक है।[",
        "6]",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Kannada
    let expected = [
        "ದ್ರಾವಿಡ ಭಾಷೆಗಳಲ್ಲಿ ಪ್ರಾಮುಖ್ಯವುಳ್ಳ ಭಾಷೆಯೂ ಭಾರತದ ಪುರಾತನವಾದ ಭಾಷೆಗಳಲ್ಲಿ ಒಂದೂ ಆಗಿರುವ ಕನ್ನಡ ಭಾಷೆಯನ್ನು ಅದರ ವಿವಿಧ ರೂಪಗಳಲ್ಲಿ ಸುಮಾರು ೪೫ ದಶಲಕ್ಷ ಜನರು ಆಡು ನುಡಿಯಾಗಿ ಬಳಸುತ್ತಲಿದ್ದಾರೆ. ",
        "ಕನ್ನಡ ಕರ್ನಾಟಕ ರಾಜ್ಯದ ಆಡಳಿತ ಭಾಷೆ.[",
        "೧೧] ಜಗತ್ತಿನಲ್ಲಿ ಅತ್ಯಂತ ಹೆಚ್ಚು ಮಂದಿ ಮಾತನಾಡುವ ಭಾಷೆಯೆಂಬ ನೆಲೆಯಲ್ಲಿ ಇಪ್ಪತೊಂಬತ್ತನೆಯ ಸ್ಥಾನ ಕನ್ನಡಕ್ಕಿದೆ. ",
        "೨೦೧೧ರ ಜನಗಣತಿಯ ಪ್ರಕಾರ ಜಗತ್ತಿನಲ್ಲಿ ೬.೪ ಕೋಟಿ ಜನಗಳು ಕನ್ನಡ ಮಾತನಾಡುತ್ತಾರೆ ಎಂದು ತಿಳಿದುಬಂದಿದೆ. ",
        "ಇವರಲ್ಲಿ ೫.೫ ಕೋಟಿ ಜನಗಳ ಮಾತೃಭಾಷೆ ಕನ್ನಡವಾಗಿದೆ. ",
        "ಬ್ರಾಹ್ಮಿ ಲಿಪಿಯಿಂದ ರೂಪುಗೊಂಡ ಕನ್ನಡ ಲಿಪಿಯನ್ನು ಉಪಯೋಗಿಸಿ ಕನ್ನಡ ಭಾಷೆಯನ್ನು ಬರೆಯಲಾಗುತ್ತದೆ. ",
        "ಕನ್ನಡ ಬರಹದ ಮಾದರಿಗಳಿಗೆ ಸಾವಿರದ ಐನೂರು ವರುಷಗಳ ಚರಿತ್ರೆಯಿದೆ. ",
        "ಕ್ರಿ.",
        "ಶ. ",
        "ಆರನೆಯ ಶತಮಾನದ ಪಶ್ಚಿಮ ಗಂಗ ಸಾಮ್ರಾಜ್ಯದ ಕಾಲದಲ್ಲಿ [೧೨] ಮತ್ತು ಒಂಬತ್ತನೆಯ ಶತಮಾನದ ರಾಷ್ಟ್ರಕೂಟ ಸಾಮ್ರಾಜ್ಯದ ಕಾಲದಲ್ಲಿ ಹಳಗನ್ನಡ ಸಾಹಿತ್ಯ ಅತ್ಯಂತ ಹೆಚ್ಚಿನ ರಾಜಾಶ್ರಯ ಪಡೆಯಿತು.[",
        "೧೩][೧೪] ಅದಲ್ಲದೆ ಸಾವಿರ ವರುಷಗಳ ಸಾಹಿತ್ಯ ಪರಂಪರೆ ಕನ್ನಡಕ್ಕಿದೆ.[",
        "೧೫]ವಿನೋಬಾ ಭಾವೆ ಕನ್ನಡ ಲಿಪಿಯನ್ನು ಲಿಪಿಗಳ ರಾಣಿಯೆಂದು ಹೊಗಳಿದ್ದಾರೆ.[",
        "ಸೂಕ್ತ ಉಲ್ಲೇಖನ ಬೇಕು]",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Sinhalese
    let expected = [
        "ශ්‍රී ලංකාවේ ප්‍රධාන ජාතිය වන සිංහල ජනයාගේ මව් බස සිංහල වෙයි. ",
        "අද වන විට මිලියන 20 කට අධික සිංහල සහ මිලියන 3කට අධික සිංහල නොවන ජනගහනයක් සිංහල භාෂාව භාවිත කරති. ",
        "සිංහල‍ ඉන්දු-යුරෝපීය භාෂාවල උප ගණයක් වන ඉන්දු-ආර්ය භාෂා ගණයට අයිති වන අතර මාල දිවයින භාවිත කරන දිවෙහි \
        භාෂාව සිංහලයෙන් පැවත එන්නකි. ",
        "සිංහල ශ්‍රී ලංකාවේ නිල භාෂාවයි .",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Tamil
    let expected = [
        "தமிழ் மொழி (Tamil language) தமிழர்களினதும், தமிழ் பேசும் பலரதும் தாய்மொழி ஆகும். ",
        "தமிழ் திராவிட மொழிக் குடும்பத்தின் முதன்மையான மொழிகளில் ஒன்றும் செம்மொழியும் ஆகும். ",
        "இந்தியா, இலங்கை, மலேசியா, சிங்கப்பூர் ஆகிய நாடுகளில் அதிக அளவிலும், ஐக்கிய அரபு அமீரகம், \
        தென்னாப்பிரிக்கா, மொரிசியசு, பிஜி, ரீயூனியன், டிரினிடாட் போன்ற நாடுகளில் சிறிய அளவிலும் தமிழ் \
        பேசப்படுகிறது. ",
        "1997ஆம் ஆண்டுப் புள்ளி விவரப்படி உலகம் முழுவதிலும் 8 கோடி (80 மில்லியன்) மக்களால் பேசப்படும் \
        தமிழ்[13], ஒரு மொழியைத் தாய்மொழியாகக் கொண்டு பேசும் மக்களின் எண்ணிக்கை அடிப்படையில் \
        பதினெட்டாவது இடத்தில் உள்ளது.[",
        "14] இணையத்தில் அதிகம் பயன்படுத்தப்படும் இந்திய மொழிகளில் தமிழ் முதன்மையாக உள்ளதாக 2017 ஆவது \
        ஆண்டில் நடைபெற்ற கூகுள் கணக்கெடுப்பில் தெரிய வந்தது.[",
        "15]",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Telugu
    let expected = [
        "ఆంధ్ర ప్రదేశ్, తెలంగాణ రాష్ట్రాల అధికార భాష తెలుగు. ",
        "భారత దేశంలో తెలుగు మాతృభాషగా మాట్లాడే 8.7 కోట్ల (2001) జనాభాతో [1] ప్రాంతీయ భాషలలో మొదటి స్థానంలో \
        ఉంది. ",
        "ప్రపంచంలోని ప్రజలు అత్యధికముగా మాట్లాడే భాషలలో 15 స్థానములోనూ, భారత దేశములో హిందీ, తర్వాత \
        స్థానములోనూ నిలుస్తుంది. ",
        "పాతవైన ప్రపంచ భాష గణాంకాల (ఎథ్నోలాగ్) ప్రకారం ప్రపంచవ్యాప్తంగా 7.4 కోట్లు మందికి మాతృభాషగా ఉంది.[",
        "2] మొదటి భాషగా మాట్లాడతారు. ",
        "అతి ప్రాచీన దేశ భాషలలో సంస్కృతము తమిళముతో బాటు తెలుగు భాషను 2008 అక్టోబరు 31న భారత ప్రభుత్వము \
        గుర్తించింది.",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);

    // Urdu
    let expected = [
        "اُردُو لشکری زبان[8] (یا جدید معیاری اردو) برصغیر کی معیاری زبانوں میں سے ایک ہے۔ ",
        "یہ پاکستان کی قومی اور رابطہ عامہ کی زبان ہے، جبکہ بھارت کی چھے ریاستوں کی دفتری زبان کا درجہ رکھتی ہے۔ ",
        "آئین ہند کے مطابق اسے 22 دفتری شناخت زبانوں میں شامل کیا جاچکا ہے۔ ",
        "2001ء کی مردم شماری کے مطابق اردو کو بطور مادری زبان بھارت میں 5.01% فیصد لوگ بولتے ہیں اور اس لحاظ سے یہ بھارت کی چھٹی بڑی زبان ہے جبکہ پاکستان میں اسے بطور مادری زبان 7.59% فیصد لوگ استعمال کرتے ہیں، یہ پاکستان کی پانچویں بڑی زبان ہے۔ ",
        "اردو تاریخی طور پر ہندوستان کی مسلم آبادی سے جڑی ہے۔[",
        "حوالہ درکار] بعض ذخیرہ الفاظ کے علاوہ یہ زبان معیاری ہندی سے قابل فہم ہے جو اس خطے کی ہندوؤں سے منسوب ہے۔[",
        "حوالہ درکار] زبانِ اردو کو پہچان و ترقی اس وقت ملی جب برطانوی دور میں انگریز حکمرانوں نے اسے فارسی کی بجائے انگریزی کے ساتھ شمالی ہندوستان کے علاقوں اور جموں و کشمیر میں اسے سنہ 1846ء اور پنجاب میں سنہ 1849ء میں بطور دفتری زبان نافذ کیا۔ ",
        "اس کے علاوہ خلیجی، یورپی، ایشیائی اور امریکی علاقوں میں اردو بولنے والوں کی ایک بڑی تعداد آباد ہے جو بنیادی طور پر جنوبی ایشیاء سے کوچ کرنے والے اہلِ اردو ہیں۔ ",
        "1999ء کے اعداد وشمار کے مطابق اردو زبان کے مجموعی متکلمین کی تعداد دس کروڑ ساٹھ لاکھ کے لگ بھگ تھی۔ ",
        "اس لحاظ سے یہ دنیا کی نویں بڑی زبان ہے۔",
    ];
    let s = expected.join("");
    let tokens: Vec<&str> = tokenizer.tokenize(&s).collect();
    assert_eq!(tokens, expected);
}