onescript-preprocessor 0.1.0

Preprocessor for OneScript language
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

use std::collections::HashMap;

/// Перечисление возможных типов токена
#[derive(Debug, PartialEq, Clone, Copy)]
pub enum TokenKind {
    /// Тип для токена символа "#"
    Hash,
    /// Тип для токена символа "#!"
    Shebang,
    /// Тип для токена представляющего имена областей кода и названия импортируемых библиотек
    Identifier,
    /// Тип для токена представляющего собой простой исходный текст
    Text,
    /// Тип для токенов ключевых слов инструкций препроцессора
    Keyword(Keyword),
    /// Тип для токена который является представлением пути библиотеки в директиве "#Использовать"
    Path,
    /// Тип для токена представляющего текст shebang директивы
    ShebangText,
}

/// Перечисление для ключевых слов директив препроцессора
#[derive(Debug, PartialEq, Clone, Copy)]
pub enum Keyword {
    /// Ключевое слово "Использовать"
    Use,
    /// Ключеовое слово "Область"
    Region,
    /// Ключеовое слово "КонецОбласти"
    EndRegion,
}

/// Представление токена разбора исходного текста
#[derive(Debug)]
pub struct Token {
    /// Тип токена
    pub token_kind: TokenKind,
    /// лексема (текст) токена
    pub lexeme: String,
    /// начальный номер строки токена (начинается с 1)
    pub start_line: u16,
    /// Конечный номер строки токена
    pub end_line: u16,
}

/// Представление для соответствия строки ключевого слово к соответствующему типу токена
pub struct KeywordTable {
    /// Таблица соответствия строки ключевого слово к соответствующему типу токена
    pub table: HashMap<String, TokenKind>,
}

impl KeywordTable {
    /// Возвращает таблицу соответствия строки ключевого слово к соответствующему типу токена.
    /// Ключом является строка ключевого слова в верхнем регистре, на русском или английском языке.
    /// Значением является соответствующий [тип](TokenKind) токена
    pub fn new() -> Self {
        let mut table = HashMap::new();
        table.insert("REGION".to_string(), TokenKind::Keyword(Keyword::Region));
        table.insert("ENDREGION".to_string(), TokenKind::Keyword(Keyword::EndRegion));
        table.insert("USE".to_string(), TokenKind::Keyword(Keyword::Use));
        table.insert("ОБЛАСТЬ".to_string(), TokenKind::Keyword(Keyword::Region));
        table.insert("КОНЕЦОБЛАСТИ".to_string(), TokenKind::Keyword(Keyword::EndRegion));
        table.insert("ИСПОЛЬЗОВАТЬ".to_string(), TokenKind::Keyword(Keyword::Use));

        return KeywordTable { table };
    }
}

impl Token {
    /// Конструктор токена
    /// 
    /// # Аргументы 
    /// 
    /// * `token_kind`: тип токена
    /// * `lexeme`: текст токена
    /// * `start_line`: начальная строка токена
    /// * `end_line`: конечная строка токена
    /// 
    /// возвращает: Token 
    ///
    /// 
    /// ```
    pub fn new(token_kind: TokenKind, lexeme: String, start_line: u16, end_line: u16) -> Token {
        Token { token_kind, lexeme, start_line, end_line }
    }
}