Module token

defines Token (The minimum unit in the Erg source code that serves as input to the parser).

Token(パーサーへの入力となる、Ergソースコードにおける最小単位)を定義する

Structs

Token

TokenStream

Enums

TokenCategory

TokenKind

意味論的名前と記号自体の名前が混在しているが、Pythonの名残である

Constants

AS

COLON

DOT

EQUAL