TOKENS.py

TOKENS = {
    'IF_TK': r'if',
    'ELSE_TK': r'else',
    'ELIF_TK': r'elif',
    'FOR_TK': r'for',
    'WHILE_TK': r'while',
    'PRINT_TK': r'print',
    'DEF_TK': r'def',
    'APPEND_TK': r'append',
    'CLASS_TK': r'class',
    'RETURN_TK': r'return',
    'IS_TK': r'is',
    'LEN_TK': r'len',

    'EQ_TK': r'==',
    'PLUS_TK': r'\+',
    'MUL_TK': r'\*',
    'MINUS_TK': r'\-',
    'SLASH_TK': r'\/',
    'HASH_TK': r'#',
    'NOT_EQ_TK': r'!=',
    'LESS_TK': r'\<',
    'GREATER_TK': r'\>',
    'LE_TK': r'<=',
    'GE_TK': r'>=',

    'ASSIGN_TK': r'=',
    'DOT_TK': r'\.',
    'COLON_TK': r':',
    'SEMICOLON_TK': r';',
    'COMMA_TK': r',',
    'LEFT_PARANTES_TK': r'\(',
    'RIGHT_PARANTES_TK': r'\)',
    'LEFT_CBRACKET_TK': r'\{',
    'RIGHT_CBRACKET_TK': r'\}',
    'LEFT_BRACKET_TK': r'\[',
    'RIGHT_BRACKET_TK': r'\]',

    'CONST_STRING': r'".*?"|\'.*?\'',
    'CONST_NUMBER': r'\d+',
    'IDENTIFIER': r'([A-Za-z_]\w*)',
}