token --- 與Python解析樹一起使用的常量?
源碼： Lib/token.py
This module provides constants which represent the numeric values of leaf nodes
of the parse tree (terminal tokens). Refer to the file Grammar/Tokens
in the Python distribution for the definitions of the names in the context of
the language grammar. The specific numeric values which the names map to may
change between Python versions.
該模塊還提供從數(shù)字代碼到名稱和一些函數(shù)的映射。 這些函數(shù)鏡像了 Python C 頭文件中的定義。
- token.tok_name?
將此模塊中定義的常量的數(shù)值映射回名稱字符串的字典，允許生成更加人類可讀的解析樹表示。
- token.ISTERMINAL(x)?
對終端標記值返回
True。
- token.ISNONTERMINAL(x)?
對非終端標記值返回
True。
- token.ISEOF(x)?
如果 x 是表示輸入結束的標記則返回
True。
標記常量是：
- token.ENDMARKER?
- token.NAME?
- token.NUMBER?
- token.STRING?
- token.NEWLINE?
- token.INDENT?
- token.DEDENT?
- token.LPAR?
"("的權標值。
- token.RPAR?
")"的權標值。
- token.LSQB?
"["的權標值。
- token.RSQB?
"]"的權標值。
- token.COLON?
":"的權標值。
- token.COMMA?
","的權標值。
- token.SEMI?
";"的權標值。
- token.PLUS?
"+"的權標值。
- token.MINUS?
"-"的權標值。
- token.STAR?
"*"的權標值。
- token.SLASH?
"/"的權標值。
- token.VBAR?
"|"的權標值。
- token.AMPER?
"&"的權標值。
- token.LESS?
"<"的權標值。
- token.GREATER?
">"的權標值。
- token.EQUAL?
Token value for
"=".
- token.DOT?
Token value for
".".
- token.PERCENT?
Token value for
"%".
- token.LBRACE?
Token value for
"{".
- token.RBRACE?
Token value for
"}".
- token.EQEQUAL?
Token value for
"==".
- token.NOTEQUAL?
Token value for
"!=".
- token.LESSEQUAL?
Token value for
"<=".
- token.GREATEREQUAL?
Token value for
">=".
- token.TILDE?
Token value for
"~".
- token.CIRCUMFLEX?
Token value for
"^".
- token.LEFTSHIFT?
Token value for
"<<".
- token.RIGHTSHIFT?
Token value for
">>".
- token.DOUBLESTAR?
Token value for
"**".
- token.PLUSEQUAL?
Token value for
"+=".
- token.MINEQUAL?
Token value for
"-=".
- token.STAREQUAL?
Token value for
"*=".
- token.SLASHEQUAL?
Token value for
"/=".
- token.PERCENTEQUAL?
Token value for
"%=".
- token.AMPEREQUAL?
Token value for
"&=".
- token.VBAREQUAL?
Token value for
"|=".
- token.CIRCUMFLEXEQUAL?
Token value for
"^=".
- token.LEFTSHIFTEQUAL?
Token value for
"<<=".
- token.RIGHTSHIFTEQUAL?
Token value for
">>=".
- token.DOUBLESTAREQUAL?
Token value for
"**=".
- token.DOUBLESLASH?
Token value for
"http://".
- token.DOUBLESLASHEQUAL?
Token value for
"http://=".
- token.AT?
Token value for
"@".
- token.ATEQUAL?
Token value for
"@=".
- token.RARROW?
Token value for
"->".
- token.ELLIPSIS?
Token value for
"...".
- token.COLONEQUAL?
Token value for
":=".
- token.OP?
- token.AWAIT?
- token.ASYNC?
- token.TYPE_IGNORE?
- token.TYPE_COMMENT?
- token.SOFT_KEYWORD?
- token.ERRORTOKEN?
- token.N_TOKENS?
- token.NT_OFFSET?
C 標記生成器不使用以下標記類型值，但 tokenize 模塊需要這些標記類型值。
- token.COMMENT?
標記值用于表示注釋。
- token.ENCODING?
指示用于將源字節(jié)解碼為文本的編碼的標記值。
tokenize.tokenize()返回的第一個標記將始終是一個ENCODING標記。
- token.TYPE_COMMENT
Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()is invoked withtype_comments=True.
在 3.8 版更改: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL.
Added AWAIT and ASYNC tokens back (they're needed
to support parsing older Python versions for ast.parse() with
feature_version set to 6 or lower).