您现在的位置是：首页 > 生活消费网站首页生活消费

大家好,小必来为大家解答以上的问题。tokenize函数，tokenize这个很多人还不知道,现在让我们一起来看看吧！

1、一种解释token：令牌tokenize：令牌化tokenizer：令牌解析器2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。

2、在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。

3、在邱仲潘译的《Mastering Java 2》有这儿一段：StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化 （[i]tokenizing[/i]），因为流简化为了令牌符号。

4、令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等 语法标点。

本文到此分享完毕，希望对大家有所帮助。