lexical analyzer

• 词法分析程序,词法分析器

lexical analyzer的用法和样例：

例句

1. The scanner is sometimes called a lexical analyzer.
   扫描程序有时又把它称为词法分析程序。
2. At the same time, the untagged corpus is used, where all the lexical items are tagged with all the possible part-of-speech tags.
   同时，使用未进行词类加标的语料库，其中所有词汇项已被标注具有所有可能的词法分析，评价由存在歧义的上下文所获取的约束，来消除其它的词法分析歧义。