如何用JavaScript编写一个高效的词法分析器（Lexer）？
答案是使用正则表达式按优先级匹配Token类型，通过预编译规则、避免回溯和跳过空白符提升性能，关键字通过后处理识别，实现轻量高效的JavaScript词法分析器。
编写一个高效的词法分析器（Lexer）关键在于快速识别源代码中的词法单元（Token），比如关键字、标识符、运算符等。JavaScript 由于其灵活的正则表达式支持和函数式特性，非常适合实现轻量且高效的 Lexer。下面介绍核心思路和实现方法。
1. 明确 Token 类型和规则
在动手前，先定义你要识别的 Token 类型。例如，对于一个简单的表达式语言：
- Number: 数字，如 123、3.14
- Identifier: 变量名，如 x、sum
- Keyword: 如 if、else（可选）
- Punctuator: 运算符或括号，如 +, -, (, )
- Whitespace: 空格、换行，通常跳过
每种类型用一个正则表达式匹配，并按优先级排序（比如关键字优先于标识符）。
2. 使用正则表达式逐个匹配
高效的关键是避免回溯和重复扫描。可以构建一个规则数组，每个规则包含名称、正则和处理逻辑。
示例实现：
function createLexer(rules) {return function(input) {
const tokens = [];
let i = 0;
while (i let matched = false;
for (const [type, regex, handler] of rules) {
const str = input.slice(i);
const match = str.match(regex);
if (match && match.index === 0) {
const value = handler ? handler(match[0]) : match[0];
if (type !== 'whitespace') {
tokens.push({ type, value });
}
i += match[0].length;
matched = true;
break;
}
}
if (!matched) {
throw new Error(`Unexpected character at ${i}: ${input[i]}`);
}
}
return tokens;
}
}
使用方式：
const rules = [['number', /^\\d+(\\.\\d+)?/, Number],
['plus', /^\\+/],
['minus', /^-/],
['times', /^\\*\\/],
['div
', /^\\/\\/],['lparen', /^(\\/)],
['rparen', /^\\)/],
['ident', /^[a-zA-Z_][a-zA-Z0-9_]*/],
['whitespace', /^\\s+/, () => null]
];
const lex = createLexer(rules);
console.log(lex('x + 10 * y'));
// 输出: [{type:'ident',value:'x'}, {type:'plus'}, ...]
3. 提升性能的关键技巧
让 Lexer 高效，注意以下几点：
- 正则以 ^ 开头：确保只从字符串开头匹配，避免不必要的搜索
- 规则顺序重要：长的或具体的模式放前面（如 >= 应在 > 前）
- 避免捕获组过多：用 (?:...) 非捕获组减少开销
- 预编译正则：规则中的正则应在初始化时创建，而非每次运行
- 跳过空白字符：不生成 token，减少输出量
4. 处理关键字与标识符冲突
关键字本质上是特殊的标识符。可以在 ident 规则后检查是否为保留字：
const keywords = new Set(['if', 'else', 'while']);['ident', /^[a-zA-Z_][a-zA-Z0-9_]*/, (text) =>
keywords.has(text) ? { type: 'keyword', value: text } : text
]
这样同一个正则可区分 keyword 和 ident。
基本上就这些。一个高效的 JavaScript Lexer 不需要复杂框架，合理组织正则和扫描逻辑就能满足大多数场景。关键是清晰的规则定义和避免重复匹配。不复杂但容易忽略。
