JS如何实现词法分析？词法分析器-js教程-PHP中文网

JS如何实现词法分析？词法分析器

幻夢星雲

发布： 2025-08-14 17:41:02

原创

982人浏览过

词法分析是将代码拆解为有意义的token的过程，JS引擎通过状态机识别数字、标识符、运算符等，需处理字符串、正则表达式及上下文歧义，常见错误包括非法字符、未闭合字符串等，优化方式有状态机、减少回溯、缓存和并行处理，广泛应用于编辑器、编译器、代码分析工具等场景。

js如何实现词法分析？词法分析器

词法分析，简单来说，就是把一串字符（你的代码）拆解成一个个有意义的“词语”（token）。就像英语老师把一句话分解成主语、谓语、宾语一样。JS引擎在运行你的代码前，就需要先进行词法分析。

JS中实现词法分析，本质上就是一个状态机。它会根据读取到的字符，不断地改变自己的状态，直到识别出一个完整的token。

词法分析器

实现词法分析器，可以手动编写，也可以借助工具。手动编写能更好地理解其原理，但比较繁琐。

function tokenizer(input) {
  let current = 0;
  let tokens = [];

  while (current < input.length) {
    let char = input[current];

    // 忽略空白字符
    if (/s/.test(char)) {
      current++;
      continue;
    }

    // 处理数字
    if (/[0-9]/.test(char)) {
      let number = '';
      while (/[0-9]/.test(char)) {
        number += char;
        current++;
        char = input[current];
      }
      tokens.push({ type: 'number', value: parseInt(number) });
      continue;
    }

    // 处理标识符
    if (/[a-zA-Z]/.test(char)) {
      let identifier = '';
      while (/[a-zA-Z0-9_]/.test(char)) {
        identifier += char;
        current++;
        char = input[current];
      }
      tokens.push({ type: 'identifier', value: identifier });
      continue;
    }

    // 处理运算符
    if (['+', '-', '*', '/'].includes(char)) {
      tokens.push({ type: 'operator', value: char });
      current++;
      continue;
    }

    // 其他情况，报错
    throw new Error('Unexpected character: ' + char);
  }

  return tokens;
}

const input = 'const a = 10 + b * 2;';
const tokens = tokenizer(input);
console.log(tokens);

登录后复制

这个简单的例子展示了词法分析器的基本原理，但实际的JS词法分析器要复杂得多，需要处理更多的语法规则。

如何处理JS中的字符串和正则表达式？

字符串和正则表达式是JS中比较特殊的token类型。处理它们需要考虑到转义字符、多行字符串等情况。

字符串： 词法分析器需要识别字符串的起始和结束引号（单引号或双引号），并处理转义字符（如
登录后复制
,
```
	
```
登录后复制
,
```
\
```
登录后复制
,
```
'
```
登录后复制
,
```
"
```
登录后复制
）。需要注意，字符串可能跨越多行，需要正确处理换行符。
正则表达式： 正则表达式的识别比较复杂，因为它的起始和结束都是斜杠
```
/
```
登录后复制
登录后复制
登录后复制
，这与除法运算符相同。词法分析器需要根据上下文来判断
```
/
```
登录后复制
登录后复制
登录后复制
是正则表达式的开始还是除法运算符。例如，如果
```
/
```
登录后复制
登录后复制
登录后复制
前面是一个运算符或关键字，那么它很可能是一个正则表达式的开始。正则表达式内部也需要处理转义字符和特殊字符。