🗒️词法

token

词法规定了语言的最小语义单元 token，标记或词。一般来说，词法设计不会包含冲突，词法分析技术上可以使用状态机或者正则表达式来实现。

1. WhiteSpace，空白字符

   1. 普通空格 ' '

   2. 非断行空格，就是 HTML 中的  ，在 JavaScript 中

   3. '\t' 缩进 Tab 符

   4. '\v' 垂直方向的 Tab 符，不常用了

   5. '\f' 分页符，不常用了

   6. 零宽非断行空格

   7. 所有 Unicode 中的空格分类下的空格

2. LineTerminator，换行符

   1. '\n' 换行

   2. '\r' 或 '\r\n'，回车 or 回车换行

   3. 行分隔符

   4. 段落分隔符

3. Comment，注释

4. token，词

   1. IdentifierName，标识符名称，比如变量名、关键字

   2. Punctuator，符号，比如运算符和大括号等

   3. NumericLiteral，数字直接量

   4. StringLiteral，字符串直接量

   5. Template，字符串模板