名称

词法表 - 词法表用于对字母数字输入进行分类,并将该输入与 (a) 输入标记(参见 名为“输入标记”的部分)和 (b) 标准化表示相关联。

描述

词法表(lex,词典的缩写)用于对字母数字输入进行分类,并将该输入与 名为“输入标记”的部分 和 (b) 标准化表示相关联。在这些表中,你会发现 ONE 映射到 stdword:1

词法表至少包含以下列。您可以添加

id

表的主键

seq

整数:定义编号?

word

文本:输入词

stdword

文本:标准化的替换词

token

整数:词的类型。只有在该上下文中使用时,它才会被替换。请参考 PAGC 标记