名称

词法表 — 词法表用于对字母数字输入进行分类,并将该输入与(a)输入标记(参见“输入标记”部分)和(b)标准化表示相关联。

描述

词法表(lex,lexicon的缩写)用于对字母数字输入进行分类,并将该输入与“输入标记”部分和(b)标准化表示相关联。 您可以在这些表中找到的内容是将ONE映射到stdword:1

一个词法表在表中至少包含以下列。 你可以添加

id

表的主键

seq

整数:定义编号?

word

文本:输入的单词

stdword

文本:标准化的替换单词

token

整数:单词的类型。 只有在此上下文中使用了它,它才会被替换。 请参阅 PAGC标记