现代汉语的词分为以下18个基本词类,括号中的拉丁字母是各类词的代码.
名词(n),时间词(t),处所词(s),方位词(f),数词(m),量词(q),区别词(b),代词(r),动词(v),形容词(a),状态词(z),副词(d),介词(p),连词(c),助词(u),语气词(y),拟声词(o),叹词(e).
这些基本词类可以合并为较大的词类.名词、时间词、处所词、方位词、数词、量词统称为体词,动词、形容词、状态词统称为谓词.有一部分代词属于体词,另一部分代词属于谓词.体词、谓词、区别词和副词又合称为实词.介词、连词、助词、语气词合称为虚词.实词与虚词是汉语的两大词类.此外还有拟声词与叹词,它们游离于这两大词类之外.
自然语言处理的常规技术要求在自然语言处理系统中配备一部电子词典.对于计算机系统来说,可以认为作为电子词典的登录项的语言单位是“词”.其中大部分肯定是语言学家认同的词,这也就是暗示了其中还有一部分不能看作“词”.从计算机处理实际文本的需要出发,从提高计算机处理效率的角度考虑,词典中另外包含了以下7类语言成分:
前接成分(h):阿,老,非,超,单
后接成分(k):儿,子,性,员,器
语素字 (g):民,衣,失,遥,郝
非语素字(x):鸳,枇,蚣
成语 ( i):按部就班,八拜之交
习用语 ( l):总而言之,由此可见
简称略语( j):三好,全总
前4类是比“词”更小的单位,不成词.这些成分的数量是有限的,只要电子词典的规模允许,应当尽可能地将这些成分全部收入.后3类是比“词”更大的单位,词典中只能收一部分使用频率高的.
