自动分词是古今汉语信息化所面临的共同课题。但古今汉语存在较大区别,现代汉语分词方法难以直接应用于古代汉语分词。为更好地借鉴现代汉语分词方法,探索符合先秦汉语的分词方法,从语言开放度、语言发展的表现及阶段、复音词的分布及构成、高频词的分布四个方面对先秦汉语与现代汉语的词汇进行了比较。发现先秦汉语既有区别于现代汉语的分词难点,又有独特的分词优势。
徐紫云; 徐雪松.从自动分词角度看先秦与现代汉语词汇区别[J].华东交通大学学报,2009,26(6):101-104..[J]. JOURNAL OF EAST CHINA JIAOTONG UNIVERSTTY,2009,26(6):101-104