|
|

楼主 |
发表于 2018-11-13 14:43:08
|
显示全部楼层
2 W& J% z, A1 w7 t' q& Y% O
这些天一直在想你说的,然后查了一些资料和项目,发现词干还原并不难,有各种现成的代码和工具可以直接用,但对于把释义内置到电子书里来说,每本书转换的计算量太大,因为书的数量是N,这个工作适合在开发阅读器的时候做,由阅读器在阅读时点击单词的时候还原词干,等于把计算量分散了,这才是科学的。这方面有现成的阅读器:iOS有个蒙哥原版阅读器,主打功能就是词频标记和单击释义,我是因为不想用iOS设备才自己做这个事的。然后回过头来我发现忽略了一个问题:我关注的核心是词频,而各大语料库现成的词频表不是按词干的词频排列的,而是统计排列自然语言的词频,已经包含了所有变形,这就让我松了一口气,这么说的话应该没问题了吧?
1 N3 x& M+ ^" O9 t& y) Z" I |
|