浅谈辞书编纂需要什么样的中文语料库

klwo2

  g) |) T3 g6 T9 Q5 k* l大人物已经谈过这个问题：《国家社会科学基金重大项目“辞书编纂用大型多功能语料库建设与研究”开题》http://ling.cass.cn/xshd/huiyi/202406/t20240625_5761139.html

所以我这里是「浅谈」，说说我的体会。

( S  q  [# h9 M( ^  E而且只谈中文语料库，外语的、双语的不谈。
& U5 j5 H" z3 x. `
十一的时候，我忽然想到，BCC语料库开放了自己的「构建个人 BCC 语料库」功能（https://bcc.blcu.edu.cn/build-corpus.html），所以利用Codex写了一个自用的语料库软件，踩了一些坑。

目前软件已经定型，不过我不是写代码的料，还有些bug留待慢慢发现、修正，就不拿出来了。只说体会。

6 m2 }0 r! p2 I  c. d+ T————————————————————————————————————————————————
（1）规模问题

为什么想着要构建自己的语料库呢？因为常见的BCC、CCL两个语料库都不够大，有些语言现象明明是有的，Google搜得到，俩语料库却没有，影响语言分析，自然也影响辞书编纂了。

我万万没想到，这软件成型以后，我随手导入了两份文本，规模就直逼BCC、CCL（现代汉语）两个语料库了。我超雷！
3 D, D& h) \, [' h


# `( N5 Q( h  y4 [7 c4 q4 |5 K对比：
$ Q  o- l! {- y% K6 E: M
* O( @5 A+ P7 `% k

BCC 汉语在线语料库总字数约 62 亿字，覆盖当代社会语言生活的多个领域，包括： 新闻、文学、口语、近代汉语、古汉语以及多领域等。
( a3 ~  l' j" m8 P, \  |5 x% }
其中，多领域为平衡语料库，从新闻、文学、口语三类现代汉语语料中等规模抽样，并补充同等规模的科技类文本而成。

CCL语料库的版本历史
% m8 B# S5 O1 L9 C4 D) l; c8 U9 z
/ ~- i: m6 Z' \/ G2026版：现代汉语：12,907,373,697 (129.0 亿字符)

% M+ Y. O* E& q' k. v# d' I
' w9 n) G2 ^0 b3 _' M+ B- _8 {5 wBCC原先是150亿来着，2.0版瘦身，现在只有62亿字了。CCL原先很小，吃了一个WuDaoCorpora语料（都是互联网文本）以后变成现在这样了。

  z% {* B/ ]' ]6 ^( \- s1 U刚开始我还以为程序统计错了，反复试验后发现，我的库确实跟他们接近或者比他们大，很多词搜索结果确实比他们多很多——



1 c7 Q- u3 n( m8 |
7 G1 ]# |/ Y" t5 C. \- y+ P
而且我的文本不是互联网上随便找的，是权威媒体文本，可靠性强。
% W5 s; D1 v9 ^$ W
" U$ W" N5 u4 {7 o& _" J. s: F/ v
7 W0 F6 {- z5 B- P* r* @, i
我没有说他们不好的意思。由于历史原因、版权原因等等，语料库不够大是可以理解的。只是我没料到这么显著。
5 A, h2 ]+ ]3 M2 @
" _9 P5 I- g; D  V5 E* v. j# Q, u/ y我手边还有不少等着导入的文本，最后的规模会有多大，现在还不知道。

8 F. I, D9 n6 p! `————————————————————————————————————————————————
（2）架构问题

我原先想的就是用「构建个人 BCC 语料库」功能，用BCC的LangSC 工具包，做一个外壳出来。
2 ^. E; z7 n+ S/ n
结果碰到了几个问题：
% F/ `6 y4 t* `8 Q: f$ k2 M
- z6 @. G, J7 @1 |一、LangSC 工具包给文本生成的索引文件太大了，100M的原始文本，生成的索引有1G！
7 V+ c# M* N! N% S1 F
我推测这是因为LangSC 工具包的功能丰富，不但有分词，还有语法分析，功能太多，所需要的索引自然就多了。
. y/ Z" C6 [& m& P
3 o7 _- `- \4 i% G0 N其实按我的意见，编汉语辞书并不太需要花哨的语法分析功能。因为不准。有个勉强能用的分词、词性标注、搭配分析，已经够了。

- b4 M+ X$ r! |+ R2 ]咱就是说，你都受苦刑了，编词典了，花点笨功夫有什么不好？
( o" o" f9 s1 l
( Y( L# |8 @+ t- g' ^要想建立大型中文语料库，按1:10索引，这也太费硬盘了，所以我又引入了一个机制：SQLite FTS+better-trigram 扩展
$ X$ ]( O' G  q+ f: C7 }1 y7 K
" C3 ~& ^5 X! \: I; o  T这样实现的效果接近CCL：不分词，纯粹查询，索引小很多，和原文本大致是1:1的关系，可以接受。

5 {: R- H; p: i7 F" U* |2 qBCC检索和FTS检索是并行的两套，大库只开FTS，省空间。
  g* o$ M- y' g- x2 _
二、CCL是不分词的，BCC是分词的，哪个好呢？

其实这两者都有毛病。CCL不分词，所以有些不该属于搜索词的结果也会显示出来。

) j; y$ w" E" o2 S6 |( b0 }- UBCC分词，但有时候碍事。我举个例子：
9 y; V$ J; B/ X. S" e& I

江大桥市长自上任以来，清廉正直，为官六十多年，至今仍然在位，昨天来南京出差，在高铁上依旧看到了一块巨大的广告牌，上面写着，南京市长江大桥欢迎您！可见江大桥市长是一位十分受人欢迎的官员，不然不可能为官六十年还不下马！

$ `0 o, B  D- T$ V, s
+ B6 p! x0 O! Y$ F( SBCC处理后变成：
0 V) U- H7 [) w& T. O3 r
% ?8 h% G' t( o& E! q% k8 F: M

Item:江大桥/n 市长/n 自/d 上任/v 以来/f ，/w 清廉/a 正直/a ，/w 为/p 官/n 六十/m 多/m 年/q ，/w 至今/d 仍然/d 在位/v ，/w 昨天/t 来/v 南京/ns 出差/v ，/w 在/p 高铁/nr 上/v 依旧/z 看到/v 了/u 一/m 块/q 巨大/a 的/u 广告牌/n ，/w 上面/f 写/v 着/u ，/w 南京市长江大桥/n 欢迎/v 您/r ！/w 可见江大桥/n 市长/n 是/v 一/m 位/q 十分/m 受/v 人/n 欢迎/v 的/u 官员/n ，/w 不然/c 不/d 可能/v 为/p 官/n 六十/m 年/q 还/d 不/d 下马/v ！/w

% @7 U* u5 s2 u! T* m1 H
BCC处理以后，「南京市」或者「可见」就再也不可能召回这句话了，因为「南京市长江大桥/n」「可见江大桥/n」被分词分成一个单元了。这就是BCC在线语料库有时候莫名其妙就是搜不到原话的原因。
: \( i3 m  J$ Y2 q$ V3 R# ?
我的解决思路是，大库只开启FTS 检索，遇到不分词导致的毛病时，再导出给BCC的模块处理。这样就既解决了问题，又不过度占用硬盘空间。
# U5 n8 g$ S! Y% ]1 b/ X
* D& M8 a. T$ e2 m2 s8 N8 @
! `( I* w- F9 c/ @
) G/ h' p. D$ N, _6 _FTS的整体体验和CCL语料库比较近，我选择性开了一些语法，可以支持复杂的检索需求：
4 T9 l/ D, g7 k; b; |+ H& d

* k$ a9 M9 i+ N! c" `8 t
9 Q& ]! F. [7 u+ [5 N三、BCC对Unicode（UTF-8）支持不完整

BCC在线文档（https://bcc.blcu.edu.cn/build-corpus.htm）是这么说的：
: P, w3 Q3 t2 O* i; z  h

语料文件建议使用 gb18030 编码。BCC 会自动检测编码，但 gb18030 兼容性最佳。

* O/ q6 A( s7 z0 J% }* Z8 v实践发现，并不是设置成gb18030就好了。它的模块不支持PUA区的字。也就是说，有些小说txt里面如果带有Unicode私有区的字，它会报错。

% c! }+ i# _5 |& s$ W; f2 w2 vBCC新出了一个操作手册（https://bcc.blcu.edu.cn/langsc-guide.html），又这么说：
' \2 O; U3 D; O, `; p  ^

查询 / 结果 走 UTF-8(引擎内部 UTF8_2_GBK/GBK2UTF8)。
语料内容必须 GBK(_utils.process_file 在所有平台显式写 GBK)。
8 n2 s5 C. M# z; C路径建议 ASCII:BCC 引擎自身 fopen 对 CJK 临时路径会失败(即便 Windows),请保持语料/索引目录为 ASCII。

5 d. W# n- r$ e7 `
说实话，我真的不太明白，这个东西都已经支持时下最最最时髦的智能体了，编码问题折磨人是何必呢。

* E# A; \, g$ M- m. E折腾了半天，最后其实还是做的UTF-8，并没有转成GBK，只不过过滤了PUA区。FTS没有这个问题。
6 x  K7 k3 b0 {4 G9 ]
# D5 V% K" z$ h- M————————————————————————————————————————————————
（3）字形问题

字形问题也折腾过，写写心得。

7 {; U4 w2 q" w) E: Z语料里既有简体字，又有繁体字，怎么办？我的做法是：
+ a7 y4 N1 a0 `
5 J  \- ^5 e6 X( {搜索时可以开启「兼容异体字」，用了本坛大好人「飞梧」的异体字表（https://www.pdawiki.com/forum/fo ... hread&tid=49757），这样召回就没有问题了

2 G4 ]0 Y6 H2 ]显示时可以自选「保持原文」或者转换繁简。繁简转换用opencc。
3 U  k2 Z1 K# Y) @5 `: a* ~5 F

6 M0 o6 t) E- W) l# L
% X! g! ?7 L6 Z9 O1 z6 [3 N# z# H9 z这样既不损害原文，不占用硬盘，又做到了方便快捷，感谢「飞梧」提供灵感和材料！
2 M' Q/ @/ s/ L6 |
8 t3 e( R  I0 o" U- [* Z' t. D————————————————————————————————————————————————
（4）其他
# t6 W" B# ^. O) G* f
: v( M0 m+ s8 ~* X我个人不觉得把技术细节搞得特别丰富、元信息搞得特别全面，对汉语辞书编纂有什么大用。

因为现有的汉语语料库的瓶颈是规模太小，语言事实看不全，还远远没到需要复杂的分析手段的阶段。

对了，现在神舟大地处处都在接AI、接大模型什么的，不过目前也没在我这个软件的规划里，也许有用，也许没用，谁知道呢。

整个做下来的感想就是：原来搭一个语料库系统这么简单，感谢Codex写出了各种各样的bug，害我不断充钱修啊修
" W& I; _9 j8 ^0 p7 d9 Q9 ~; k1 ~% Z

shawky.nasr

LDC语料库更好，更丰富

klwo2

shawky.nasr 发表于 2026-10-16 04:06
LDC语料库更好，更丰富

; c; Q- Y, m9 K: I" M9 ^汉语语料不多啊

klwo2

shawky.nasr 发表于 2026-10-16 04:06
LDC语料库更好，更丰富

) Z" f; p* z- W# A汉语语料不多啊