掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 2629|回复: 11

[词典讨论] 教你用人民日报参考消息全文数据库mdx做简单语料库

[复制链接]

该用户从未签到

发表于 2020-8-11 19:17:42 | 显示全部楼层 |阅读模式
本帖最后由 klwo2 于 2020-8-11 19:18 编辑 4 x3 L1 L  O* U; @% F$ k
0 R- `( F4 P% i0 Q1 g
原始资料从这里下:https://www.pdawiki.com/forum/thread-41276-1-1.html
- o& u5 B7 a) [. Z! c! D. J* k% |$ M, j2 H( i4 p
这个东西是阿彌陀佛从老资料网上抓的,我觉得适合做简易的语料库,研究现代汉语的人可以用用。
) [" ~- n! {$ ~- n2 k. `
8 A. q& r3 [! S+ @, ^4 \9 }; S我教大家怎么把mdx转成适合搜索的txt,但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,还是只说方法好了。. c8 X! ^3 a8 d# q# S# `

6 c9 z; k- x$ }% j, l% B  [5 B# T9 d第一步,用mdxexport把mdx转成txt
0 P! P6 C6 s6 ~9 [; Q: R
- T. k6 W5 g3 V  G/ K
4 F" Y1 J8 c& X' a$ v/ }, L8 ]+ Y! P. D
这个没有太多好说的,文件比较大,等进度条走完就行了。
; E7 W% j3 |1 R& X3 t$ Y8 P3 k; M# |' k. I* Y
第二步,把txt分割成多份,我用的是阿海文本分割器,这类工具大同小异,随便选一个
; O& [  G% Y2 ]9 C3 d0 M# H& Y, _- U6 {3 C3 K+ }  g

1 ]. V# r2 k% ^  Y& f/ k5 h
. E! F* S" Q5 g3 q$ B% C选择【按份数分割】,人民日报选200份,参考消息选100份,按【执行】 按钮即可
' _( G6 o- @$ E& g
0 H5 X1 T: [* G; |+ m( K+ }阿海文本分割器有个问题,就是分割后的文件路径永远都在C盘,留意一下剩余空间足够  l  Q& m$ n) E( G( `# Q

' z0 a' a  e" p- ~第三步,使用FileLocator,定位到目录,用正则搜索即可" Q/ U6 q0 s& q. T1 _' S; {

/ \8 v( C+ W% n  N/ i/ l
2 I3 T- o( P, `1 B8 L" d5 Q- L$ h
# ]2 A$ w. g3 W4 y; U+ @9 T它的速度比goldendict全文检索快,比如我这张图上搜的是「坚决……的行为」,中间插入最多10个字
! u% N! x2 K: }) [3 }, i2 C1 {; O  y. B. d* Y
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2020-8-11 19:57:11 | 显示全部楼层
    這樣的教學帖多多益善!
  • TA的每日心情
    郁闷
    2026-5-31 11:59
  • 签到天数: 396 天

    [LV.9]以坛为家II

    发表于 2020-8-11 19:34:54 | 显示全部楼层
    用奶牛网盘估计不会被和谐

    点评

    但是奶牛短期内会失效……  发表于 2020-8-11 19:51
  • TA的每日心情
    开心
    2019-8-21 19:27
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2020-8-11 20:29:26 | 显示全部楼层
    FileLocator 的全文检索似乎挺不错
    . p" R1 z; u. U9 l+ M: t" r+ n7 Q3 _4 f+ T. T2 r
  • TA的每日心情
    开心
    2024-5-8 20:30
  • 签到天数: 1171 天

    [LV.10]以坛为家III

    发表于 2020-8-11 20:33:06 | 显示全部楼层
    感谢赐教,大赞!
  • TA的每日心情
    无聊
    3 天前
  • 签到天数: 823 天

    [LV.10]以坛为家III

    发表于 2020-8-11 20:34:59 | 显示全部楼层
    但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,
    / y; j. O5 O  r. {
    ; F8 \0 M$ k! Q1 ^% m6 n
    楼主不会打包成zip文件,再设置个密码上传吗?
    : ^& s# U/ }# ]5 O& L; m& N3 D5 S6 U& E; a! [0 z( f5 X

    点评

    不了不了真不了  发表于 2020-8-11 22:11

    该用户从未签到

    发表于 2020-8-11 20:49:05 | 显示全部楼层
    人民日报这种二流报纸也就那么回事
  • TA的每日心情
    擦汗
    3 小时前
  • 签到天数: 2321 天

    [LV.Master]伴坛终老

    发表于 2020-8-11 20:54:58 | 显示全部楼层
    HyConcv3.9.8免费版和免费的AntConc更专业些,都很方便。
  • TA的每日心情
    开心
    2022-6-29 07:24
  • 签到天数: 289 天

    [LV.8]以坛为家I

    发表于 2020-8-23 12:01:41 | 显示全部楼层
    txt文件分割之后,有很多文件是乱码!
  • TA的每日心情
    开心
    2025-1-31 20:30
  • 签到天数: 371 天

    [LV.9]以坛为家II

    发表于 2021-2-25 22:22:52 | 显示全部楼层
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-10-23 10:22 , Processed in 0.030152 second(s), 27 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表