掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 1182|回复: 11

[词典讨论] 教你用人民日报参考消息全文数据库mdx做简单语料库

[复制链接]

该用户从未签到

发表于 2020-8-11 19:17:42 | 显示全部楼层 |阅读模式
本帖最后由 klwo2 于 2020-8-11 19:18 编辑 ) [; L! u+ @  x& c. ~
6 T# J7 n  s$ `) c8 t: J$ u
原始资料从这里下:https://www.pdawiki.com/forum/thread-41276-1-1.html
8 u% p8 j- D) v9 D8 \( I& o$ t. Z  n" p2 l
这个东西是阿彌陀佛从老资料网上抓的,我觉得适合做简易的语料库,研究现代汉语的人可以用用。
# |. S1 q3 p1 L6 {2 [3 _8 S1 K# ~0 h1 S' T  ~; z( w  B
我教大家怎么把mdx转成适合搜索的txt,但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,还是只说方法好了。
" Y* G4 c9 P! e5 }
! I1 v9 \6 L( r第一步,用mdxexport把mdx转成txt
6 n& B; K& y; g) V* ^9 Q
& N5 o8 _; n3 n. e+ Z8 x
( Q8 z: d! p; T" E7 \6 e& p+ a
1 T% X9 g1 k! f: A4 \* |$ D这个没有太多好说的,文件比较大,等进度条走完就行了。4 j9 w: m" {, t0 U( \

% w; o9 s- P( i6 ]8 ^第二步,把txt分割成多份,我用的是阿海文本分割器,这类工具大同小异,随便选一个
4 ~  T: r) O" h& j$ i  m/ v( n  u' A& |, d+ h+ U: g2 ]# t

9 L! q& E& C3 X2 J* g. ~) j
% H! O" I5 }/ w1 ?7 P" @选择【按份数分割】,人民日报选200份,参考消息选100份,按【执行】 按钮即可
3 }% t/ o2 C) u8 F9 k1 V# R
. ^2 ?! u) v, ~# u- y/ s! \- \1 T: f% Y% V阿海文本分割器有个问题,就是分割后的文件路径永远都在C盘,留意一下剩余空间足够7 z$ v3 T, Y* X2 [& |7 B6 @/ j
' a$ X  R, O6 R8 V  V
第三步,使用FileLocator,定位到目录,用正则搜索即可9 q1 C; S7 }, L( l6 j% E
3 e. q& K0 P, w
, z" T3 j- E- S6 s/ @

" C0 `* B0 b$ ^4 @; v( r它的速度比goldendict全文检索快,比如我这张图上搜的是「坚决……的行为」,中间插入最多10个字) r; N7 _' v7 K6 v' B& b0 }! h

0 b( |0 ^7 q. h- M0 K4 `
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2020-8-11 19:57:11 | 显示全部楼层
    這樣的教學帖多多益善!
  • TA的每日心情
    慵懒
    2021-11-4 14:19
  • 签到天数: 395 天

    [LV.9]以坛为家II

    发表于 2020-8-11 19:34:54 | 显示全部楼层
    用奶牛网盘估计不会被和谐

    点评

    但是奶牛短期内会失效……  发表于 2020-8-11 19:51
  • TA的每日心情
    开心
    2019-8-21 19:27
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    发表于 2020-8-11 20:29:26 | 显示全部楼层
    FileLocator 的全文检索似乎挺不错
    # E# s6 s3 d7 x9 ^& W: o/ e
    5 H: ~* R/ m0 o% c9 }4 K1 C
  • TA的每日心情
    开心
    前天 14:32
  • 签到天数: 1167 天

    [LV.10]以坛为家III

    发表于 2020-8-11 20:33:06 | 显示全部楼层
    感谢赐教,大赞!
  • TA的每日心情
    奋斗
    昨天 15:17
  • 签到天数: 625 天

    [LV.9]以坛为家II

    发表于 2020-8-11 20:34:59 | 显示全部楼层
    但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,
    9 Z7 {6 F6 R' l2 K( a
    7 l+ ^' B( `, s% E( O
    楼主不会打包成zip文件,再设置个密码上传吗?( n% z7 T8 F7 T; g' w
    ; K' ?- V& j4 L/ v& y" r$ t

    点评

    不了不了真不了  发表于 2020-8-11 22:11

    该用户从未签到

    发表于 2020-8-11 20:49:05 | 显示全部楼层
    人民日报这种二流报纸也就那么回事
  • TA的每日心情
    奋斗
    6 小时前
  • 签到天数: 1481 天

    [LV.10]以坛为家III

    发表于 2020-8-11 20:54:58 | 显示全部楼层
    HyConcv3.9.8免费版和免费的AntConc更专业些,都很方便。
  • TA的每日心情
    开心
    2022-6-29 07:24
  • 签到天数: 289 天

    [LV.8]以坛为家I

    发表于 2020-8-23 12:01:41 | 显示全部楼层
    txt文件分割之后,有很多文件是乱码!
  • TA的每日心情
    开心
    2024-2-8 22:52
  • 签到天数: 370 天

    [LV.9]以坛为家II

    发表于 2021-2-25 22:22:52 | 显示全部楼层
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2024-3-29 16:00 , Processed in 0.056392 second(s), 14 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2023, Tencent Cloud.

    快速回复 返回顶部 返回列表