设为首页收藏本站
切换到窄版

掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步，快速开始

掌上百科 - PDAWIKI»首页 › 交流专区 - Discussion › 掌上百科编纂处 - Dictionary Discussion › 教你用人民日报参考消息全文数据库mdx做简单语料库 ...
返回列表 发新帖
查看: 1220|回复: 11

[词典讨论] 教你用人民日报参考消息全文数据库mdx做简单语料库

[复制链接]
klwo2

该用户从未签到
发表于 2020-8-11 19:17:42 | 显示全部楼层 |阅读模式
本帖最后由 klwo2 于 2020-8-11 19:18 编辑 ; k/ H- J' z1 @1 c0 ~% P

8 ~* |5 J: {/ p! G% E1 T原始资料从这里下：https://www.pdawiki.com/forum/thread-41276-1-1.html. w  m& M* t+ E4 w

2 n  V" G+ c  d) P/ A- l9 O这个东西是阿彌陀佛从老资料网上抓的，我觉得适合做简易的语料库，研究现代汉语的人可以用用。
  R- w6 i! S4 o4 k) n; _7 \6 R( ?. O
我教大家怎么把mdx转成适合搜索的txt，但是不会给成品，原因很简单，因为txt里面的内容开放，度娘看得到，说不定传上去也会被和谐掉，还是只说方法好了。+ |6 z& j$ T) e: G$ {$ L0 F
, S: g) }( u. R' n
第一步，用mdxexport把mdx转成txt, d9 c6 F4 g- V) J
% b4 t6 d! L6 D  |  a9 T
9 }3 X" }6 G; b! Q; f7 W. U
6 B' x& |) ]( N- E7 X! H
这个没有太多好说的，文件比较大，等进度条走完就行了。2 r9 ~0 M, z6 t$ W

9 Z9 ?. {1 E4 S8 N第二步，把txt分割成多份，我用的是阿海文本分割器，这类工具大同小异，随便选一个
  }' H5 d1 v$ w) q8 c0 W6 M6 r  s. Z; E- P! f

4 t4 v, Y  c% i& {* D$ G! d
- u7 |6 l; l9 r选择【按份数分割】，人民日报选200份，参考消息选100份，按【执行】 按钮即可. }- E  s. U5 P  R1 A- x. f, N9 R
/ Q, c# s, W$ b# e$ r1 I
阿海文本分割器有个问题，就是分割后的文件路径永远都在C盘，留意一下剩余空间足够8 @% Q7 p0 y% p. c" Y% V* u
' b' t/ I% m: G" X) h
第三步，使用FileLocator，定位到目录，用正则搜索即可
( e6 x$ y5 y# g
7 g# F7 {6 }- [# `; I  M" Q% c1 s( @5 w& M3 Y! c: v( i% I
+ w2 P! D! `" ?0 n* }- ?3 T  D
它的速度比goldendict全文检索快，比如我这张图上搜的是「坚决……的行为」，中间插入最多10个字
+ g( j2 |/ o) U8 o" W4 G+ \# s9 H6 |- g
回复

举报

999阿彌陀佛
  • TA的每日心情
    开心
    2020-1-5 08:04

    • 签到天数: 50 天

    [LV.5]常住居民I
    发表于 2020-8-11 19:57:11 | 显示全部楼层
    這樣的教學帖多多益善！
    回复 支持 1 反对 0

    举报

    abtxu
  • TA的每日心情
    慵懒
    2021-11-4 14:19

    • 签到天数: 395 天

    [LV.9]以坛为家II
    发表于 2020-8-11 19:34:54 | 显示全部楼层
    用奶牛网盘估计不会被和谐

    点评

    klwo2
    但是奶牛短期内会失效……  发表于 2020-8-11 19:51
    回复 支持 反对

    举报

    Mandolin
  • TA的每日心情
    开心
    2019-8-21 19:27

    • 签到天数: 5 天

    [LV.2]偶尔看看I
    发表于 2020-8-11 20:29:26 | 显示全部楼层
    FileLocator 的全文检索似乎挺不错; S, {5 A. p9 u+ L$ c9 R& b7 K+ G! a1 e& D

    ' g# Q( D4 z5 |3 M. k2 ]0 j
    回复 支持 反对

    举报

    shuwushimang
  • TA的每日心情
    开心
    前天 18:15

    • 签到天数: 1169 天

    [LV.10]以坛为家III
    发表于 2020-8-11 20:33:06 | 显示全部楼层
    感谢赐教，大赞！
    回复 支持 反对

    举报

    Bartleby
  • TA的每日心情
    奋斗
    2024-4-19 00:31

    • 签到天数: 633 天

    [LV.9]以坛为家II
    发表于 2020-8-11 20:34:59 | 显示全部楼层
    但是不会给成品，原因很简单，因为txt里面的内容开放，度娘看得到，说不定传上去也会被和谐掉，

    6 T* C2 }+ ]6 H2 r3 I3 _  v& U( X% K$ f1 w/ W: W2 ?8 m
    楼主不会打包成zip文件，再设置个密码上传吗？" b' E0 I3 O% L2 D1 H

    / ~8 ^& U% {3 o" ^

    点评

    klwo2
    不了不了真不了  发表于 2020-8-11 22:11
    回复 支持 反对

    举报

    Toyger

    该用户从未签到
    发表于 2020-8-11 20:49:05 | 显示全部楼层
    人民日报这种二流报纸也就那么回事
    回复 支持 反对

    举报

    人在上海
  • TA的每日心情
    擦汗
    1 小时前

    • 签到天数: 1510 天

    [LV.Master]伴坛终老
    发表于 2020-8-11 20:54:58 | 显示全部楼层
    HyConcv3.9.8免费版和免费的AntConc更专业些，都很方便。
    回复 支持 反对

    举报

    zaijiaseng
  • TA的每日心情
    开心
    2022-6-29 07:24

    • 签到天数: 289 天

    [LV.8]以坛为家I
    发表于 2020-8-23 12:01:41 | 显示全部楼层
    txt文件分割之后，有很多文件是乱码！
    回复 支持 反对

    举报

    dave
  • TA的每日心情
    开心
    2024-2-8 22:52

    • 签到天数: 370 天

    [LV.9]以坛为家II
    发表于 2021-2-25 22:22:52 | 显示全部楼层
    人民日报参考资料做的视频
    回复 支持 反对

    举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2024-4-27 01:28 , Processed in 0.046501 second(s), 10 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2023, Tencent Cloud.

    快速回复 返回顶部 返回列表