掌上百科 - PDAWIKI

 找回密码
 免费注册
查看: 5987|回复: 161

[资料] MDX词组提取 - 从正则进阶到头发护理

    [复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    发表于 2018-5-3 00:01:37 | 显示全部楼层 |阅读模式
    本帖最后由 garypang 于 2018-5-8 18:56 编辑 3 r5 ~: q1 v' f5 u
    $ v5 n% }+ M  Q8 `/ Z) [" d
    阅读本帖前建议对正则表达式有一定的了解,本帖不做基础知识普及,只讲解关键点和思路
    , {$ l5 u0 U8 u+ r9 H
    ! [+ I+ i: w, H" d$ \" o在我出了两个词组提取资源帖后,不少小伙伴都留言表示希望我出教程帖,也有希望我提取某某词典的词组,秉着授之于鱼不如授之以渔,造福论坛和广大网友的想法,分享下我提取朗文5++词组的全过程,只要跟着我一步一步来,哪怕不懂代码的小白,也能提取出朗文5++,但是要扩展到自己提取其他词典,则需要看懂各个步骤,并举一反三啦.9 a. N4 Y- K5 \( }( h% W# R* o- h

    / ~; v- Z6 o) p0 S所用工具:/ O2 O+ ~3 n+ d# C0 N
    文本编辑器 notepad++  https://notepad-plus-plus.org/download/ (其他编辑器无法保证本帖提供的正则正常运行)+ u" D% U+ u0 y# y! W

    - L8 Y" F. X! m5 ?& v7 t) z* b2 D3 |: {tidy-html5  https://github.com/htacg/tidy-html5
    # @2 z4 s0 V3 @3 q) X, A已编译好版本,直接下载: `. A  v8 c! F$ w1 b1 @- t
    游客,如果您要查看本帖隐藏内容请回复

    9 J4 K; o' H5 f/ W) z" M" W; L- T! p8 {5 r* F, n' |2 e
    mdx解压软件MdxExport   mdx打包软件 MdxBuilder   论坛有提供下载,
    1 A# F2 r- C3 I: f# `, V4 K3 q( @; ?$ |
    具体步骤
    : k8 m# u. V5 J/ B+ P- E; J9 `3 G! |8 }! b; N' @/ [
    第一步 使用MdxExport 将mdx文件解压成txt文本文件& L6 w: Z# U- v. i9 `0 m6 h

    # p. [2 J% R  {2 ?/ P1 Z- x第二步
      t4 e9 u/ Q$ A" I7 Z0 E& q用notepad++打开解压后的txt文件,ctrl+H打开替换窗口+ t, W6 u( n. O. b
    + ]8 b) m9 x% E5 L! ]. L7 Z4 f4 b' l
    替换目标:
    1. .*?(<a name="\w+?"></a><span class="(newline ){0,1}Sense( LDOCEVERSION_new){0,1}" id="\w+?">(<span class="LDOCE5pp_sensefold){0,1}.{0,400}?<span class="REFHWD merge_sense.*?)<!-- End of DIV dictionary-->.*?/ m) k& A# m. J9 c
    复制代码

    6 o+ m# K3 o: R+ Z9 J6 [$ z: l/ y- ^. a
    替换为:
    1. \1\r\n
    复制代码
    查找模式:正则表达式   勾选匹配新行  保存替换后的文件为hb.txt: i6 S. g! l, C9 y+ ^
    7 X" j) ]+ v3 ?/ W( _9 M4 p
    讲解:
    $ i4 \5 f* a' R1 d& u! c: f& M5 Q! y6 r# u" j% X
    观察朗文5++词组部分的数据结构
    4 Y+ Y$ P" Q$ g+ ]% D$ q0 l
    - n( I. i/ h+ @3 w% J. ~, i
    3 W0 ~6 K3 l( A9 M/ t" @* t* `7 F( k' j6 R; Z2 ~& _
    词组部分起始位置标签是类似<span class="newline Sense " id="go__phr__1">,用正则很容易就匹配到,但是末尾闭合标签全是</span> 无法匹配,暂且先匹配至词组所处单词的释义的最末尾 即<!-- End of DIV dictionary-->,做为第一步的筛选,可以去掉很大一部分无用的内容5 d7 k3 o1 n% H- P  O0 I+ F

    4 O" g) R  V" F5 j5 o' u替换后结果是这样的: _0 [5 ?+ m( ^7 {4 Y

    " n$ w. t+ ^3 u: r. e- }* L6 `6 x4 e+ N2 r7 x/ {
    第三步
    : S0 [' _: H+ e; k# v打开 hb.txt
    & X) H9 ?8 `3 v' [# S% Y2 E替换目标:
    1. <span( class="(newline ){0,1}Sense( LDOCEVERSION_new){0,1}" id="\w+?">(<span class="LDOCE5pp_sensefold){0,1}.{0,400}?<)span( class="REFHWD merge_sense)) N, W6 {& w$ T3 ?7 N- @
    复制代码

    5 m* D' }2 S) A% }替换为:
    1. <jia\1hwd\5
    复制代码
      查找模式:正则表达式  ) B; `* R- x' l6 S9 `' r  h

    - [; A  w  T+ L讲解:3 Y) i4 @6 S& F. A
    这一步的目的是将词组的起始标签比如<span class="newline Sense " id="go__phr__1">改为自定义标签<jia class="newline Sense " id="go__phr__1">,将词组名的起始标签 <span class="REFHWD merge_sense>改为<hwd class="REFHWD merge_sense> 为下一步格式化html做准备( X, Y  @6 i0 R' C. ?
    - ~  y, R5 C  ]# p' k( O1 s/ @
    第四步
    ' L! D5 ~6 @# V
    游客,如果您要查看本帖隐藏内容请回复
    5 b4 V9 h' @, i% a1 u
    等待过程中的窗口
    0 Q1 K9 V7 ?! ?& Y7 p, i2 b$ Y  C+ d$ ]
    ! F* y! q8 \3 R  b
    讲解
    7 K6 a+ K& _( H2 L$ w6 y( \tidy是个大杀器,能将html格式化的同时自动修复html里的错误,比如我们前面改的自定义标签<jia>和<hwd>,tidy会自动配对这两个标签的闭合标签,发现是</span>而非</jia></hwd>,则会自动将闭合标签改为独一无二的</jia>和</hwd>
    6 T  W( |; A4 E) p/ n; \这样我们就能轻松通过正则匹配到每个词组的结尾标签位置以及词组名结尾标签位置
    # ^) F1 G: @5 j; u, c1 S) b4 \0 u; i5 S, B$ N
    第五步1 d5 S$ a; z; Q# l
    打开 output.txt$ x  b% n- P* D, }8 y# @+ n7 j% X/ b& j' b
    替换目标:
    1. .*?(<a name="\w+?"></a>\r\n\s+?<jia class="(newline ){0,1}Sense( LDOCEVERSION_new){0,1}" id="(\w+?)">.+?<hwd class="REFHWD merge_sense[\w\s]*?">(.{1,280}?)</hwd>.*?</jia>).*?& B1 j) L' o2 J! Q# |
    复制代码

    . T1 g7 Y0 ^  P, o1 {3 D1 Q' D替换为:
    1. \5\r\n<link href="LM5style_vanilla.css" rel="stylesheet" type="text/css" /><link href="LM5style.css" rel="stylesheet" type="text/css" /><link href="LM5style_switch.css" rel="stylesheet" type="text/css" /><link href="LM5style_show.css" rel="stylesheet" type="text/css" /><script src="jquery-3.2.1.min.js" charset="utf-8" type="text/javascript"></script><script src="LM5Switch.js" charset="utf-8" type="text/javascript"></script><span class="lm5ppbody"><div class="entry_content"><div class="dictionary"><span class="dictentry"><a name="\4__a"></a><span class="ldoceEntry Entry" id="\4"><span class="frequent Head"><span class="HWD">\5</span></span>\1</span></span></div></div></span>\r\n</>\r\n3 Q' p! a" `; ]
    复制代码
    查找模式:正则表达式   勾选匹配新行: X5 M! X8 M) E( ~9 O3 q
    3 t% t! z4 m- G: B7 K
    讲解, Q+ t2 ]. W$ O7 `) j
    既然我们能确定所有词组的起始和结束位置,以及词组名的起始和结束位置,那就可以彻底干掉所有没用的内容,只留下有用的词组相关的内容,并将其格式化为mdx要求的格式# k# H& m1 `) \) }  t1 k9 C* a

    ' y2 C5 D7 s. l/ o  K2 j替换后效果
    : ^7 ~' v) c$ k0 a
    0 R/ `# e! u% D8 b! i* ~, ?- l7 F
    + [( d& b9 @: y到这一步,一部词典的词组提取已经完成了
    " a+ q6 _5 R5 U+ `
      O( V1 e# k' Z! h* h$ ~( X; n4 O接下来步骤是针对朗文5++词组的调整和优化,不同词典可能不同.0 B7 j1 E/ a/ V8 j; L, h- }
    2 w! @9 w, l" Q. y; A; ?. y
    第一步:) Q* T2 N0 y! y- ]
    上一步完成后,提取出来的词组名有些是这样的
    , T: q! M8 R; N4 S8 S- l4 s: C* F( N
    * L) l3 ~/ i9 a! `
    需要改为abide by something   2 ~3 `4 u2 |  M: K: `
    % U' z3 U( N( S3 h
    1. (^</>\r\n.+)\r\n\s*?<span class="OBJECT">(.+?)</span>2 T- M+ e8 {6 V
    复制代码
    1. \1 \2
      0 `, R& i& Y0 F! f
    复制代码
    查找模式:正则表达式   需要替换两次,因为有些是两个<span class="OBJECT">(.+?)</span>  比如 take somebody up on something
    * O! d9 z1 N# `0 `
    % K4 j( @* z( E4 \" k第二步
    / y! h! l* M1 [1 w  [去掉词组名里的双空格 三空格+ ]2 i* F3 J0 x5 b% \
    替换目标:
    1. ^(.+?)(  |   )(.+?)\r\n<link
    复制代码

    % W+ y" d  V6 n; [8 P9 Z* h替换为
    1. \1 \3\r\n<link
    复制代码
    查找模式:正则表达式    需要替换两次 因为有些词组名中多空格不止出现一次
    ) M2 y6 U8 I' ]1 Y" f5 k6 p8 Q
    ; g; `$ H9 D, z8 P5 S7 N; i& \( C3 |- q- a第三步! L. O% |7 \3 K/ F3 T) v" y) l
    愿词典词组中 比如somebody's 使用的是 ’ 而非标准的单引号 ' 作为上标 需要改过来,否则会造成一些词组查不到
    1 S7 B  Z% H, u3 k  e% h+ u; w替换目标:
    复制代码
    7 f( f9 t! F8 L8 z$ _- V6 A
    替换为:
    1. '
    复制代码
    查找模式:普通4 v2 u2 ]2 ~; P1 x5 Q
    5 V% h  q7 Y3 o2 q4 r# V
    第四步" t+ a' _( h/ S% {
    去除词组前面的数字序号
    9 ^3 J' v! ?1 B/ t替换目标
    1. \r\n\s*?<span class="sensenum span"( newline="yes"){0,1}>[0-9]+</span>
    复制代码
    , w% T( Y4 ~. Q1 ^' q: Y
    替换为 空$ K! j# f# h/ T/ c8 `* H! Z+ y3 d: v
    , C9 B/ T; y4 b5 S0 G# F: h/ F( x" ^9 D
    还有进阶的针对查词的灵活性优化,合并原词典后的去重,这些就不说了,每部词典不同,没有通用性,+ S, |& O) ?9 O1 P& c$ e
    , j6 T8 K# c' P/ k% g" `* m
    最后将完成后的文件内容复制到原mdx解压的txt中顶部, 用MdxBuilder   打包即可
    4 U0 F/ g- k/ b9 H
    ; }+ p' Y8 I  f8 o: h9 Z只要严格按照我的步骤来,就一定可以完成提取,我是一遍码帖,一遍操作完成了一次提取的.
    0 _) n' A* H, D9 W2 J! E: l  s' o5 i& R9 L6 C
    希望大家踊跃行动起来,提取出自己的词组词典,造福大家!
    ' L' d6 W. H4 j( R) G# O* H% s# p0 {6 y' Q8 r- ^3 ]3 m
    有问题请私信,正则,mdx等的基础知识普及不回哦.
    ! y8 ^4 Y0 {& W" E* f9 o
    3 C* o; m9 r8 t5 Z* J& d, h+ O; `7 G% h0 C( P9 C  x

    0 @, h/ P1 i- U* @) l& \5 {! I9 K0 j. Y) }/ I! I

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x

    评分

    8

    查看全部评分

    本帖被以下淘专辑推荐:

    • · 工具|主题: 63, 订阅: 23
  • TA的每日心情
    奋斗
    2019-4-14 02:12
  • 签到天数: 93 天

    [LV.6]常住居民II

    发表于 2019-1-8 17:21:09 | 显示全部楼层
    编译了一个Mac版tidy html + {3 l+ d$ U$ Y" M6 Y1 Z
    不知道可以用不… 反正按官方步骤编译的。8 |4 F* F) s8 O+ g; w: a9 P
    Mac用户有需要的时候 可以试试。- Y$ c: }8 P/ Y; V, v% i( p% n) a+ N

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x

    评分

    1

    查看全部评分

  • TA的每日心情
    开心
    2019-2-14 21:07
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2019-3-11 18:57:37 | 显示全部楼层
    把mdx导进sqlite3里面(网上能找到一个readmdict.py,稍微修改一下就能干这个),然后逐条处理,会不会比直接处理一个大txt要省劲一点儿?  y5 o4 h! ]  D% \6 L1 E! [$ |: s
    0 t3 E8 m* Y3 {
    我是用node.js来做正则处理的。当然用python也一样。
  • TA的每日心情
    开心
    2018-5-27 05:26
  • 签到天数: 55 天

    [LV.5]常住居民I

    发表于 2018-5-4 17:02:13 | 显示全部楼层
    本帖最后由 nidetou 于 2018-5-4 17:13 编辑 4 Z. i1 f2 `" \! f1 R6 O7 U

    2 c0 O- \6 G$ }" q链接:https://pan.baidu.com/s/1LbaCNOIHVV-tND9Dg48QgQ 密码:omwb
    - ~( r6 m, v" V4 s0 B0 J5 @  B0 h$ J7 ^
    我提取Laad3词典例句音频(coca5000),按字母顺序分割为51个文件.最头痛的是每个单词下的例句没有排序。所以应按照theaurus, phrase,collocation, spoken和意项五个部分分别提取(如有可能把usage也单独提取),即使顺序不对,也没有什么大碍。
  • TA的每日心情
    开心
    2018-5-27 05:26
  • 签到天数: 55 天

    [LV.5]常住居民I

    发表于 2018-5-4 16:08:09 | 显示全部楼层
    本帖最后由 nidetou 于 2018-5-4 17:14 编辑 5 g  m7 X% J3 y2 F6 F8 s
    0 U% f2 T% O1 H* B0 W( r7 X, h7 k( ^
    这个一定要收藏,我想把coca5000从LAAD3提取音频例句,让大家听。由于不熟悉计算机语言,找到anki一款插件提取mdd文件中的音频,我是一个一个手工提取(大家别笑我,人笨没办法),合并文件有50多小时,没有放在出来的原因是例句排序很很麻烦。我感觉应分五个部分提取,theaurus, phrase,collocation, spoken和意项(如有可能usage也单独提取)。学外语大量听优先。如果有可能再把coca5000-10000提取,这样可建立输入词汇在大脑里形成bank.
  • TA的每日心情
    开心
    2020-5-23 22:47
  • 签到天数: 128 天

    [LV.7]常住居民III

    发表于 2018-5-3 00:44:36 | 显示全部楼层
    非常好的东西,这么晚了还在码,辛苦了。明天我也要好好学学怎么替换……
    + N, ]2 C# w& N# Y8 Q. X比较好奇的是,为什么有些词典,例如简明必应 https://www.pdawiki.com/forum/fo ... hread&tid=20726 这份词典里
    ( G' y3 R# Y$ I, \4 K一些比如say等基础词汇,会出现前缀,后缀的,-等符号,导致如果将该词典作为首词典查询单词的时候,由于搜索机制的问题,输入say,会直接被导向-say之类的,然后……一个say搜出很多个同样的解释。- Z/ x( Q% w( I) w9 a+ s/ i; |" R
    不知道制作这样带有符号的同一个单词,是批量生成过程中产生的问题,还是为了作为词组存在留下的。
    " \$ n8 W$ V9 n  l7 P) ^# W* z- A* v研究好以后,看看能不能正则把这部分切了。
  • TA的每日心情
    开心
    半小时前
  • 签到天数: 157 天

    [LV.7]常住居民III

    发表于 2018-5-3 00:47:22 | 显示全部楼层
    QQending2 发表于 2018-5-3 00:44+ ^+ K# y: ^! m9 w  H
    非常好的东西,这么晚了还在码,辛苦了。明天我也要好好学学怎么替换……* L6 V7 i# L" j" X: Y' p7 P
    比较好奇的是,为什么有些词典, ...
    出现前缀,后缀的,-等符号
    词典中本来有这些词条,不奇怪
  • TA的每日心情
    开心
    2020-4-2 14:11
  • 签到天数: 464 天

    [LV.9]以坛为家II

    发表于 2018-5-3 14:23:25 | 显示全部楼层
    非常感谢楼主的分享!!!
  • TA的每日心情
    无聊
    7 天前
  • 签到天数: 196 天

    [LV.7]常住居民III

    发表于 2018-5-3 19:32:29 | 显示全部楼层
    不管东西咋样 还是先谢谢了
    ! o( \7 @0 U/ M* P. x1 {
  • TA的每日心情
    奋斗
    半小时前
  • 签到天数: 1245 天

    [LV.10]以坛为家III

    发表于 2018-5-3 20:50:11 | 显示全部楼层
    很喜欢关于词典技术的讨论
  • TA的每日心情
    开心
    2018-4-10 07:58
  • 签到天数: 60 天

    [LV.6]常住居民II

    发表于 2018-5-3 23:49:13 | 显示全部楼层
    给楼主点赞,这份工作需要一些创造力
  • TA的每日心情
    开心
    昨天 00:17
  • 签到天数: 1201 天

    [LV.10]以坛为家III

    发表于 2018-5-4 00:34:27 | 显示全部楼层
    Thanks for sharing...
  • TA的每日心情

    2018-6-16 18:13
  • 签到天数: 158 天

    [LV.7]常住居民III

    发表于 2018-5-4 11:40:55 | 显示全部楼层
    千呼万唤始出来啊
  • TA的每日心情
    慵懒
    2018-9-28 00:22
  • 签到天数: 273 天

    [LV.8]以坛为家I

    发表于 2018-5-4 12:11:30 | 显示全部楼层
    还是要对正则熟悉。
  • TA的每日心情
    开心
    2018-5-27 05:26
  • 签到天数: 55 天

    [LV.5]常住居民I

    发表于 2018-5-4 16:11:01 | 显示全部楼层
    本帖最后由 nidetou 于 2018-5-4 16:34 编辑
    & m  ?. k# F4 A5 M) U" Z% ~5 Q7 j! E; ~3 E
    朗文现代不好的原因是例句英美音混杂。
  • TA的每日心情
    开心
    昨天 07:43
  • 签到天数: 946 天

    [LV.10]以坛为家III

    发表于 2018-5-4 22:55:18 | 显示全部楼层
    谢谢,下来看看
  • TA的每日心情
    开心
    2019-10-25 14:29
  • 签到天数: 32 天

    [LV.5]常住居民I

    发表于 2018-6-7 22:44:39 | 显示全部楼层
    感谢楼主的分享!学习下。
  • TA的每日心情
    开心
    昨天 20:44
  • 签到天数: 1170 天

    [LV.10]以坛为家III

    发表于 2018-6-7 23:15:15 | 显示全部楼层
    谢谢楼主的介绍,很想学习制作,先从基础开始

    该用户从未签到

    发表于 2018-6-14 17:35:07 | 显示全部楼层
    感谢楼主分享制作经验,学习了!
  • TA的每日心情
    擦汗
    2020-2-7 12:22
  • 签到天数: 44 天

    [LV.5]常住居民I

    发表于 2018-6-15 17:20:23 | 显示全部楼层
    好贴!讲的很详细!可惜我看到的太晚了,浪费了好多时间
  • TA的每日心情
    开心
    2018-6-18 09:03
  • 签到天数: 110 天

    [LV.6]常住居民II

    发表于 2018-6-15 18:17:14 | 显示全部楼层
    学习了。虽然会一丁点的正则,但一直没有太怎么敢用在这种大型处理上。
  • TA的每日心情
    开心
    2019-7-11 11:21
  • 签到天数: 313 天

    [LV.8]以坛为家I

    发表于 2018-6-15 22:24:34 | 显示全部楼层
    非常感谢garypang精心整理,无私分享,授人以渔!
  • TA的每日心情

    2018-6-15 14:54
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    发表于 2018-6-16 18:47:15 | 显示全部楼层
    过来学习一下
  • TA的每日心情
    慵懒
    5 天前
  • 签到天数: 998 天

    [LV.10]以坛为家III

    发表于 2018-6-16 19:24:52 | 显示全部楼层
    这个要好好学习下- O7 @0 _; f& f' Z" F$ q
    正则看不懂,哎。。。。。。。。。。
  • TA的每日心情
    开心
    2018-6-20 16:04
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2018-6-20 19:56:03 | 显示全部楼层
    看看啊。这个应该是非常好的。XUEXIB LA
  • TA的每日心情
    奋斗
    2020-7-12 05:59
  • 签到天数: 97 天

    [LV.6]常住居民II

    发表于 2018-6-25 16:42:23 | 显示全部楼层
    谢谢garypang 实在是太感谢了 谢谢 对我帮助很大 可以自己diy了
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    顶部qrcode底部
    关注掌上百科官方微信公众号送积分
    关注掌上百科官方微信公众号
    关注微信公众号 pdawiki,获取邀请码,看文抢积分,抽奖得浮云! Follow our Wechat official account "pdawiki", get invitation codes, and play the lottery to earn points (积分)!

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2021-5-13 01:14 , Processed in 0.304338 second(s), 16 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2020, Tencent Cloud.

    快速回复 返回顶部 返回列表