掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 3061|回复: 22

[工具] 从mdx提取指定的词条,并打包成mdx[已失效]

[复制链接]
  • TA的每日心情
    奋斗
    2022-6-1 19:02
  • 签到天数: 377 天

    [LV.9]以坛为家II

    发表于 2019-8-11 19:40:53 | 显示全部楼层 |阅读模式
    本帖最后由 simonfire 于 2021-2-10 11:15 编辑
    # F5 E+ Z' Z1 l0 L( B& V$ n4 A. I# c; s
    用python写的一个小工具,解析和打包都是用的zzzz_sleep的 mdict-utils。  o9 d  E, Q( }( B
    用法:把需要提取的单词制成一行一个的格式,命名为input.txt(文件编码有要求,必须是UTF-8(无BOM,也叫无签名),要提取的mdx文件命名为input.mdx,和解压的exe文件放在同一目录,双击运行exe文件就行了。正常运行的话,会生成名为output的txt和mdx文件。
    6 {, Z7 x* {& D5 V4 W: U+ f7 }目前只进行了简单的测试,有使用问题后续再修复吧* ]4 l) b: Q# L% q0 V! @: c8 H
    加了程序运行时打印正在提取的单词,你可以知道个大概的进度
    3 L3 @. i" v4 @$ k然后现在程序是单线程运行,所以速度很慢(目测1秒才2-3个单词),最好不要弄太多词条去提取,后续可能会增加多线程,看情况吧
    5 S$ t8 V8 G2 c1 e下载地址,度盘:
      ?1 j' j' ~/ W7 c5 C% u/ l链接:https://pan.baidu.com/s/11nIBxwL5-CYZhFfiK9njyw 提取码:0jfa 复制这段内容后打开百度网盘手机App,操作更方便哦
    , W  `/ [' \0 G- P; g: K4 S0 R" B& @; Q; x6 H3 j" s' O6 l
    ps:要源码的朋友,我这代码总共10多行,没有一点学习价值,想学习的去看看 mdict-utils的源码吧。
    " t& P2 |& [" ~+ o4 W* v0 {ps2:试着加多线程提升速度,但是发现并没有用,速度反而不如原来,不知道是我姿势不对还是怎么回事,所以这个速度问题应该会无限期搁置吧,哈哈。

    评分

    5

    查看全部评分

    本帖被以下淘专辑推荐:

  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2019-8-11 20:18:51 | 显示全部楼层
    simonfire 兄:
    6 S7 O, ?- X) O- C* v% k% S能想出如此的懒人包  b4 d- l- V- _$ O
    對於幼幼班的真是一大福利
    % W7 L' ?1 B! ]6 e9 j2 E' O) Z$ @$ _Thanks a lot
    - g+ t; u2 V' m; G6 g% w
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2019-8-11 20:48:37 | 显示全部楼层
    按要求试了一下,没反应啊

    点评

    在软件的目录下,会生成一个output.txt,这个就是提取出来的结果  发表于 2020-6-26 18:34
  • TA的每日心情

    2019-2-16 21:57
  • 签到天数: 9 天

    [LV.3]偶尔看看II

    发表于 2019-8-11 21:11:52 | 显示全部楼层
    可以分享一下源代码吗?
  • TA的每日心情
    奋斗
    2022-6-1 19:02
  • 签到天数: 377 天

    [LV.9]以坛为家II

     楼主| 发表于 2019-8-11 23:31:26 | 显示全部楼层
    999阿彌陀佛 发表于 2019-8-11 20:48' W, `" N4 I1 }1 {& O
    按要求试了一下,没反应啊

    0 D$ q$ f  i! v4 u" y2 z! g你不要弄太多单词进去,然后保存为txt时编码选utf-8无BOM(也叫utf-8无签名),再试试
  • TA的每日心情
    奋斗
    2021-3-15 08:06
  • 签到天数: 585 天

    [LV.9]以坛为家II

    发表于 2019-8-12 08:16:56 | 显示全部楼层
    方法很特别!
  • TA的每日心情
    奋斗
    2019-10-13 07:34
  • 签到天数: 209 天

    [LV.7]常住居民III

    发表于 2019-8-12 09:06:31 | 显示全部楼层
    请问:之前Mdict Editor Tool等工具提取后的排序是按照字母顺序,并非input的顺序,不知道我们这个output.txt的顺序是?
  • TA的每日心情
    奋斗
    2022-6-1 19:02
  • 签到天数: 377 天

    [LV.9]以坛为家II

     楼主| 发表于 2019-8-12 09:36:24 来自手机 | 显示全部楼层
    VimVim 发表于 2019-8-12 09:06' q8 B2 z2 p! P" K
    请问:之前Mdict Editor Tool等工具提取后的排序是按照字母顺序,并非input的顺序,不知道我们这个output.t ...
    + S5 Y, k; h" C; e4 W0 R' r
    输出的txt,是按照你的input.txt的先后,至于打包mdx后有没有再排序,因为用的是别人的写好的工具,我也没有研究

    点评

    太好了,正是需要这种排序!txt已能满足需求。  发表于 2019-8-12 14:56
  • TA的每日心情
    慵懒
    2020-4-10 13:19
  • 签到天数: 269 天

    [LV.8]以坛为家I

    发表于 2019-8-12 11:08:20 | 显示全部楼层
    老哥,源码能发出来学习一下吗?
  • TA的每日心情

    2020-8-15 10:40
  • 签到天数: 146 天

    [LV.7]常住居民III

    发表于 2019-8-12 15:49:51 | 显示全部楼层
    simonfire 发表于 2019-8-12 09:36, h  j2 Y1 k; W/ k$ f1 i
    输出的txt,是按照你的input.txt的先后,至于打包mdx后有没有再排序,因为用的是别人的写好的工具,我也 ...

    3 x* B' ?6 C: Q# _) N打包成 mdx 后,都是重新排序的,与原有 txt 顺序无关。
  • TA的每日心情
    奋斗
    2019-4-14 02:12
  • 签到天数: 93 天

    [LV.6]常住居民II

    发表于 2019-8-12 21:14:14 | 显示全部楼层
    本帖最后由 jonah_w 于 2019-8-12 21:15 编辑 3 b6 I; \! K2 i
    / P1 Q6 _* k- c, u+ w, }" I7 L
    如果要保证按input.txt里的词头先后的话,速度肯定会慢,不考虑前后或者按字母顺序的话(用哈希),速度应该会非常快(几万个词头,也就是几秒,根据以前经验猜的)。可以考虑下。
  • TA的每日心情
    奋斗
    2019-10-11 13:52
  • 签到天数: 142 天

    [LV.7]常住居民III

    发表于 2019-8-12 22:39:30 | 显示全部楼层
    开源一下,这样我可以看看为什么速度这么慢
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2019-8-13 07:50:36 | 显示全部楼层
    謝謝,單詞表保存為 編碼ANSI 就可以了。之前是utf-8,沒反應。
  • TA的每日心情
    奋斗
    2022-6-1 19:02
  • 签到天数: 377 天

    [LV.9]以坛为家II

     楼主| 发表于 2019-8-13 10:39:34 来自手机 | 显示全部楼层
    999阿彌陀佛 发表于 2019-8-13 07:50
      x$ f% g. @0 a. @! v' o' r) }謝謝,單詞表保存為 編碼ANSI 就可以了。之前是utf-8,沒反應。
    ) L  S7 {4 V2 d& r4 d
    你肯定用的是记事本了,弄这个你最好使用像notepad++或者emeditor这种编辑器。
    * m6 w; t/ P8 o0 \, K* z3 @不然你保存为ansi,英文没问题,中文就GG了,不过你要是不太懂,就凑合用吧
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    发表于 2019-8-13 18:30:30 | 显示全部楼层
    謝謝。
    8 W& @$ u0 N4 k" f; ?" T: `/ f只是速度現在很慢,能不能改進一下?現在的詞典詞條都很多的。
  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2019-8-14 03:07:32 | 显示全部楼层
    本帖最后由 喬治兄 于 2019-8-14 03:12 编辑
    - p0 A* D! j; L  V
    simonfire 发表于 2019-8-12 09:363 C! Y: q8 L$ i) C
    输出的txt,是按照你的input.txt的先后,至于打包mdx后有没有再排序,因为用的是别人的写好的工具,我也 ...
    8 a, D2 |& i4 V/ x6 y7 h' e
    / a- q6 H5 W8 @" W
    哈哈, 還是@VimVim 兄問到了重點4 J. I5 p2 D/ P
    小弟也正需输出的txt 按 input.txt 的先后+ y) f2 Y7 k( S5 ]# G
    讚一個
    - ~+ ?5 F( [: Q, l7 m' q, v本想學此招 9 a# A* a4 }) o8 H5 N- Y# I: q
    [教程] 用Emeditor提取子字典) v* V% u3 o: b$ ~* @6 f
    https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=34351#lastpost1 S! A4 _8 c) d2 m  L+ s" _& d
  • TA的每日心情
    奋斗
    2019-11-15 20:13
  • 签到天数: 49 天

    [LV.5]常住居民I

    发表于 2019-9-25 03:19:24 | 显示全部楼层
    可以补档一下吗,谢谢楼主。。
  • TA的每日心情
    奋斗
    2022-6-1 19:02
  • 签到天数: 377 天

    [LV.9]以坛为家II

     楼主| 发表于 2019-9-25 11:32:31 来自手机 | 显示全部楼层
    亘佑 发表于 2019-9-25 03:19, f7 g; z8 N; e6 O
    可以补档一下吗,谢谢楼主。。
    8 E2 O" H$ g# k
    用另外一个吧,这个速度没那个快
  • TA的每日心情
    擦汗
    2020-7-3 13:51
  • 签到天数: 19 天

    [LV.4]偶尔看看III

    发表于 2021-2-9 19:12:23 | 显示全部楼层
    我目前用C#做,i5的CPU大约10秒不到可以提取陆谷孙英汉大词典中的1万单词解释。
    : O, `9 \8 o1 i4 x2 x$ Y( x作者没有说明提取一个子MDX有什么意义,我主要是用来定制我的通读而非查阅用的词典。比如我可以制作一个牛津高阶6级词汇的词典,里面词头不超过6级只有几千个且释义正文都是牛高中的。提取完之后稍微处理一下可以直接在浏览器中打开。所有浏览器中Chrome渲染速度最快,1000单词的朗文4词典大约1分钟就好了,之后你可以慢慢享受鼠标滚动阅读而毫无迟滞感。还有切图版的图片词典,那制作出来就和看纸版书基本一样的感觉了。- K  j1 L' f1 J0 x4 k5 d+ U
    做这个提取的小工具程序,初看起来简单得象1+1=2般简单。但真的是这样吗?非也!如果真正是严肃地以做产品的精神来做,还是要考虑一些问题的:
    7 ]/ A" B1 J; i(1)MDX中同一个词头有可能出现多次,比如有的单词每个词性就列一个词头出来,且并未加上上标来区分,看起来词头是一模一样的。
    ; f- |: v2 r  s) x" p(2)词头内容可能是链接@@@LINK=,且链接可能有多级。链接最终到的那个单词如果不在原词表上出现怎么处理?是新加入这个词头还是不加入而拷贝它的内容过来?0 s) z! H4 v4 r/ v
    (3)如果原MDX制作有问题,A词头链接B词头,B词头又链接A词头,将陷入死循环,如何侦测出来?我目前用的是递归调用简单地用递归最大层次来限制死循环的发生。
    $ k6 A: n! A$ Q/ y(4)前述1,2,3可能同时出现夹杂糅合在一起,程序怎么处理既不遗漏又不重复释义?
    3 W1 S2 e  r# ]4 K  D( j6 w7 Z(5)如果原词表不按字母顺序排列,应该给用户按原来顺序和按字母顺序两个选择  a! y& ?$ W- ^. O: ]% e& t( N7 [
    9 I, x8 B& ~  D  M; N2 O
    ! @1 V# r/ |# I: ^$ q  {
    这些考虑使得编程复杂了很多!我用了整整2天才弄完它们。不到200行C#搞定。: r/ X- P% J& r1 l: {" S0 F
  • TA的每日心情
    擦汗
    2020-7-3 13:51
  • 签到天数: 19 天

    [LV.4]偶尔看看III

    发表于 2021-2-9 19:15:47 | 显示全部楼层
    , C9 [. R& |7 p+ R9 r- f9 w
    我用C#做,i5的CPU大约10秒不到可以提取陆谷孙英汉大词典中的1万单词解释。9 }1 d/ O9 `& X& [8 n/ l0 b+ |
    作者没有说明提取一个子MDX有什么意义,我主要是用来定制我的通读而非查阅用的词典。比如我可以制作一个牛津高阶6级词汇的词典,里面词头不超过6级只有几千个且释义正文都是牛高中的。提取完之后稍微处理一下可以直接在浏览器中打开。所有浏览器中Chrome渲染速度最快,1000单词的朗文4词典大约1分钟就好了,之后你可以慢慢享受鼠标滚动阅读而毫无迟滞感。还有切图版的图片词典,那制作出来就和看纸版书基本一样的感觉了。8 K0 V3 Z# O7 H3 t) {; C" ?2 b
    做这个提取的小工具程序,初看起来简单得象1+1=2般简单。但真的是这样吗?非也!如果真正是严肃地以做产品的精神来做,还是要考虑一些问题的:
    1 x; s& x) e: B1 D(1)MDX中同一个词头有可能出现多次,比如有的单词每个词性就列一个词头出来,且并未加上上标来区分,看起来词头是一模一样的。
    5 K/ R) f1 E+ |: U4 {" N& J6 ?(2)词头内容可能是链接@@@LINK=,且链接可能有多级。链接最终到的那个单词如果不在原词表上出现怎么处理?是新加入这个词头还是不加入而拷贝它的内容过来?
    ) O! i  ?8 e$ P4 U; h4 Q(3)如果原MDX制作有问题,A词头链接B词头,B词头又链接A词头,将陷入死循环,如何侦测出来?我目前用的是递归调用简单地用递归最大层次来限制死循环的发生。
    + ^' }" e- B7 P1 m(4)前述1,2,3可能同时出现夹杂糅合在一起,程序怎么处理既不遗漏又不重复释义?
    2 M" y9 y. _8 ]( D& I( C4 D' w# u# y0 ](5)如果原词表不按字母顺序排列,应该给用户按原来顺序和按字母顺序两个选择9 u: L' x! `" i, {/ R

    8 M0 X. E; k; }1 W3 P- a这些考虑使得编程复杂了很多很多!我用了整整2天才弄完它们。不到200行C#搞定。
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2024-3-28 19:56 , Processed in 0.043438 second(s), 10 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2023, Tencent Cloud.

    快速回复 返回顶部 返回列表