掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 3497|回复: 16

[教程] Mac下利用多部词典打造语料库

[复制链接]
  • TA的每日心情
    郁闷
    2022-7-19 15:07
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2016-8-31 23:59:54 | 显示全部楼层 |阅读模式
    本帖最后由 pnmercury 于 2016-9-1 09:30 编辑
    6 _  p/ I% ~  F5 C9 c' Z$ ?' y9 r0 G( y) l
    排版乱了,链接大家见附件pdf。9 S  y/ T3 p4 n# `! e

    1 V& }7 e& N. v7 O& K/ x0 W在PDAWIKI潜水已久,首次发文,还望大家不要见笑。
    - G$ m( Y- [' n  ?2 a& \  p: ^2 E) d
    关于打造自己的英语学习语料库,启发于几天前在zhihu上看到了Frank Huang的一篇文章,该文中Frank Huang介绍了利用filelocator这个强大的搜索工具,结合几部重量级双解词典.txt版本便形成了可快速搜索的语料库。使用windows的同学可参照Frank Huang介绍的方法。4 O5 X0 b" u: s- v9 P( U: y

    " t2 E  O3 b( @, E6 N6 \: zMac OSX系统中自带各种类Unix命令,因此awk可以完成一些搜索。经过一番搜索,发现了github上Geoff Greer开发的一个工具the_silver_searcher,其搜索速度比awk快多了,占用CPU资源也很低。试用了一下,效果相当给力,十多部词典几秒内搜完,在此推荐给使用Mac的同学。" {0 C$ x$ b& l9 A5 ?
    ' U0 B6 q3 t1 p* I2 W
    the_silver_searcher的安装见github链接,安装了homebrew后brew install the_silver_searcher即可安装。 the_silver_searcher的命令为ag,支持正则表达式搜索,如想搜索"convince"和"清白"同时出现的句子,即执行ag "convince.*清白" /词典文件夹路径 即可。; }* m, ^, ^$ Q7 Q7 E! E) ~
    : n; F+ ]; L/ C% A( n% M
    效果见下图: image
    - u: N/ K! L5 e- P. n' p& `1 h/ C, Q* i, g& z
    词典资源
    $ \8 n0 ~4 v, o' ~./En-Ch AHD4-Asicsfree.txt
    ' l, c+ Q+ |# _8 C  O
    - m# W+ V4 R2 y1 z$ C1 N./En-Ch Cambridge Advanced Learner's Dictionary.txt6 Z' N6 d* J$ ]1 L' v

    ) z! n+ ^7 p6 R, N4 U( J+ Z./En-Ch CollinsCOBUILD.txt+ l& m( j; U" W! g6 T

    ; }# H' w5 n0 N! C& K& x$ P0 C./En-Ch Longman Dictionary of Contemporary English.txt
    ( y& f1 s+ p" p7 P8 j8 s6 S8 d8 W7 i8 G3 Q& P/ @5 _4 f) N
    ./En-Ch New Oxford Dictionary.txt
    % d% ^! V8 B) D- h" M( {+ V" H  b3 r- L/ d% C8 u% ]
    ./En-Ch Oxford Advanced Leaner's Dictionary.txt; @" i& v) @$ V) l! A8 o( J
    9 w2 w& m# a- M3 k
    ./En-En-Oxford_Collocations.txt7 w/ y+ L9 U: S$ g# @# q
    ! ?7 R. \  ^6 i# E3 K  b# C9 r# }
    以上资源来自Frank Huang给出的链接, 密码n33z。7 G9 b( w: i$ Q* ~) _
    % u: L# ]4 L' \2 l) j, k
    以下资源来自PDAWIKI站友LYX1692:
    4 p1 G( t: v/ h, p, S2 b: p% l
    9 R$ l, C8 C* `4 o2 Q/ \; I  r; y* [./剑桥双解) Q- w. V* ?. S) U. E& P: i9 w
    / H7 _. G% H( z! f4 @
    ./新牛津英汉词典0 H  \. @& j& ?
    , H& k' i. N0 M; P7 I6 J: I
    ./朗文当代双解第4版6 G8 s  j0 s8 z8 Y
    6 H! K' e8 C! A
    ./柯林斯双解
    7 a, C) J# Q+ f& S. m
    * E7 c% a2 L2 |6 [2 S0 `5 A./牛津高阶词典第4版  p8 x  v( a0 \" Y9 Z
    * q: q  v! G( A, M6 r4 `
    ./牛津高阶词典第7版
    ) p. o. L  z! w2 E6 G0 Y3 f7 w, B1 R
    1 K' z9 o  B) m/ K8 g我对其贡献的6部词典进行了合并,大家有需要的话我上传到网盘。
    & E( Z# |: P! k2 D8 F1 E
    ' d3 _& P0 n* a* w$ y' p附:
    3 ]$ N) `' J2 Q2 Z& _简单的正则表达式入门可参考deerchao的正则表达式30分钟入门教程# c2 y: a+ a  G3 N& L
    , B) e& S  O* s1 T3 [, M
    上文中/词典文件夹路径我们常用的话可以使用alias命令快速进入该目录,如:
    % l# j% K+ W0 r/ ?
    7 O1 D! z$ T) o' s7 `  J) N  qalias gotoALD="cd /Users/Vincent/Dropbox/documents/Dictionaries/ALDEn-Ch",
    7 i8 C9 h& Z9 i0 `- {2 [, \0 m' m( [  B" S
    然后我们每次打开terminal直接输入gotoALD就进入了该目录了,然后ag "blabla"就可以愉快地检索词典了。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x

    评分

    1

    查看全部评分

    该用户从未签到

    发表于 2016-9-1 02:36:39 | 显示全部楼层
    能否将相关链接贴出来呢?
      x; w( V4 o0 `9 D# W& n" e
    ; ~6 i2 ^5 t2 Q4 i: \. o既然敲了这么多文字,多个链接也不碍事。
  • TA的每日心情
    郁闷
    2022-7-19 15:07
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2016-9-1 09:32:14 | 显示全部楼层
    lxchen2001 发表于 2016-9-1 02:36$ K' p+ `2 Y- K4 ]  o8 F) f3 ]
    能否将相关链接贴出来呢?) m% K5 Z2 H/ V  v$ X4 {

    . @0 [/ q6 x. y8 G既然敲了这么多文字,多个链接也不碍事。

    / r, W% Y% n5 _3 I2 K1 [* k  b) s链接在附件pdf中是正常的,贴过来失效了。

    该用户从未签到

    发表于 2016-9-1 09:34:15 | 显示全部楼层

    6 l1 b  x; R4 r$ A/ G* p单纯搜词典的话,其实 GoldenDict 全文搜索相当够用了。$ m! |9 l$ j8 y  O" @. f

    & _- t) O; y% f- I

    该用户从未签到

    发表于 2016-9-1 10:36:18 | 显示全部楼层
    pnmercury 发表于 2016-9-1 09:32
    8 e( q3 [* Q% e; _' ?$ \. k6 s4 c链接在附件pdf中是正常的,贴过来失效了。
    ' K2 r; u# H- @' S! @9 e* J
    谢谢分享
    + }5 F! x; P8 G# Y( G0 e6 t- s$ o% b; S  O6 D) n
    知乎介绍:
    4 Z0 L5 H6 O/ h7 h; ~% D3 E2 p$ Uhttps://www.zhihu.com/question/30781969/answer/49608070
  • TA的每日心情
    郁闷
    2022-7-19 15:07
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2016-9-1 10:54:23 | 显示全部楼层
    Oeasy 发表于 2016-9-1 09:34
    7 C' n0 }( ~/ ^, k" R! q6 D单纯搜词典的话,其实 GoldenDict 全文搜索相当够用了。

    $ _% R- Y" n" D/ w9 tag方便的一点是支持正则,适合有强迫症患者使用XD。

    该用户从未签到

    发表于 2016-9-1 11:42:06 | 显示全部楼层
    本帖最后由 lxchen2001 于 2016-9-1 11:47 编辑
    , _4 c2 \. q& [. j
    8 I* z% }& _) M- Y% P$ V试用了一下filelocator
    $ |6 f5 a7 ^6 \6 s: \filelocator主要的目的是搜索文件,有在文档内搜索的功能,支持正则,属于巧用软件。速度比GD的全文搜索感觉要快。(GD也支持正则)- j6 Z2 [6 Q. H3 d; U/ @: p
    / V& c- k' {) O9 D1 u, v% L
    https://github.com/ggreer/the_silver_searcher
    4 M9 ~0 v! H7 k- Z4 D$ l+ C7 Z  AAg uses Pthreads to take advantage of multiple CPU cores and search files in parallel.! M4 L. j9 V! j- h+ r+ r
    也有Linux版本+ G0 k" N7 V9 g7 {
    " a# |7 u% [2 \! N6 A
    看了知乎的介绍,颇有感想,学习中,用什么工具到不是什么关键,重要的是用心。Frank Huang见到好的句式用法截图,分类整理,实为不易。贵在坚持。
  • TA的每日心情
    郁闷
    2022-7-19 15:07
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2016-9-1 11:53:13 | 显示全部楼层
    lxchen2001 发表于 2016-9-1 11:42& P9 Y" F  Y8 f$ V) `: J7 o( T" @% }
    试用了一下filelocator
    % k1 A& v( e5 K2 p+ F8 Vfilelocator主要的目的是搜索文件,有在文档内搜索的功能,支持正则,属于巧用软件 ...
    & ]% E/ a% W9 r1 \( m' S: |; R3 R
    the_silver_searcher在类Unix下应该都可使用,GD我只使用过几次,但the_silver_searcher速度在我5年前的老笔记本上都跑得挺快。知乎和PDAWIKI上大牛很多,均是我学习的楷模。
  • TA的每日心情
    擦汗
    2023-9-2 09:16
  • 签到天数: 1103 天

    [LV.10]以坛为家III

    发表于 2016-9-1 14:49:19 | 显示全部楼层
    本帖最后由 spoony1971 于 2016-9-1 14:55 编辑
    3 H% @) A8 N+ a6 V' u' q: e4 B% N" v, [3 F9 t8 l
    我一般压缩成.xz格式后直接用xzless, 或xzgrep.  当然也可用ag (ag 的话要一两句script)8 S$ x/ {/ d( ]

    & ^/ a! f1 N  g7 l, T1 \8 r9 ]对普通的mdict词典,我一般也做成同样的格式,只额外对词条加与简单的标记,这样既可随机查询,亦可全文正则检索.
  • TA的每日心情
    开心
    2024-7-8 11:31
  • 签到天数: 1502 天

    [LV.Master]伴坛终老

    发表于 2016-9-1 17:08:54 | 显示全部楼层
    这也是一个很好的思路。

    该用户从未签到

    发表于 2016-9-1 22:50:52 | 显示全部楼层
    最终只有印在自己的大脑形成大脑语料库并能数量调取应用才算最后的成功,大家一起努力,感谢这个很好的语言工具的汇集之地。

    该用户从未签到

    发表于 2016-9-2 03:45:17 | 显示全部楼层
    很多时候我觉得TXT文件+filelocator 就够了,不需要专门制作词典软件
  • TA的每日心情
    开心
    2021-9-10 00:49
  • 签到天数: 1103 天

    [LV.10]以坛为家III

    发表于 2016-9-2 15:21:55 | 显示全部楼层
    谢谢LZ分享

    该用户从未签到

    发表于 2017-12-19 12:22:08 | 显示全部楼层
    zhangchaodeMacBook-Pro:~ zhangchao$ *alias gotoALD="/Users/zhangchao/Documents/Dictionary/ALDEn-Ch",*- ?8 r- ~7 {5 M% T5 l$ d
    -bash: *alias: command not found
    $ O' J: [- D7 R* e% N
    8 y9 T6 |$ B9 Y3 nLZ 该安的都安了,接下来不知道怎么搞了
  • TA的每日心情
    奋斗
    2022-12-1 14:41
  • 签到天数: 1047 天

    [LV.10]以坛为家III

    发表于 2017-12-20 16:51:51 | 显示全部楼层
    zcblack02 发表于 2017-12-19 12:22' |, o: ~, O; Q! ?0 P
    zhangchaodeMacBook-Pro:~ zhangchao$ *alias gotoALD="/Users/zhangchao/Documents/Dictionary/ALDEn-Ch", ...
    / L$ r3 {3 O0 m
    $ 后面的*号不要 试试
    2 v0 @/ V% e& ~5 {* g& @* w1 p7 O' |3 ]: U
    ( S  L- K7 A. R+ J  b
    win下我用Archivarius3000
  • TA的每日心情
    郁闷
    2022-7-19 15:07
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2017-12-28 16:13:31 | 显示全部楼层
    dictionaryfan 发表于 2017-12-20 16:511 ^' n" c" M/ P4 S# z, p- R
    $ 后面的*号不要 试试

    ' c9 r2 x4 V, c9 mag现在几乎每天都在用,写paper遣词造句神器啊

    该用户从未签到

    发表于 2018-6-4 17:19:55 | 显示全部楼层
    这个工具相当强大,感觉可以抛弃词典软件了,非常感谢楼主的分享!
    . p9 ?! ~/ Z! c% l+ Z, |
    7 M* G& ?6 u# [/ u6 z* M3 d7 o6 U% m
    / o7 ~6 A- a1 O( z+ z
    4 L& ^1 q/ V- S. A2 C+ m+ X, d

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-5-8 09:55 , Processed in 0.024090 second(s), 25 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表