再谈谈生词本

ipda_cluo

今天真的是超级闲，再发一个我平时用来整理生词的工具，供大家借鉴。
背景：
我使用欧陆词典唯一的原因就是，这玩意带一个云端生词本，可以把我在手机上、电脑上，pad上看资料，看书等查过的单词记录下来。这就解决了我制作自己生词本的最基本攒词的问题了。
攒了一段时间生词后，接下来就得背这些单词，我我是懒癌患者，指望我记笔记整理生词是不可能的。所以我选择了用知米背单词，扇贝单词这类app，把我的生词本导进去背诵，这样既省力，又容易坚持，还可以借用app所谓的“科学记忆法”。
但问题来了，如果有人看过自己查词记录就知道，查过的单词是需要整理的，没整理前的查词记录有这些问题：
1，有些查过的单词根本不是单词，比如人名，比如拼写错误等等，把这些单词当做生词背下来那可真是天理不容。
2，很多单词各种变体，比如ing形式，ed形式等等。虽说有些时候背诵这种形式也很有用，但还是力气实在刀刃上，源词都没背下来，你去背ing形式干嘛？
3，词频过低，有些单词可能是个组合词，或者使用率极低的词，及时背完了，以后一辈子都用不到，跟没背一样。也会忘记。
8 e1 q# Q0 L9 ^! ~* c
So，怎么解决呢？

; _, q$ t- I7 \1，导出生词本，这个大家研究一下欧陆词典，应该都会
* y( Z& T8 P+ [3 v$ _# z5 {$ ?2，清洗生词本
    a）去除不存在的词。方法比较简单，在词典里查一下，如果查不到，那就是不存在的词。
, P+ ?6 f, [5 l* d    b）还原到变体前形式，这个有意思了，混这个论坛里的 人 ，如果我和你们说说直接把单词后面的ing，ed字母去掉，肯定会骂我的。大家可还记得有道在线词典查这种词的结果？
3 r0 Y: ?& U* j! N+ g! j+ X
看，对于这种单词，有道翻译后面一般都会有一个 xxx的yyy形式。对，这里xxx就是源词。
那剩下的就简单了，有道查一遍，找到那个xxx就可以啦。
5 I/ i3 t3 ~6 c; j5 p, m9 l. ]/ Q  c）去除重复，之前做了还原，肯定有很多重复的单词
  d） 根据词频排序，筛选
! W# W  D$ }/ Q! ?7 F      与去除单词方法一样，很多词典里面都包含了词频数据，找到后做个排序就可以了。
! A6 {" p9 L# d: i- A4 r6 X0 \5 x! v3， 导入到背单词工具里面，退出懒人模式，开背。
4 B- l$ G& m+ l  G' b6 X, i. P
方法有了，剩下的就是写工具来搞定啦，人肉一个个查肯定要吐血的，安装python，复制如下代码到文件里，改名为py
5 x" d5 W3 ~) U$ A( m; p

1. import pandas as pd
   & ^! y) m+ |8 M' k, ?3 ?
2. import numpy
   6 v- w6 G; J" i, p- z2 k" P
3. import ydcv
   % N5 Q) }( X8 Q% e
4. import sys
   
5. sys.path.append('./mdictlib')
   
6. from mdict_query import IndexBuilder
   1 }  h( V7 F3 v, `
7. builder = IndexBuilder('./Collins.mdx')
   
8. 
   - T+ F0 h  z! @$ g! `! J% f3 @6 L
9. def has_explains(result):
   
10.     return ('basic' in result) and ('explains' in result['basic'])
    
11. 
    
12. def get_explian_from_result(result):
    
13.     if not has_explains(result):
    3 t. b1 H2 ?, n2 G. l/ X, P. B
14.         return ''
    $ k+ Y* \7 {1 [1 b
15.     return ';'.join(result['basic']['explains'])
    
16. 
    
17. def translate_from_yd(word):
    $ @8 z2 ?/ Z8 T3 d
18.     result = ydcv.lookup_word_inner(word)
    & Y! w# n* e0 L0 f9 L, M
19.     return result
    
20. 
    ( O1 U0 S3 ~, W7 D
21. def if_in_collins(word):
    9 [4 p4 \8 n/ b
22.     return len(builder.mdx_lookup(word)) > 0
    
23. 
    
24. df1 = pd.read_csv('./2018.12.20-wordbook-neat.txt',names=['worlds'])
    
25. df1 = df1.sort_values(by = 'worlds')
    
26. df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
    
27. df1['expalins'] = df1['yd_explain'].apply(get_explian_from_result)
    . F( t" X1 _1 v1 Z2 @
28. origin_word = df1['expalins'].str.extractall(r'[（\(]([a-z]+)的.*[）\)]').unstack()
    
29. df2 = df1.copy()
    
30. df2.loc[list(origin_word[0].index)] = origin_word[0]
    
31. df2 = df2.reindex(columns=['worlds','expalins'])
    
32. df2 = df2.drop_duplicates('worlds')
    % L* a! l3 ~6 S+ W
33. df_not_in_collins = df2[df2['worlds'].apply(lambda x: if_in_collins(x))]
    
34. 
    
35. df1.to_json('./words_queried_by_youdao.json')
    * g6 M8 J; R/ l5 L6 z
36. df_not_in_collins.to_csv('./df_not_in_collins.csv')
    
37. 
    
38. df_not_in_collins['worlds'].to_csv('./neat_word_list.csv')
    / F6 }; h/ Y# e3 Y. B, a4 _

复制代码

然后运行，就可以看到清洗过的单词啦。

PS：这个工具需要有些依赖解决，有一定python基础的可以通过看导入的模块来猜出依赖。没有基础的不要着急，我有时间整理好后会放到github上，给小伙伴们提供使用。
& b+ W( A" Y" H+ U3 Z, @. a( L* f& o除了依赖以外，需要自己有一个用于排除无效词的mdx文件，这里我用的是柯林斯词典。

" z% Z/ U# H: T+ |3 T* ZSo，enjoy

. s; A6 D7 X* V4 N% X# u+ T) n7 u======================================================================
3 N& k, K9 C, ~7 u9 L  }# F9 {
/ p5 r/ C* Z, N, J& b6 _3 \2 f3 ]updae
好像有朋友再尝试代码的时候遇到些问题，我深知调试别人代码是多么恶心的事情，为了节省各位的时间抽时间整理了一下代码放到了git hub上：
/ I; q  H0 P* m; R. J- _参见： https://github.com/zam5607822/word_book
2 O/ Y$ c  A4 J2 L& ]
8 u8 H$ ^$ f- c. d( F6 M% b几点说明：
  E0 ]- A& G) w1，由于我自己的环境是基于jupyter，所以也上传了ipynb文件，大家有喜欢用jupyter的也可以用这个。不使用jupyter的，直接使用wordbook.py即可。
8 A2 H% q' [: \2，为了方便大家，增加了依赖说明文件：requirements.txt ，各位在第一次运行代码的时候，使用 pip install -r requirements.txt 安装一下依赖即可
" Y% [7 t* V1 _3，为了方便大家测试，准备了一个示例生词本：2018.12.20-wordbook-neat.txt可以替换成你的
4， 同样也上传了一个默认词典文件：Collins.mdx
5， 有道词典的接口是需要一个token的，获取的方法可以自行百度，我的token被我隐藏掉了。自己获取到token后，替换掉ydcv.py文件中的28,29行 换成你的token。
) |! Y2 L  b5 p4 U+ z+ ^$ t0 e
, W6 M) s$ {, l. Venjoy

807847958

感谢楼主分享，先码住收藏一下，以后学习

jonah_w

3 \7 L. Y( J9 y5 W: ?/ K, d3 e大赞代码流。

不过我的思路跟你好像不大一样，我是查了单词以后，看到好的释义或者例句，会很愿意及时通过我在这篇帖子：【整理版】几种好玩的查词典方式
- d, E( A. V8 I1 K& fhttps://www.pdawiki.com/forum/thread-31879-1-1.html?x=294297 里分享的方法记录下来。但让我后续再洗数据，这个我就懒得做了（也没必要洗了，因为当初放进去的就是完美版）。
, X2 Y& i" a0 j- s3 T那么记录下来以后怎么办呢？我不会去用市面上的一些背单词软件。我的想法是想自己开发一个app，去从印象笔记里获取这些数据，然后展示，各种媒介上展示（这还只是想法，因为懒… 还没有去实施。）相当于自己做一个记单词软件的样子，但应该会有不同（具体怎么不同，就先不说了）。

; E6 b1 h% A/ `- t5 _. ?另外说下对背单词的看法，我觉得单词没必要特意背，只需要去查就好了，expose自己到词典的海洋里，我也不会逼迫自己当时必须记住，我只要求自己有一点印象就好了，后面要做的事情就是持续不断的expose自己到这些查过的单词。现在做的还不是很好，但想法就是上面的想法，一直还没有实施。
0 @' f2 R) ~' o
" P9 S( Z- H$ T" y下一步就是把我这些年记在印象笔记里的1万多单词笔记合理利用起来。
* a- {: X3 r5 N但一直懒…

$ O8 C4 Z: N4 B+ t6 D目前虽然回顾比较少，但好在一个单词如果真的重要一定会出现很多次的，查的次数多了自然就记住了。

. t$ g/ Q+ o/ c, L, c

另外，我不喜欢欧路词典。

大爱 GoldenDict + EbMac + 深蓝
  |5 G- s% k+ X, {1 a) k

mdict_query  module 是不是该发上来？

zhin

我倒是觉得无所谓，毕竟是少数情况。而且复习的时候也能明显看出。

ipda_cluo

bbs 发表于 2019-1-9 16:01
mdict_query  module 是不是该发上来？

git上的模块，可以自行下载：https://github.com/mmjang/mdict-query ， https://github.com/felixonmars/ydcv

ipda_cluo

jonah_w 发表于 2019-1-9 15:47
大赞代码流。
) {5 a0 d, v) U. H
+ P& |/ K1 R( F1 J不过我的思路跟你好像不大一样，我是查了单词以后，看到好的释义或者例句，会很愿意及时通过 ...

我深思也实践过不去特意背诵这种方法，对我来说有几个弊端：
& _$ F" J0 N8 {1 y8 ]1，如果不想打断阅读思路一般会迅速撩一眼意思然后接着往下读。这种情况对于我来说会经常对所查的单词毫无意向。
2，更重要的是，不会仔细回味琢磨单词的发音和发音结构。我个人认为单词发音是一定要弄清楚而且不可以出错的。
4 v6 u" [6 Z( i8 B& \不过也无所谓啦，各有各的路。自己相信的路才是最好的

ipda_cluo

zhin 发表于 2019-1-9 16:39
我倒是觉得无所谓，毕竟是少数情况。而且复习的时候也能明显看出。

3 \: V7 N/ F) \开始我也是觉得无所谓的，后来发现十分影响心情~

ipda_cluo 发表于 2019-1-9 16:48
git上的模块，可以自行下载：https://github.com/mmjang/mdict-query ， https://github.com/felixonmars ...

奇怪了。如下报错。

Traceback (most recent call last):
: l, n  j9 I. ?+ U( @! G- d  File "C:\Users\Administrator\Desktop\words\words.py", line 32, in <module>
8 u7 b7 D6 d  F7 R( n    df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
  File "D:\Python27\lib\site-packages\pandas\core\series.py", line 3194, in apply
$ [0 P6 K" \/ V9 l7 e    mapped = lib.map_infer(values, f, convert=convert_dtype)
  File "pandas/_libs/src\inference.pyx", line 1472, in pandas._libs.lib.map_infer
  File "C:\Users\Administrator\Desktop\words\words.py", line 32, in <lambda>
    df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
( X  O' n1 p! O  File "C:\Users\Administrator\Desktop\words\words.py", line 24, in translate_from_yd
    result = ydcv.lookup_word_inner(word)
2 T5 V2 s! F0 }( @& r9 NAttributeError: 'module' object has no attribute 'lookup_word_inner'

bob123

这个思路不错，手动整理一大堆生词确实花时间。

zera

点赞！存着以后用

jonah_w

ipda_cluo 发表于 2019-1-9 16:56
1 U6 G4 M( Q. S& L$ ]  d我深思也实践过不去特意背诵这种方法，对我来说有几个弊端：
1，如果不想打断阅读思路一般会迅速撩一眼意 ...

% x8 w+ F- S( p# a% q  x% x# y我主要靠上下文去判断一个生词的意思，不可能每个生词都去查的。这样也失去阅读的意义了。如果一个单词连续出现多次，那么我会查一查。

龙狐

厉害，小白过来学习

ipda_cluo

bbs 发表于 2019-1-9 17:39
奇怪了。如下报错。
& z6 b1 }: C3 r5 ^( a1 \
Traceback (most recent call last):

已经传到了git上，可以在试试看。
5 {% V' P* y2 X0 b3 z) ], U这回能省点事情。

807847958

请问大佬，为什么大家都不直接用欧路词典背单词呢

庄胜文66

楼主，你这个代码的作用，是将变体单词自动还原成原形？

endotw

膜拜一下，但是，怎么把单词本导入扇贝呢？

PDAWIKIjason

不错的用法，谢谢楼主高手

听海的声音

跟牛人学牛招！

xinwanliu

能自己编辑笔记，还能同步，也挺不错的