再谈谈生词本

ipda_cluo

  Z# Q6 j, b+ W+ a6 }4 `7 c0 B' q
" {& l' S% p8 s: b" n今天真的是超级闲，再发一个我平时用来整理生词的工具，供大家借鉴。
+ J/ Z: W' Q$ e9 J/ o/ e$ z背景：
. m. o( H& A5 X( z$ H我使用欧陆词典唯一的原因就是，这玩意带一个云端生词本，可以把我在手机上、电脑上，pad上看资料，看书等查过的单词记录下来。这就解决了我制作自己生词本的最基本攒词的问题了。
攒了一段时间生词后，接下来就得背这些单词，我我是懒癌患者，指望我记笔记整理生词是不可能的。所以我选择了用知米背单词，扇贝单词这类app，把我的生词本导进去背诵，这样既省力，又容易坚持，还可以借用app所谓的“科学记忆法”。
' J% s6 [3 y! l" A& `( D! }但问题来了，如果有人看过自己查词记录就知道，查过的单词是需要整理的，没整理前的查词记录有这些问题：
) [; s' u, O! C& i) ~1，有些查过的单词根本不是单词，比如人名，比如拼写错误等等，把这些单词当做生词背下来那可真是天理不容。
1 e5 [* x1 d8 H, t3 D) x# r6 I8 E2，很多单词各种变体，比如ing形式，ed形式等等。虽说有些时候背诵这种形式也很有用，但还是力气实在刀刃上，源词都没背下来，你去背ing形式干嘛？
3，词频过低，有些单词可能是个组合词，或者使用率极低的词，及时背完了，以后一辈子都用不到，跟没背一样。也会忘记。
( E$ T* x$ a9 n; V" H+ X
So，怎么解决呢？
- x0 w) e3 E- F  V2 O) i. [
5 p. F3 h9 L  i5 l1，导出生词本，这个大家研究一下欧陆词典，应该都会
2，清洗生词本
    a）去除不存在的词。方法比较简单，在词典里查一下，如果查不到，那就是不存在的词。
    b）还原到变体前形式，这个有意思了，混这个论坛里的 人 ，如果我和你们说说直接把单词后面的ing，ed字母去掉，肯定会骂我的。大家可还记得有道在线词典查这种词的结果？

看，对于这种单词，有道翻译后面一般都会有一个 xxx的yyy形式。对，这里xxx就是源词。
- O- U# B' ?5 w/ ^+ T那剩下的就简单了，有道查一遍，找到那个xxx就可以啦。
# }$ ^* V9 U2 |+ Q4 U5 ?2 N* v  c）去除重复，之前做了还原，肯定有很多重复的单词
: U( a- c! J, S/ V  d） 根据词频排序，筛选
      与去除单词方法一样，很多词典里面都包含了词频数据，找到后做个排序就可以了。
3， 导入到背单词工具里面，退出懒人模式，开背。

方法有了，剩下的就是写工具来搞定啦，人肉一个个查肯定要吐血的，安装python，复制如下代码到文件里，改名为py

1. import pandas as pd
   2 ^. u% D8 g5 u, M2 T: u0 g+ R9 W& g
2. import numpy
   ( C) w& b+ P1 D; }
3. import ydcv
     o8 f8 A. E7 O0 ]8 S, S6 h
4. import sys
   
5. sys.path.append('./mdictlib')
   
6. from mdict_query import IndexBuilder
   
7. builder = IndexBuilder('./Collins.mdx')
   % x: X6 B' D- g' G- t: i9 U
8. 
   7 I1 L, ^9 X' ]
9. def has_explains(result):
   
10.     return ('basic' in result) and ('explains' in result['basic'])
    0 ^$ b) J$ p' a" ]: l
11. 
    
12. def get_explian_from_result(result):
    
13.     if not has_explains(result):
      L" F9 s+ X/ N$ q" D6 b' f6 v9 h
14.         return ''
    ' a5 U9 z) ^. p
15.     return ';'.join(result['basic']['explains'])
    
16. 
    
17. def translate_from_yd(word):
    ' G( C9 s/ o" Z- Y$ D+ v
18.     result = ydcv.lookup_word_inner(word)
    + |2 @5 d: X% T) u
19.     return result
    
20. 
    7 D* C2 l8 b: G: U% L- S
21. def if_in_collins(word):
    
22.     return len(builder.mdx_lookup(word)) > 0
    4 x) o  j7 d3 H; T' J' |- A
23. 
    
24. df1 = pd.read_csv('./2018.12.20-wordbook-neat.txt',names=['worlds'])
      e1 N1 e9 m$ F# J8 L
25. df1 = df1.sort_values(by = 'worlds')
    
26. df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
    
27. df1['expalins'] = df1['yd_explain'].apply(get_explian_from_result)
      P8 @0 A/ R0 ?0 a) H
28. origin_word = df1['expalins'].str.extractall(r'[（\(]([a-z]+)的.*[）\)]').unstack()
      Z1 e; x- _3 r/ g+ q1 G. p
29. df2 = df1.copy()
    
30. df2.loc[list(origin_word[0].index)] = origin_word[0]
    7 y9 J* [! i3 k% a6 u
31. df2 = df2.reindex(columns=['worlds','expalins'])
    
32. df2 = df2.drop_duplicates('worlds')
    
33. df_not_in_collins = df2[df2['worlds'].apply(lambda x: if_in_collins(x))]
    / `$ p' ]( O" d* i, R2 Q4 Q
34. 
    
35. df1.to_json('./words_queried_by_youdao.json')
    ! E+ n3 a; E3 n; q( D! |( \
36. df_not_in_collins.to_csv('./df_not_in_collins.csv')
    % n2 b  A# f* v
37. 
    
38. df_not_in_collins['worlds'].to_csv('./neat_word_list.csv')
    

复制代码

然后运行，就可以看到清洗过的单词啦。
: a2 x( b% ?3 m; N4 Y7 p
PS：这个工具需要有些依赖解决，有一定python基础的可以通过看导入的模块来猜出依赖。没有基础的不要着急，我有时间整理好后会放到github上，给小伙伴们提供使用。
! Z  [1 T" R7 l" D0 c除了依赖以外，需要自己有一个用于排除无效词的mdx文件，这里我用的是柯林斯词典。
; C4 P! }/ _6 c" m& B; G
% g% r; M1 [% O" P+ ]So，enjoy
5 i& I: L/ C% C1 V& e* A6 V6 ]" b
======================================================================

updae
好像有朋友再尝试代码的时候遇到些问题，我深知调试别人代码是多么恶心的事情，为了节省各位的时间抽时间整理了一下代码放到了git hub上：
5 F- q, r, I6 h" M; @) o: ]! ^2 c4 U7 L参见： https://github.com/zam5607822/word_book

几点说明：
9 F# P8 P' D0 S* [: Z1，由于我自己的环境是基于jupyter，所以也上传了ipynb文件，大家有喜欢用jupyter的也可以用这个。不使用jupyter的，直接使用wordbook.py即可。
2，为了方便大家，增加了依赖说明文件：requirements.txt ，各位在第一次运行代码的时候，使用 pip install -r requirements.txt 安装一下依赖即可
3，为了方便大家测试，准备了一个示例生词本：2018.12.20-wordbook-neat.txt可以替换成你的
4 Y! b$ i  k3 ^  g# i! t5 g. Y- A  _6 P4， 同样也上传了一个默认词典文件：Collins.mdx
* T# b5 `  K1 P9 q# h8 ^5， 有道词典的接口是需要一个token的，获取的方法可以自行百度，我的token被我隐藏掉了。自己获取到token后，替换掉ydcv.py文件中的28,29行 换成你的token。

% u) y3 S# a- \6 F4 v* Aenjoy

807847958

感谢楼主分享，先码住收藏一下，以后学习

jonah_w

大赞代码流。
' o5 M' h" y% D9 i
不过我的思路跟你好像不大一样，我是查了单词以后，看到好的释义或者例句，会很愿意及时通过我在这篇帖子：【整理版】几种好玩的查词典方式
https://www.pdawiki.com/forum/thread-31879-1-1.html?x=294297 里分享的方法记录下来。但让我后续再洗数据，这个我就懒得做了（也没必要洗了，因为当初放进去的就是完美版）。
6 z) g# M. k/ m/ e1 k1 d9 }$ i那么记录下来以后怎么办呢？我不会去用市面上的一些背单词软件。我的想法是想自己开发一个app，去从印象笔记里获取这些数据，然后展示，各种媒介上展示（这还只是想法，因为懒… 还没有去实施。）相当于自己做一个记单词软件的样子，但应该会有不同（具体怎么不同，就先不说了）。

; r' x2 Y" l$ V+ O" Q* e另外说下对背单词的看法，我觉得单词没必要特意背，只需要去查就好了，expose自己到词典的海洋里，我也不会逼迫自己当时必须记住，我只要求自己有一点印象就好了，后面要做的事情就是持续不断的expose自己到这些查过的单词。现在做的还不是很好，但想法就是上面的想法，一直还没有实施。
2 N, @8 H8 v' f- n8 g' i
下一步就是把我这些年记在印象笔记里的1万多单词笔记合理利用起来。
但一直懒…
4 |/ ^2 b8 X4 R8 [  E) g3 A
目前虽然回顾比较少，但好在一个单词如果真的重要一定会出现很多次的，查的次数多了自然就记住了。


. R8 G# D3 @. M* c( K& v: z( M; I
另外，我不喜欢欧路词典。
, q5 E% L" X8 F( a& X& k
5 D+ S0 \& N2 Z0 Y! b  X  [大爱 GoldenDict + EbMac + 深蓝

% q0 A& Z: E/ T" U* F5 W% `% Y. I

mdict_query  module 是不是该发上来？

zhin

我倒是觉得无所谓，毕竟是少数情况。而且复习的时候也能明显看出。

ipda_cluo

bbs 发表于 2019-1-9 16:01
) D2 ~2 T" c& G% }mdict_query  module 是不是该发上来？

git上的模块，可以自行下载：https://github.com/mmjang/mdict-query ， https://github.com/felixonmars/ydcv

ipda_cluo

jonah_w 发表于 2019-1-9 15:47
1 D  g" s# y$ n0 w" k+ Y: O大赞代码流。

不过我的思路跟你好像不大一样，我是查了单词以后，看到好的释义或者例句，会很愿意及时通过 ...

: W) \$ k" w- p1 ~: A* ^4 _, F# D我深思也实践过不去特意背诵这种方法，对我来说有几个弊端：
1，如果不想打断阅读思路一般会迅速撩一眼意思然后接着往下读。这种情况对于我来说会经常对所查的单词毫无意向。
& Q9 U, f) W1 v' c( u( y5 k: D2，更重要的是，不会仔细回味琢磨单词的发音和发音结构。我个人认为单词发音是一定要弄清楚而且不可以出错的。
不过也无所谓啦，各有各的路。自己相信的路才是最好的

ipda_cluo

zhin 发表于 2019-1-9 16:39
; K) [( ]6 m/ ^2 T) Q' k8 r$ W  P% n我倒是觉得无所谓，毕竟是少数情况。而且复习的时候也能明显看出。

! o# L/ N3 U- p) w- r# d5 R开始我也是觉得无所谓的，后来发现十分影响心情~

ipda_cluo 发表于 2019-1-9 16:48
git上的模块，可以自行下载：https://github.com/mmjang/mdict-query ， https://github.com/felixonmars ...

奇怪了。如下报错。

Traceback (most recent call last):
  File "C:\Users\Administrator\Desktop\words\words.py", line 32, in <module>
% s4 D% D9 L0 R6 p& h8 H3 q7 \    df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
9 }& @% }1 f. [* b& L* Q  File "D:\Python27\lib\site-packages\pandas\core\series.py", line 3194, in apply
" O/ t5 `  q: G$ U) D    mapped = lib.map_infer(values, f, convert=convert_dtype)
/ v4 e, T( J7 W! ~  File "pandas/_libs/src\inference.pyx", line 1472, in pandas._libs.lib.map_infer
  File "C:\Users\Administrator\Desktop\words\words.py", line 32, in <lambda>
: O5 @# v0 m$ V' b    df1['yd_explain'] = df1['worlds'].apply(lambda x :translate_from_yd(x))
  File "C:\Users\Administrator\Desktop\words\words.py", line 24, in translate_from_yd
    result = ydcv.lookup_word_inner(word)
0 h% f2 h/ p) ~/ AAttributeError: 'module' object has no attribute 'lookup_word_inner'

bob123

这个思路不错，手动整理一大堆生词确实花时间。

zera

点赞！存着以后用

jonah_w

ipda_cluo 发表于 2019-1-9 16:56
5 |# M! I# k# R# A, n( ]3 J我深思也实践过不去特意背诵这种方法，对我来说有几个弊端：
: g7 W( Q% h; w0 @; G& i8 o. ]1，如果不想打断阅读思路一般会迅速撩一眼意 ...

0 |. z  ~6 @3 o' j我主要靠上下文去判断一个生词的意思，不可能每个生词都去查的。这样也失去阅读的意义了。如果一个单词连续出现多次，那么我会查一查。

龙狐

厉害，小白过来学习

ipda_cluo

bbs 发表于 2019-1-9 17:39
! R, D& L! p1 ?% I奇怪了。如下报错。
2 f! c: @) D3 {( t- v
, Y+ T$ _6 P! x+ U. aTraceback (most recent call last):

( p: a: _9 ~) v) ~- a& W6 C% }  e已经传到了git上，可以在试试看。
这回能省点事情。

807847958

请问大佬，为什么大家都不直接用欧路词典背单词呢

庄胜文66

楼主，你这个代码的作用，是将变体单词自动还原成原形？

endotw

膜拜一下，但是，怎么把单词本导入扇贝呢？

PDAWIKIjason

不错的用法，谢谢楼主高手

听海的声音

跟牛人学牛招！

xinwanliu

能自己编辑笔记，还能同步，也挺不错的