掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 2203|回复: 13

[求助] 请教 Python + NLTK

[复制链接]

该用户从未签到

发表于 2016-6-30 22:05:05 | 显示全部楼层 |阅读模式
有谁能教教怎么使用Python + NLTK吗?

该用户从未签到

发表于 2016-6-30 22:28:14 | 显示全部楼层
装一个集成各种科学库的PYTHON发行版就行,比如winpython,用官网的版本就非常麻烦。

该用户从未签到

 楼主| 发表于 2016-7-1 07:14:56 | 显示全部楼层
fnaviwwo1 发表于 2016-6-30 22:288 C* I6 M5 U6 `0 Y8 Z. W" e& c
装一个集成各种科学库的PYTHON发行版就行,比如winpython,用官网的版本就非常麻烦。

5 ~+ X3 z9 a, ~好的 谢谢 试试看

该用户从未签到

发表于 2016-7-2 15:33:16 | 显示全部楼层
想用nltk弄一个考试真题例句词典。。。。

该用户从未签到

 楼主| 发表于 2016-7-3 02:18:52 | 显示全部楼层
fnaviwwo1 发表于 2016-7-2 15:33
6 G0 D1 l2 ^, i想用nltk弄一个考试真题例句词典。。。。

' ~$ {. j! R/ ^$ r7 H大概会是什么样式的?有题库了吗?

该用户从未签到

发表于 2016-7-3 06:57:43 | 显示全部楼层
lxchen2001 发表于 2016-7-3 02:18* A- s7 S4 |7 x$ m0 k
大概会是什么样式的?有题库了吗?

+ `9 Y' h" ]6 n$ v目前收集了托福tpo,雅思剑4-10,还有一些国内考试的题目。。。正好看到nltk有个分词断句模块。。。我想拿句子做headword然后句子里的每个单词设置@@@link ,vocabulary.com 的语料库偏报纸,而考试的文章以新闻杂志和学术杂志为主了,两者文风不完全一致。。。对了,不知道国外公开课的字幕能不能当语料库啊。。。我想这些东西如果是私下用是可以的。

该用户从未签到

 楼主| 发表于 2016-7-3 15:54:10 | 显示全部楼层
雅思托福如果能写出报刊的局势和文法,应该足以。:-)
8 V) `5 J& H8 ?  k4 c' `' d- q  F' {% N. M" N
有个英国学术语料库,可以免费下载:http://ota.ox.ac.uk/text/2539.zip 收集了2761篇学术文章(500-5000个字)。如何导入到NLTK? 并且比较容易展示出来?
& m7 e, r. N/ a- d2 y( @; X! b5 ]$ g% q0 q3 L! |6 g
字幕语料库,自用的肯定没问题。

该用户从未签到

 楼主| 发表于 2016-7-3 23:43:37 | 显示全部楼层
fnaviwwo1 发表于 2016-7-3 06:57
7 n# Y' t4 Y  h, d! B' E' o+ r! w目前收集了托福tpo,雅思剑4-10,还有一些国内考试的题目。。。正好看到nltk有个分词断句模块。。。我想 ...
8 [1 f( X# g3 k6 B. D  i
看了一下您说得的,但觉得有几个地方需要考虑 。( H1 j3 O- p6 b+ S3 I: x2 s
7 q8 U: g$ g1 r- v: r2 f9 X0 w
- 有些句子很长,可能是40-50个词,这种情况下怎么 处理?
! R' T' p- V: u' t- 简单单词, 高频率的单词,如the, a, this, 这样的情况怎么处理?

该用户从未签到

发表于 2016-7-4 00:52:23 | 显示全部楼层
本帖最后由 fnaviwwo1 于 2016-7-4 00:59 编辑 1 v) e- s1 ^$ G! `( `
lxchen2001 发表于 2016-7-3 23:43: N/ J# `; X9 i6 Q; A5 O: a. y3 g
看了一下您说得的,但觉得有几个地方需要考虑 。) |  c& K! e) [# v+ u& e& m. m2 J% R

- I! e; F, E! w- 有些句子很长,可能是40-50个词,这种情况下怎么  ...
8 Z& D8 E; q& Q( ~4 r

- m& c- t/ l$ Z7 {& c我就是说说想法啦,希望能和您一同探讨可行性。# ]- \2 J9 G( O* f8 t/ {

4 M8 h7 u1 e7 Y7 q5 q" h$ {! ?2 ?$ A. s
2 |4 F4 J& v$ L2 |7 E之前看到论坛里有大神做过国内考试真题的词典,感觉效果非常棒。
/ x  W: l) t0 W% h! B[取自考研英语真题]1997-2015年真题单词、词频、意思及其例句) i& a, Z& u% v2 d! v/ j1 |
也看到有大神做过新概念英语的词典。7 r- v3 y8 h6 N; e
[英-英] 新概念英语全文句库
% k! ~: S2 ^) M9 z) x, |5 M9 Z6 e4 V/ N# Y. ?/ B" o5 E" [
简单词的问题,nltk有个stopwords列表,这些词不要7 S! v9 B7 L  t* w; W( O2 i
  1. >>> from nltk.corpus import stopwords
    $ V5 q+ @$ R$ F' j7 E
  2. >>> stopwords.words('english'), V  J" c5 o) C$ l# B& W3 ]) j9 N/ o
  3. ['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', 'your', 'yours',* V" T* m3 y" D% ]
  4. 'yourself', 'yourselves', 'he', 'him', 'his', 'himself', 'she', 'her', 'hers',4 ^! U" `- j! r) C  U9 r
  5. 'herself', 'it', 'its', 'itself', 'they', 'them', 'their', 'theirs', 'themselves',
    & W. @1 [" m" v1 E, v
  6. 'what', 'which', 'who', 'whom', 'this', 'that', 'these', 'those', 'am', 'is', 'are'," w( w4 u* Y3 t# W+ Z3 m% F4 p
  7. 'was', 'were', 'be', 'been', 'being', 'have', 'has', 'had', 'having', 'do', 'does',$ o7 i$ \& z3 ^, n8 K9 O+ N
  8. 'did', 'doing', 'a', 'an', 'the', 'and', 'but', 'if', 'or', 'because', 'as', 'until',! }$ f, s5 M* v- W# ?. L
  9. 'while', 'of', 'at', 'by', 'for', 'with', 'about', 'against', 'between', 'into',( t% n( G& m4 \7 |  q
  10. 'through', 'during', 'before', 'after', 'above', 'below', 'to', 'from', 'up', 'down',9 l: J+ |& `1 `0 N9 z. A
  11. 'in', 'out', 'on', 'off', 'over', 'under', 'again', 'further', 'then', 'once', 'here',
    ) b* n+ b* C& B, L( n, d; m0 [- t
  12. 'there', 'when', 'where', 'why', 'how', 'all', 'any', 'both', 'each', 'few', 'more',! F% Y* u& ^; S
  13. 'most', 'other', 'some', 'such', 'no', 'nor', 'not', 'only', 'own', 'same', 'so',
    6 V% ?7 Z0 D" F2 f5 @
  14. 'than', 'too', 'very', 's', 't', 'can', 'will', 'just', 'don', 'should', 'now']
复制代码

% M) K0 B6 V6 z- p9 j
) c) K1 K8 X* |3 [# C  }, s关于词典的布局,因为特定于某一们考试,句子的数量虽然大但是还是很有限。$ Z4 c! x& x6 Z7 ?  t/ ~
确实每个句子会有很多词(还包括词型变化),如果每个句子都放到他出现的单词下面会有很多冗余。0 {. h/ i2 `7 x, K
感觉可以设置很多不存在的词条来放句子,比如 id_0001->一个句子,这样子。2 r& e( H) t$ i& I6 R, z& o' Z
然后利用mdict的@@@link功能,句子里的每个单词都连接到句子,mdict会直接显示链接后的结果的。
$ {9 J2 C. Q& d% V4 c4 t
+ }  [# G; r: V  G. c" b* w这些冗余因为mdx是压缩保存的,我觉得重复的问题也不是不大。
- }( w+ V/ j1 R  U% z9 @4 z0 \: d" [
通过不同的单词下重复若干经典例句,会给单词留下非常深刻的印象,个人感觉比直接背孤立单词(特别是释义很长的时候)有效果。9 x4 N3 m/ a/ O; Y$ n7 i

  ], O9 L3 G' l题外话:7 \, X1 h! A' h5 W
新东方的有些单词书例句看着真不爽,感觉怪怪的。

该用户从未签到

 楼主| 发表于 2016-7-4 17:14:12 | 显示全部楼层
本帖最后由 lxchen2001 于 2016-7-4 17:24 编辑 2 l2 o4 B5 U0 p0 o
fnaviwwo1 发表于 2016-7-4 00:52& S" X+ x3 S# C# n: [# @
我就是说说想法啦,希望能和您一同探讨可行性。

1 o4 g/ I* a# ]* [4 |& Z. q1 p- L% R! }# l3 }7 n. P. r
谢谢分享
5 t4 \" V4 \3 B( `$ b1 r6 @/ e
6 z1 h1 x8 b1 v, w学习中 ......  stopwords 还没学到  很棒的功能 我还想着自己去列出呢

该用户从未签到

 楼主| 发表于 2016-7-4 20:52:04 | 显示全部楼层
fnaviwwo1 发表于 2016-7-4 00:52
, \& c. L: E7 I# O我就是说说想法啦,希望能和您一同探讨可行性。

$ C. }' `! j: D% O9 @& G试用了一下stopwords, 觉得不是很方便,需要自己外加很多词,可能从词频中选出高频词比较方便。- z# c8 E0 ]. l  H
4 W) w6 t, f. v7 m3 b9 T# C
标点可以用 string.punctuation 加入) s$ u2 R9 n5 n( K
* h! Y4 o2 H; L1 |1 _5 I" v! m
遇到的问题有些词在stopwords list中,却仍被tokenize. 中横线'-'也是。

该用户从未签到

 楼主| 发表于 2016-7-5 23:37:24 | 显示全部楼层
本帖最后由 lxchen2001 于 2016-7-5 23:48 编辑 9 h& Z0 u* {1 K9 O# O  }1 e% I
# t4 s. P2 @3 \" T* t& s, T1 h; {
琢磨出来了:2 r* e, ^1 @! S) i9 X: E# X

$ u3 P8 S! ~9 S! {$ }1.文档放入nltk_data
: W; h" ]2 N$ y. D0 w2. 修改 __init__.py 就能导入自建的语料库
" N  h7 R. T9 S: l
) u3 [+ j) B, S8 T这样方便很多不用自己再去建个数据库, 特别是那些XML语料库,格式已经很规范了
6 a* C% K5 ^# u/ A# B0 z' P: e' x' Y) s" C5 j
下一步,考虑怎么去将数据呈现出来

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x

该用户从未签到

 楼主| 发表于 2016-7-13 23:25:39 | 显示全部楼层
本帖最后由 lxchen2001 于 2016-7-14 01:56 编辑 . f. T# F* D( v( A5 T- t. m
fnaviwwo1 发表于 2016-7-4 00:523 i8 }* E" D6 |: x: d
我就是说说想法啦,希望能和您一同探讨可行性。

5 A1 Z: H5 b& y- i
. t. @% r* M4 F8 u- {. G( L( h" l9 s  V我这些天看了一下这个,用Python应该可以做到想要的,有没有NLTK其实都没太大关系。  f7 [( o7 A, P' U( h( B. W
8 k) a) Y3 F5 N7 ?
1. 语料库 - 文字档
9 R" Q6 g' N6 Z- `8 N6 V2. 自配一套单词表:比如初中的、高中的等等
0 `" e4 W5 R* ?( `  L$ ~3. 单词一个个去搜,找到了就存档:单词加例句
# ?$ {2 p# V  M% C7 j  z* I  q- @" W! G* j
可能不是很有效率 但能够做成想要的。
, G3 z8 [5 b% G+ w' {, D$ T- d' }' q* N
用NLTK的好处包括
3 a" ]+ A% ~" d/ ]1. 能够从句子中提出单词原型,倒是有个疑问,怎么从原型和变型的词去匹配呢?
4 R. H- G6 U; [/ e4 x& D2. 可以训练,比如 Mr. Jones, 不要在Mr.的句号断开句子

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x
  • TA的每日心情
    郁闷
    2020-5-16 17:43
  • 签到天数: 49 天

    [LV.5]常住居民I

    发表于 2019-5-1 19:43:37 | 显示全部楼层
    从学英语向学编程转化了,呵呵
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-10-24 01:18 , Processed in 0.023562 second(s), 22 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表