论如何爬取杨百翰大学iweb corpus语料库

abnerzzz

最近花费不少心思，基于COCA20000，做了份Excel词汇表。
对比各类词典软件，据说有道做得最用心，中文释义全部取自有道，序号分割不同词性。

+ ~; f& `! k. j6 Z' o" O

) n$ K# ^1 J( j) l' ^5 U
7 e; x5 `  J3 r# y. _; P- u/ s正准备打印出来，逛论坛看到两个贴子，发现iweb语料库更全更新。

, q( `% `4 q; g) `

1. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33399&highlight=iweb
   
2. 
   * m4 l- l6 s, h+ Q# }$ W
3. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33281&highlight=iweb

复制代码

! K9 {$ I8 ]$ \; R
9 s) H( Y0 _9 o& w) Q本想偷个懒，找 @

garypang

要份csv排序版的，无奈联系不上。尝试自己爬取iweb语料库，奈何官网反爬虫做得贼好，有点棘手。
1 u$ Y4 T0 d; Q0 y3 m
; ]- d$ O9 f% [7 y( W6 e2 M
初步计划，爬前60000单词，匹配有道词典翻译，先弄份中文版出来。
; J9 x9 P, N- F6 ?, v8 l" f) k$ R. l然后爬每个词汇具体页面，再制作词汇搭配版本。搞定后分享给大家。
) H% d. a2 M, O; f5 u
大家有什么想法，可以提提啊。
2 X4 q1 z. g/ {; s. F* @9 O5 A' D懒癌犯了，希望@

garypang

现身，直接做个成品出来，就不用我这小菜鸟折腾了。iweb语料库的确很棒，可惜全网找不到资源。

; o2 S2 |+ x8 w) g" G" x, e: `

4 y. X/ R1 J4 _2 k

eplono

9 @% V6 q  H, D4 e
Hi 楼主能不能做一个词组（or搭配）的词频？就是这COCA里提出来的词组或搭配按照频率越高排名越前的这样。
8 ^' j% T: k9 G5 N
3 k% d& b  X9 P6 m' U5 `我相信这样一份词频，至少对很多人来说吧，远远比仅仅单词的词频有用得多(单词的词频已经有GaryPang大的iWeb词频了[搜索帖子关键词“iWeb”]），
功德无量哦
) ?3 y+ q2 P" T+ I
5 b( U# j1 P; A8 x我今年年初的时候BT（magnet:?xt=urn:btih:EEBAC1F45D81FC3EEA92A7C6CC7179C863E290B9&tr=http%3A%2F%2Fbt4.t-ru.org%2Fann%3Fmagnet）
下载了一份COCA 2012年的原始数据，
) @. J9 e! D! O" o
有一份Collocation20000的PDF(https://pan.baidu.com/s/1AOgIWHF1rZzlRsYy_JnLPQ[提取码：tetg])，（PDF转换成mdx已经有人做了，见https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33105）
2 |% T6 I- h" j: \0 j: ^# a
- s7 o" O1 O# Q. [无奈自己非IT相关专业、只会一点点Python，不会整理成搭配的词频，就把原始数据（印象中是都小说、杂志等等的原文）都删了，现在重新挂娘盘，离线几天了停在65.46%进度。
  f, f" @3 p7 @. D3 k5 Q, F8 Y
7 ^% W  s5 @' g4 H等下完了就放出来希望有人做个词组（or搭配）的词频...

9 r! R5 A4 g* n* t咋刚才看到楼主回复进度的帖子回头看又不见了？我幻觉了？？？
8 k: c" c& C) }. G; y3 k3 O# q

abnerzzz

反馈一下进度，上周就已经差不多爬完了。接下来需要将HTML转成文本，不过最近有点忙，看心情再转下格式。

abnerzzz

你去哪里 发表于 2019-9-3 21:41
# L' U9 B2 O1 ]5 x中文释义还是用权威词典的释义，比如说牛津或者朗文的比较好吧。

4 b( n2 B' g6 I2 V6 q# ]. E/ Q补图。。。。

你去哪里

中文释义还是用权威词典的释义，比如说牛津或者朗文的比较好吧。

snwbpn

非常感谢，请问原始爬出来的网页文件方便分享吗？谢谢????????

snwbpn

楼主做的怎么样了呢？期待你的大作！

ericqjy

这个没下文了？期待楼主更新。

lgmcw

ubersoft 发表于 2019-9-8 23:56
9 A- ?7 K9 n, @( c5 W; m" M$ x! x有偿整合数据、排版美化和制作mdx，可否？可以合并其他词典的数据，需要爬取别的数据也可以提供。如果需 ...

我觉得最有用的是那个collocation和cluster

快乐巡洋舰

能做出排序，已经非常好了。祝楼主早日功成！

ericqjy

楼主加油↖(^ω^)↗

ericqjy

最好有英文释义，推荐简明牛津或新牛津或美国传统词典的英语释义。

ericqjy

非常期待您的成品！

ChaunceyWei

期待iweb的排序版啊，这个语料库收词量比COCA大了很多

abnerzzz

ChaunceyWei 发表于 2019-9-4 13:25
3 M3 G) O8 I* {* S5 E4 e期待iweb的排序版啊，这个语料库收词量比COCA大了很多

, ?8 f& N7 e8 m" qiweb语料库top6000排序版已经有了，但拿到相应的词汇搭配难度较大。

abnerzzz

iweb语料库前60000个词频排序版已搞定
7 G! ?* S; G: O0 x% T* }

abnerzzz

ericqjy 发表于 2019-9-3 23:08
0 Q% H; V' K* D  W1 @最好有英文释义，推荐简明牛津或新牛津或美国传统词典的英语释义。

4 s2 M# U0 u5 [7 b# o8 {9 H, Ciweb语料库每个单词明细界面，有同义词、话题、搭配、词簇等，同时还能链接到其它在线词典网站（图中标注12345能跳转到剑桥、韦氏）。
正在想办法把这些明细数据爬下来，然而技术太菜

alanpoon

正想找高频表导入欧路背单词，楼主可否分享词频表？

cwx

求分享csv格式单词表

abnerzzz

反馈一下iweb语料库爬取进度，暂时保存的都是html格式
! x4 s; P- A5 g3 ?; ?7 y5 W
. n6 y8 A. ]: Q0 P; i% _  z有没有大佬原因做成mdx
: ]5 d% h8 w3 o/ N

717379060

感谢楼主

yaknow

可以的,个人赞成有偿服务!

gtxxeon

支持支持

tiansdeyanj

期待啊！