掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 624|回复: 20

[讨论] 论如何爬取杨百翰大学iweb corpus语料库

[复制链接]
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2019-9-3 21:04:23 | 显示全部楼层 |阅读模式
    最近花费不少心思,基于COCA20000,做了份Excel词汇表。6 W; |6 s, V9 ^3 R9 W) A5 L. H5 B9 n, B# A
    对比各类词典软件,据说有道做得最用心,中文释义全部取自有道,序号分割不同词性。
    2 D: m- O5 }0 y" }- u
    - u) J4 p$ J, g$ ]6 L

    . }- o" {1 w2 f  [
    + T# R1 p; T3 n8 C* b7 q. p

    8 C7 u3 \; C1 x: N5 l0 b正准备打印出来,逛论坛看到两个贴子,发现iweb语料库更全更新。  F9 y" S# G( P: y0 a: b/ A

    7 }+ v% ~$ H5 s+ K0 F1 W3 H& D
    1. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33399&highlight=iweb. r; B2 C, N8 l: m7 L
    2. , t9 d2 }: M7 i) F
    3. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33281&highlight=iweb
    复制代码

    2 r3 J) j& A3 L3 }6 d& ^" x+ q- Y! d  `& y* ?: L
    6 T6 |( W( `8 X) S
    本想偷个懒,找 @要份csv排序版的,无奈联系不上。尝试自己爬取iweb语料库,奈何官网反爬虫做得贼好,有点棘手。
    ) ^" I) S& o% ~4 m) ~0 O9 O3 |8 M& @  _

    , C8 A& O, [& V2 C初步计划,爬前60000单词,匹配有道词典翻译,先弄份中文版出来。7 d0 h7 P$ Q; }
    然后爬每个词汇具体页面,再制作词汇搭配版本。搞定后分享给大家。
    6 {. R  X% j# P7 O
    7 e, ~8 e$ c/ S) O大家有什么想法,可以提提啊。
    + A. d( k& c6 x1 S9 \- K懒癌犯了,希望@现身,直接做个成品出来,就不用我这小菜鸟折腾了。iweb语料库的确很棒,可惜全网找不到资源。
    / }) g, ~' y, b5 ~
    + }# ?9 T( L1 w8 H
    7 O8 B! D/ n9 X' {
    , @9 R! U- P6 R5 O2 n& P0 ~; B

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x
  • TA的每日心情
    慵懒
    8 小时前
  • 签到天数: 53 天

    [LV.5]常住居民I

    发表于 2019-9-26 17:59:52 | 显示全部楼层
    本帖最后由 eplono 于 2019-9-30 07:44 编辑 ! M) F. s7 x8 ~7 @( p, R
    . ]% ]  [8 K- e
    Hi 楼主能不能做一个词组(or搭配的词频?就是这COCA里提出来的词组或搭配按照频率越高排名越前的这样。8 |, }# ~( x# D. i  `9 ?
    6 Y2 e& W. ]3 X! w
    我相信这样一份词频,至少对很多人来说吧,远远比仅仅单词的词频有用得多(单词的词频已经有GaryPang大的iWeb词频了[搜索帖子关键词“iWeb”]),6 Y9 \$ _. T2 @: i& Z
    功德无量哦
    - }% s( @/ V& J( w8 r) v
    6 i4 d* M  u$ B4 e( u我今年年初的时候BT(magnet:?xt=urn:btih:EEBAC1F45D81FC3EEA92A7C6CC7179C863E290B9&tr=http%3A%2F%2Fbt4.t-ru.org%2Fann%3Fmagnet)
    $ `9 \. [$ j9 ^) S下载了一份COCA 2012年的原始数据,
    - m& R. q' X+ z. V# L/ U3 V! x+ D$ a/ z' Y, U1 u; Q5 B- q- T6 e& h! Y
    有一份Collocation20000的PDF(https://pan.baidu.com/s/1AOgIWHF1rZzlRsYy_JnLPQ[提取码:tetg]),(PDF转换成mdx已经有人做了,见https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33105
    8 |5 y* X- B5 Y  Y+ O& ]2 S0 l* p# Q$ R% \7 c3 D, A" Y
    无奈自己非IT相关专业、只会一点点Python,不会整理成搭配的词频,就把原始数据(印象中是都小说、杂志等等的原文)都删了,现在重新挂娘盘,离线几天了停在65.46%进度。
    7 U3 y9 L/ A& M4 G& C0 [  P' ?) c% e' b% o% Y( x
    等下完了就放出来希望有人做个词组(or搭配)的词频...
    5 ^  b% I& A. g5 L8 V& p5 O
    : {4 H3 ?; ?2 @& w$ E1 l7 F$ ^咋刚才看到楼主回复进度的帖子回头看又不见了?我幻觉了???
    / Q6 ]2 V! }% P7 O, m2 h/ _3 l
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-25 19:30:52 | 显示全部楼层
    反馈一下进度,上周就已经差不多爬完了。接下来需要将HTML转成文本,不过最近有点忙,看心情再转下格式。
  • TA的每日心情
    开心
    2019-8-20 15:14
  • 签到天数: 148 天

    [LV.7]常住居民III

    发表于 2019-9-3 21:41:52 | 显示全部楼层
    中文释义还是用权威词典的释义,比如说牛津或者朗文的比较好吧。
  • TA的每日心情
    开心
    7 小时前
  • 签到天数: 308 天

    [LV.8]以坛为家I

    发表于 2019-9-3 23:08:43 | 显示全部楼层
    最好有英文释义,推荐简明牛津或新牛津或美国传统词典的英语释义。
  • TA的每日心情
    开心
    7 小时前
  • 签到天数: 308 天

    [LV.8]以坛为家I

    发表于 2019-9-3 23:09:54 | 显示全部楼层
    非常期待您的成品!
  • TA的每日心情
    擦汗
    9 小时前
  • 签到天数: 173 天

    [LV.7]常住居民III

    发表于 2019-9-4 09:02:43 | 显示全部楼层
    提示: 该帖被管理员或版主屏蔽
  • TA的每日心情
    奋斗
    5 小时前
  • 签到天数: 234 天

    [LV.7]常住居民III

    发表于 2019-9-4 13:25:25 | 显示全部楼层
    期待iweb的排序版啊,这个语料库收词量比COCA大了很多
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-5 14:09:09 | 显示全部楼层
    ChaunceyWei 发表于 2019-9-4 13:25, j  b9 T3 J4 `! l4 V
    期待iweb的排序版啊,这个语料库收词量比COCA大了很多

    ( j; f0 c9 H% i  u/ {. ]1 Qiweb语料库top6000排序版已经有了,但拿到相应的词汇搭配难度较大。
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-5 21:09:57 | 显示全部楼层
    iweb语料库前60000个词频排序版已搞定
    / a  ?$ f% Z& B4 `, u

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-5 21:22:52 | 显示全部楼层
    ericqjy 发表于 2019-9-3 23:08+ ?% X: Y. V: q# u
    最好有英文释义,推荐简明牛津或新牛津或美国传统词典的英语释义。

    2 d8 {7 }! \* Q5 @2 w) y, J' viweb语料库每个单词明细界面,有同义词、话题、搭配、词簇等,同时还能链接到其它在线词典网站(图中标注12345能跳转到剑桥、韦氏)。
    + f1 o: a6 n! Y% B正在想办法把这些明细数据爬下来,然而技术太菜
    . |1 X1 n, ~- p0 `' m
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-5 21:24:19 | 显示全部楼层
    你去哪里 发表于 2019-9-3 21:41
    8 y  H: ]4 f) H( B7 f: d中文释义还是用权威词典的释义,比如说牛津或者朗文的比较好吧。

    % `# S2 d, ]2 t) @# O补图。。。。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x

    该用户从未签到

    发表于 2019-9-5 22:07:55 | 显示全部楼层
    正想找高频表导入欧路背单词,楼主可否分享词频表?
  • TA的每日心情
    无聊
    2019-9-7 16:11
  • 签到天数: 13 天

    [LV.3]偶尔看看II

    发表于 2019-9-6 19:05:02 | 显示全部楼层
    求分享csv格式单词表
  • TA的每日心情

    2019-9-21 10:56
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2019-9-7 10:36:30 | 显示全部楼层
    反馈一下iweb语料库爬取进度,暂时保存的都是html格式+ ]1 p2 A& U2 M; L+ K1 d6 b
    1 T9 ?- Z! e7 Z* b1 c2 T
    有没有大佬原因做成mdx; Z! i" }* Q" d4 Z& v/ k1 U) F( j

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?免费注册

    x
  • TA的每日心情
    擦汗
    4 天前
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2019-9-8 23:56:04 | 显示全部楼层
    abnerzzz 发表于 2019-9-7 10:36! `) m0 M. Q1 G& q
    反馈一下iweb语料库爬取进度,暂时保存的都是html格式
    % p& Z: K1 ]% s; d0 [$ w: e* h  ]+ x% U) M
    有没有大佬原因做成mdx
    ! f3 n( J* N* F3 ~; [, u5 _- g! B* D; ?# e
    有偿整合数据、排版美化和制作mdx,可否?可以合并其他词典的数据,需要爬取别的数据也可以提供。如果需要js,实现类似FF大的词典里面那种切换功能也可以做。
  • TA的每日心情
    开心
    2019-4-29 05:51
  • 签到天数: 95 天

    [LV.6]常住居民II

    发表于 2019-9-10 17:08:07 | 显示全部楼层
    可以的,个人赞成有偿服务!
  • TA的每日心情
    开心
    7 小时前
  • 签到天数: 308 天

    [LV.8]以坛为家I

    发表于 2019-9-25 20:11:08 | 显示全部楼层
    楼主加油↖(^ω^)↗
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    顶部qrcode底部
    关注公众号送论坛充值码
    关注微信公众平台
    关注微信公众号 pdawiki,获取邀请码,看文抢积分,抽奖得浮云! Follow our Wechat official account "pdawiki", get invitation codes, and play the lottery to earn points (积分)!

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2019-10-21 16:21 , Processed in 0.155350 second(s), 11 queries , MemCache On.

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表