设为首页收藏本站
切换到窄版

掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步，快速开始

掌上百科 - PDAWIKI»首页 › 交流专区 - Discussion › 词库制作交流区 - Dictionary-Making › 论如何爬取杨百翰大学iweb corpus语料库
返回列表 发新帖
查看: 5609|回复: 26

[讨论] 论如何爬取杨百翰大学iweb corpus语料库

[复制链接]
abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
    发表于 2019-9-3 21:04:23 | 显示全部楼层 |阅读模式
    最近花费不少心思，基于COCA20000，做了份Excel词汇表。
    ' _5 ]( Q* G+ z8 P* ^对比各类词典软件，据说有道做得最用心，中文释义全部取自有道，序号分割不同词性。
    : g) A4 w( j! G
    % n* O  g% \9 y) p, \& y; Q  ^9 k    & m9 B" N+ B3 D) S

    / y, e0 w" t. i
    7 u/ S1 j  Q0 G7 h, n, _  T正准备打印出来，逛论坛看到两个贴子，发现iweb语料库更全更新。
    6 e5 [! \3 ]/ P1 x
    + V! L' `8 v' R! W7 _3 _/ @! T7 a
    1. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33399&highlight=iweb
      * O1 M5 s# a& G5 m3 J

    2. 0 b8 ]: f; i# B) H
    3. https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33281&highlight=iweb
    复制代码

    5 A7 n9 m/ S6 u- a) w! I2 a# N; d
    ( S# |; @1 V4 v9 ]& |
    9 L% a% H) s/ B2 {) h, k本想偷个懒，找 @要份csv排序版的，无奈联系不上。尝试自己爬取iweb语料库，奈何官网反爬虫做得贼好，有点棘手。
    % Y; S! u6 [8 Q' f" p1 N8 A0 n: T0 T: E

    ; X5 P. u/ Y6 K& \8 [8 O0 M* _初步计划，爬前60000单词，匹配有道词典翻译，先弄份中文版出来。1 J& N0 z& C+ h( C- t4 F! ~
    然后爬每个词汇具体页面，再制作词汇搭配版本。搞定后分享给大家。# n3 P- {, L7 R3 B1 C- }* x: H
    , r0 {2 ~9 d, H' A
    大家有什么想法，可以提提啊。- z. T2 A+ V5 s! C0 m- P" X/ @
    懒癌犯了，希望@现身，直接做个成品出来，就不用我这小菜鸟折腾了。iweb语料库的确很棒，可惜全网找不到资源。2 N' x6 Q9 I. v, A

    ) R5 `( N" l! Q: N/ d* S+ X, M; k( O. h* H- \, H- Y8 }% E9 _- F4 u
    9 T4 e6 C9 H% V3 _8 H# m9 h

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复

    举报

    eplono
  • TA的每日心情
    慵懒
    2021-9-30 10:09

    • 签到天数: 321 天

    [LV.8]以坛为家I
    发表于 2019-9-26 17:59:52 | 显示全部楼层
    本帖最后由 eplono 于 2019-9-30 07:44 编辑 5 J, S7 g9 P3 u& Z& Y6 Q" [

    5 b  n; B5 ^2 h$ F4 NHi 楼主能不能做一个词组（or搭配）的词频？就是这COCA里提出来的词组或搭配按照频率越高排名越前的这样。# y0 ~: e6 Q! x
    6 r$ G0 E% U( [9 Z
    我相信这样一份词频，至少对很多人来说吧，远远比仅仅单词的词频有用得多(单词的词频已经有GaryPang大的iWeb词频了[搜索帖子关键词“iWeb”]），
    & q& H  b* ~. c8 h* u6 c2 n2 t* d2 k功德无量哦
    " p3 o& E4 G6 P9 I! V# ?8 t7 U3 X4 b% _/ [  s. u/ X
    我今年年初的时候BT（magnet:?xt=urn:btih:EEBAC1F45D81FC3EEA92A7C6CC7179C863E290B9&tr=http%3A%2F%2Fbt4.t-ru.org%2Fann%3Fmagnet）; l7 N4 I& Q  a7 H. I; @  m
    下载了一份COCA 2012年的原始数据，$ ]+ }% Q& N( h
    1 |. l3 V1 o4 y7 Q( w
    有一份Collocation20000的PDF(https://pan.baidu.com/s/1AOgIWHF1rZzlRsYy_JnLPQ[提取码：tetg])，（PDF转换成mdx已经有人做了，见https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33105）
    % R% ?3 Q% D1 ?/ ?: C/ a& a' y4 |% y
    无奈自己非IT相关专业、只会一点点Python，不会整理成搭配的词频，就把原始数据（印象中是都小说、杂志等等的原文）都删了，现在重新挂娘盘，离线几天了停在65.46%进度。/ j" }6 g" M1 P0 x9 L, E

    4 {8 V, U* }5 h  A0 ?! f2 T7 w等下完了就放出来希望有人做个词组（or搭配）的词频...3 ~) [4 P  ^4 G4 X# R6 s* E

    " y# t# t- L$ @' K3 E& P& S( L咋刚才看到楼主回复进度的帖子回头看又不见了？我幻觉了？？？# P5 v" ^  Q) h1 g4 z8 P

    点评

    ericqjy
    很强大的资源！期待ing.  发表于 2019-9-28 13:49
    回复 支持 2 反对 1

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-25 19:30:52 | 显示全部楼层
    反馈一下进度，上周就已经差不多爬完了。接下来需要将HTML转成文本，不过最近有点忙，看心情再转下格式。
    回复 支持 2 反对 0

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-5 21:24:19 | 显示全部楼层
    你去哪里 发表于 2019-9-3 21:411 A! g9 o/ L! t: A
    中文释义还是用权威词典的释义，比如说牛津或者朗文的比较好吧。

    2 A4 D( c" w' z" X2 U* j补图。。。。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 2 反对 0

    举报

    你去哪里
  • TA的每日心情
    开心
    2023-2-17 08:38

    • 签到天数: 321 天

    [LV.8]以坛为家I
    发表于 2019-9-3 21:41:52 | 显示全部楼层
    中文释义还是用权威词典的释义，比如说牛津或者朗文的比较好吧。
    回复 支持 1 反对 1

    举报

    snwbpn
  • TA的每日心情
    开心
    2024-8-28 21:24

    • 签到天数: 47 天

    [LV.5]常住居民I
    发表于 2022-11-25 17:50:01 | 显示全部楼层
    非常感谢，请问原始爬出来的网页文件方便分享吗？谢谢????????
    回复 支持 1 反对 0

    举报

    snwbpn
  • TA的每日心情
    开心
    2024-8-28 21:24

    • 签到天数: 47 天

    [LV.5]常住居民I
    发表于 2020-1-25 21:05:27 | 显示全部楼层
    楼主做的怎么样了呢？期待你的大作！
    回复 支持 1 反对 0

    举报

    ericqjy
  • TA的每日心情
    擦汗
    2022-10-5 15:24

    • 签到天数: 614 天

    [LV.9]以坛为家II
    发表于 2019-11-18 15:33:50 | 显示全部楼层
    这个没下文了？期待楼主更新。
    回复 支持 1 反对 0

    举报

    lgmcw
  • TA的每日心情
    奋斗
    2020-11-15 11:37

    • 签到天数: 249 天

    [LV.8]以坛为家I
    发表于 2019-11-9 03:35:21 | 显示全部楼层
    ubersoft 发表于 2019-9-8 23:56- R0 _( }9 U$ [# A/ n7 t1 s
    有偿整合数据、排版美化和制作mdx，可否？可以合并其他词典的数据，需要爬取别的数据也可以提供。如果需 ...

    ' v; p8 G7 A3 H* U+ r我觉得最有用的是那个collocation和cluster
    回复 支持 1 反对 0

    举报

    快乐巡洋舰
  • TA的每日心情
    奋斗
    2022-7-18 17:14

    • 签到天数: 413 天

    [LV.9]以坛为家II
    发表于 2019-11-6 11:34:39 | 显示全部楼层
    能做出排序，已经非常好了。祝楼主早日功成！
    回复 支持 1 反对 0

    举报

    ericqjy
  • TA的每日心情
    擦汗
    2022-10-5 15:24

    • 签到天数: 614 天

    [LV.9]以坛为家II
    发表于 2019-9-25 20:11:08 | 显示全部楼层
    楼主加油↖(^ω^)↗
    回复 支持 1 反对 0

    举报

    ericqjy
  • TA的每日心情
    擦汗
    2022-10-5 15:24

    • 签到天数: 614 天

    [LV.9]以坛为家II
    发表于 2019-9-3 23:08:43 | 显示全部楼层
    最好有英文释义，推荐简明牛津或新牛津或美国传统词典的英语释义。
    回复 支持 1 反对 0

    举报

    ericqjy
  • TA的每日心情
    擦汗
    2022-10-5 15:24

    • 签到天数: 614 天

    [LV.9]以坛为家II
    发表于 2019-9-3 23:09:54 | 显示全部楼层
    非常期待您的成品！
    回复 支持 1 反对 0

    举报

    freemanlea
  • TA的每日心情
    慵懒
    2023-5-28 06:06

    • 签到天数: 1190 天

    [LV.10]以坛为家III
    发表于 2019-9-4 09:02:43 | 显示全部楼层
    提示: 该帖被管理员或版主屏蔽
    回复 支持 1 反对 0

    举报

    ChaunceyWei
  • TA的每日心情
    奋斗
    2022-4-15 15:41

    • 签到天数: 404 天

    [LV.9]以坛为家II
    发表于 2019-9-4 13:25:25 | 显示全部楼层
    期待iweb的排序版啊，这个语料库收词量比COCA大了很多
    回复 支持 1 反对 0

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-5 14:09:09 | 显示全部楼层
    ChaunceyWei 发表于 2019-9-4 13:25
    % V/ ^# u% G8 A' x- D8 d5 `4 |期待iweb的排序版啊，这个语料库收词量比COCA大了很多

    . |3 O  [8 u1 y- P! Z) }- d; _iweb语料库top6000排序版已经有了，但拿到相应的词汇搭配难度较大。

    点评

    eplono
    Hi, 这个的词汇搭配做得怎样了？可以分享一下不，感谢哈in advanced.  发表于 2019-9-25 14:22
    回复 支持 1 反对 0

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-5 21:09:57 | 显示全部楼层
    iweb语料库前60000个词频排序版已搞定
    & z1 p& ~9 f4 {& J! K8 ~) J3 S6 k

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 1 反对 0

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-5 21:22:52 | 显示全部楼层
    ericqjy 发表于 2019-9-3 23:08
    ( j" m: L2 p7 w最好有英文释义，推荐简明牛津或新牛津或美国传统词典的英语释义。
    % [8 b  r3 C" y: C; E3 z! n- [
    iweb语料库每个单词明细界面，有同义词、话题、搭配、词簇等，同时还能链接到其它在线词典网站（图中标注12345能跳转到剑桥、韦氏）。
    1 e" s. Z2 P0 K- i; {正在想办法把这些明细数据爬下来，然而技术太菜
    ( z# R5 [/ `# S5 M) ]  x
    回复 支持 1 反对 0

    举报

    alanpoon

    该用户从未签到
    发表于 2019-9-5 22:07:55 | 显示全部楼层
    正想找高频表导入欧路背单词，楼主可否分享词频表？
    回复 支持 1 反对 0

    举报

    cwx
  • TA的每日心情
    无聊
    2019-9-7 16:11

    • 签到天数: 13 天

    [LV.3]偶尔看看II
    发表于 2019-9-6 19:05:02 | 显示全部楼层
    求分享csv格式单词表
    回复 支持 1 反对 0

    举报

    abnerzzz
  • TA的每日心情
    衰
    2024-9-30 19:40

    • 签到天数: 1012 天

    [LV.10]以坛为家III
     楼主| 发表于 2019-9-7 10:36:30 | 显示全部楼层
    反馈一下iweb语料库爬取进度，暂时保存的都是html格式
    ( W0 [6 h7 p- S( A0 y5 c& v  b: D+ f% F  u2 K4 m( r  ^0 ^$ b
    有没有大佬原因做成mdx3 j, I1 W, u& {1 z

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 1 反对 0

    举报

    yaknow
  • TA的每日心情
    奋斗
    2020-7-12 05:59

    • 签到天数: 97 天

    [LV.6]常住居民II
    发表于 2019-9-10 17:08:07 | 显示全部楼层
    可以的,个人赞成有偿服务!
    回复 支持 1 反对 0

    举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-5-2 20:28 , Processed in 0.028666 second(s), 28 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表