设为首页收藏本站
切换到窄版

掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步，快速开始

掌上百科 - PDAWIKI»首页 › 交流专区 - Discussion › 词库制作交流区 - Dictionary-Making › 抓取越来越难了 .....
返回列表 发新帖
查看: 1693|回复: 16

[讨论] 抓取越来越难了 .....

[复制链接]
lxchen2001

该用户从未签到
发表于 2016-11-30 02:19:09 | 显示全部楼层 |阅读模式
本帖最后由 lxchen2001 于 2016-11-30 10:13 编辑 5 R8 Z" F" D% _# U3 T

0 K+ j0 [: u3 b+ H0 `2 j谷歌：刚刚启动几分钟，就被侦探到了
/ X5 l- [. U2 B* f" w) z7 D  `5 _# W) x: Q! t( R# H
6 n& b% o, Z7 a% q
谷歌词典好在哪里呢？有个历史趋势图, 以及词源图。
! O& [; E4 M$ w: X7 ]+ R( S9 M5 J+ m8 X, n5 t: G6 g' q
7 O! W/ V# z% h* n2 O2 J0 @
牛津：已经关掉索引页，没了索引，只能瞎撞了。, T0 a2 U4 y$ M

- \' W, t3 Y/ ~- Y8 h其他的网站，迟早吧。- l" I3 D+ F8 S

  X8 u) |+ h& z1 V并非坏事，把现有的用好。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？免费注册

x
回复

举报

elusty
  • TA的每日心情
    开心
    2020-3-25 07:07

    • 签到天数: 5 天

    [LV.2]偶尔看看I
    发表于 2016-11-30 07:42:52 | 显示全部楼层
    Google definition源自ODE，只是多了一个词汇使用趋势。- F& P' s* l) z# P- [. v4 D5 H2 {

    : Y' |# P2 }" x2 s# z

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看，没有账号？免费注册

    x
    回复 支持 反对

    举报

    shakahenryqht
  • TA的每日心情
    奋斗
    2019-11-16 20:51

    • 签到天数: 178 天

    [LV.7]常住居民III
    发表于 2016-11-30 08:45:06 | 显示全部楼层
    oxforddictionaries这个词典在增加例句后论坛里有没有人抓取的？
    回复 支持 反对

    举报

    lxchen2001

    该用户从未签到
     楼主| 发表于 2016-11-30 10:48:15 | 显示全部楼层
    本帖最后由 lxchen2001 于 2016-11-30 11:55 编辑
    + J9 S, C! S5 p. q
    elusty 发表于 2016-11-30 07:42' i; V( h, ^! l
    Google definition源自ODE，只是多了一个词汇使用趋势。

    7 L/ Z% ~& \; I; h  [8 F6 C) `8 T, Z2 [& C8 v
    ODE大概也有趋势数据 没有公开而已
    ( W. m8 u1 O9 I  g9 n8 [3 {; i$ m( ]. ^. Z7 d: e( ?( e
    词源的显示谷歌做得比较直观清晰
    . A7 v$ R' K1 {1 D; _
    - H9 o' j/ h: O（柯林斯也有趋势图，但用起来不方便）
    回复 支持 反对

    举报

    lxchen2001

    该用户从未签到
     楼主| 发表于 2016-11-30 10:49:19 | 显示全部楼层
    shakahenryqht 发表于 2016-11-30 08:45' y% t+ M  X: m; J/ F. n2 K
    oxforddictionaries这个词典在增加例句后论坛里有没有人抓取的？

    ) o6 y' R* W# z) g' f例句有点太多了
    回复 支持 反对

    举报

    Babybear1
  • TA的每日心情
    开心
    2018-8-14 18:21

    • 签到天数: 11 天

    [LV.3]偶尔看看II
    发表于 2016-11-30 11:19:24 | 显示全部楼层
    你开VPN上的吗？
    回复 支持 反对

    举报

    Oeasy

    该用户从未签到
    发表于 2016-11-30 11:26:11 | 显示全部楼层
    Babybear1 发表于 2016-11-30 11:19
    8 J+ ?. K9 O; P) J你开VPN上的吗？

    - L5 E7 I8 h+ d. y6 @$ e1 U, O" ^+ U/ M8 F# M) y0 m
    . A8 s2 P, C4 r, Q5 ]6 y
    楼主本就不在墙内，不需要科学上网。
    ; y  s: g. c  N1 t% sAlexa 统计数据（准不准另说）显示 http://www.alexa.com/siteinfo/pdawiki.com，论坛至少 5% 的访问者都不在墙内的。, e3 M0 I4 k  O/ y

    2 p. b) v3 U" g) O$ e& l; k  v5 B* r5 Z' {' D. }

      ^9 z& F7 S& b
    回复 支持 反对

    举报

    Babybear1
  • TA的每日心情
    开心
    2018-8-14 18:21

    • 签到天数: 11 天

    [LV.3]偶尔看看II
    发表于 2016-11-30 11:28:52 | 显示全部楼层
    Oeasy 发表于 2016-11-30 11:266 ?# f! e) c: L& |7 D) g
    楼主本就不在墙内，不需要科学上网。& }3 W9 T3 x& a* ~4 x( e- h
    Alexa 统计数据（准不准另说）显示 http://www.alex ...
    * {$ z- h4 ~& B3 z
    不在墙内都难抓，在墙内可能就更难了
    回复 支持 反对

    举报

    Oeasy

    该用户从未签到
    发表于 2016-11-30 11:28:55 | 显示全部楼层
    9 m& \+ O$ t' s& V' L( B$ E

    7 M* V' h0 ~5 W3 P& r# M0 a" I谷歌的本职工作就是抓别人，所以防爬经验，没有比它更丰富的了。
    & G; a3 k" E: t" S! P. v/ y1 M; r
    7 U3 X6 s) ?% O6 Q5 N" a
    ; `& o, C8 G; b7 x* C
    回复 支持 反对

    举报

    shakahenryqht
  • TA的每日心情
    奋斗
    2019-11-16 20:51

    • 签到天数: 178 天

    [LV.7]常住居民III
    发表于 2016-11-30 12:00:26 | 显示全部楼层
    lxchen2001 发表于 2016-11-30 10:498 w2 \+ Z$ m" N
    例句有点太多了
    # \- C* \/ I, s) ^+ Z% ^- N
    现在能抓吗？是不是也是抓起来很麻烦？
    回复 支持 反对

    举报

    大熊部落

    该用户从未签到
    发表于 2016-11-30 16:00:09 | 显示全部楼层
    这种很简单。2 {6 E8 _* \3 A) |: _" w5 d, e
    ! X8 \6 ]* |8 }$ v( Q' A$ P7 G( P
    假设不能超过3分钟：
    ( L& t% D% d) |/ f9 |1、用A代理，抓取2分50秒后断开。
    , J6 t' d- }# C! n2、再用B代理，抓取2分50秒后断开。
    2 x8 t+ R# C# I& n) L5 [3、再用C、D、E等代理，分别抓取2分50秒后断开。' k9 h$ |1 i' z0 W2 U& z
    4、步骤1~3循环。4 p. D0 C0 ~$ g* ^/ G
    & u4 E. q# j- \& e" |4 t
    以前抓finedictionary就是这种情况，后来搞得所有美国代理都上不去了，但是某些国家的代理还能上。
    * r1 G/ j( O2 X9 L
    回复 支持 反对

    举报

    adv12
  • TA的每日心情
    开心
    2019-11-20 05:34

    • 签到天数: 56 天

    [LV.5]常住居民I
    发表于 2016-11-30 18:26:22 | 显示全部楼层
    谷歌的词源做的真不错，条理清晰容易记
    回复 支持 反对

    举报

    lxchen2001

    该用户从未签到
     楼主| 发表于 2016-11-30 19:56:37 | 显示全部楼层
    大熊部落 发表于 2016-11-30 16:00
    % E6 m6 I. Q; S: x- r这种很简单。
    7 ~; c- t4 M, j2 p  P3 L$ {$ O/ p# j  h( l
    假设不能超过3分钟：

    , y6 G, @- g* q6 ~# k0 |4 M嗯 应该代理可以解决
    . s' }' h1 K; x- }& `2 ]  ^: d% n( K( r1 Z% y) j5 S9 T$ W
    不过我还不会用，而且查找可用的代理也很花时间。
    ! D( l  a8 l- S6 \2 v
    回复 支持 反对

    举报

    lxchen2001

    该用户从未签到
     楼主| 发表于 2016-11-30 19:58:42 | 显示全部楼层
    shakahenryqht 发表于 2016-11-30 12:00# X! [$ c" J/ m( g
    现在能抓吗？是不是也是抓起来很麻烦？

    + ^3 w) Q- Q9 i" f* M可以抓取 不过我没很大兴趣去做
    3 e& }& W4 ~: @7 m) t# N. v& u+ g9 l8 U3 n9 x, W6 A$ ]! h( q/ A
    之前有个帖子用了新版牛津的资料
    回复 支持 反对

    举报

    shakahenryqht
  • TA的每日心情
    奋斗
    2019-11-16 20:51

    • 签到天数: 178 天

    [LV.7]常住居民III
    发表于 2016-11-30 22:23:31 | 显示全部楼层
    lxchen2001 发表于 2016-11-30 19:58
    ' t* F) g) i" z2 ?- ?, `+ q可以抓取 不过我没很大兴趣去做% M4 m1 d( M; t5 i$ V

    ' I* C4 D* H4 A% Y% n3 i( n之前有个帖子用了新版牛津的资料

    9 R$ s7 B: y: @8 J大神，能否写个代码，告诉我怎么抓取，我来抓取。
    回复 支持 反对

    举报

    lxchen2001

    该用户从未签到
     楼主| 发表于 2016-12-1 02:24:57 | 显示全部楼层
    shakahenryqht 发表于 2016-11-30 22:23: f0 r+ H  p% R0 i2 _0 h
    大神，能否写个代码，告诉我怎么抓取，我来抓取。

    " B- U5 P# ?9 S2 ]! ^我的代码比较低级。
    & ]+ b7 u  A1 h. ?/ R+ a
    5 |! `- z; ^# {. c' d' R) n. ^- v" x你可以先试试：https://www.pdawiki.com/forum/thread-14024-1-1.html
    回复 支持 反对

    举报

    BLKSerene
  • TA的每日心情
    开心
    2023-2-24 18:44

    • 签到天数: 339 天

    [LV.8]以坛为家I
    发表于 2016-12-1 13:13:23 | 显示全部楼层
    最好抓的就是剑桥了 不f#a$n%q^i*a$n&g速度都很快 之前抓连断点续传都不用 挂机几小时搞定 现在也有限制了 一卡一卡的
    回复 支持 反对

    举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2025-5-10 19:46 , Processed in 0.023204 second(s), 22 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表