求助 urban dictionary网站数据重新抓取 [python]

garypang

原帖 https://www.pdawiki.com/forum/fo ... hread&tid=13941

作者@imfirefly 附带了抓取、排版、格式化成MDICT（Html）格式的工具,奈何本人完全不会python,暂时也没时间自学,求助python大神帮重新抓取最新数据,或者详细教我怎么使用这个工具傻瓜式抓取(本人python零菜鸟,会Html,CSS,JS,mdx词典修改打包等),

展开全文

jiaoyidongxi

我倒是一直用的 gd/git 上维护的在线版 py 脚本

hooliganstreet

( [) M4 A/ z8 J) Q0 s; Q2 d终于完成了，共1.7G，压缩后279M，见附件

/ M$ y% x8 |( C0 ~9 V: ?  n- f


& Y( o* c6 a9 D" f( w. q. d3 B

6 g: T. u) z- ?% `: A' B& n




; h( u( z* e% o. d
- Q  W4 F1 j/ F: Z7 y: z$ d1 M

/ @" Y5 C# }/ m9 g$ `% X  V' |


  e4 v- S1 j3 G: j

8 C: J0 @! i, E) {6 b2 O* l6 Q

* {  h# g! `+ }1 J6 m3 k
, Y, L3 j9 A. y2 R3 x1 d







) _/ |5 @  k) o
9 z% f- u$ a! S& M& c. d
# O. i& k% U+ T$ j2 C

hooliganstreet

稍安勿躁，正在抓取
! M. u+ K* c: e' ^2 H8 P
' y; l/ V) x0 D* }9 f
7 h6 H4 Q/ S: N+ y3 s9 X我做到第4步就传上来，剩下的就交给你了

garypang

hooliganstreet 发表于 2018-4-19 09:34
稍安勿躁，正在抓取

7 ^' t2 w) ~- Z; z" i2 G* h9 q
9 U4 D# \# V- d! {0 L( H* L

厉害了 哈哈 感谢(❁´ω`❁)！

hooliganstreet

garypang 发表于 2018-4-19 10:56
厉害了 哈哈 感谢(❁´ω`❁)！

: y) Z$ Q( ^* i3 K6 D8 w" y第1步已经完成，大约用了半个小时；正在执行第2步，已经用了6个小时了，但远远没有完成，而且错误挺多，按照这个速度算了一下，估计第2步至少需要5天，所以慢慢等待...
$ `% _% X) H% @. x) @# w

garypang

hooliganstreet 发表于 2018-4-19 16:02
第1步已经完成，大约用了半个小时；正在执行第2步，已经用了6个小时了，但远远没有完成，而且错误挺多， ...

5 ~6 t+ V& u3 M$ I) l+ h辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,

hooliganstreet

: v& ^8 w0 v9 [' S! r

garypang 发表于 2018-4-19 16:55
" w1 B2 Z/ ~' y. K/ M7 l1 ?辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,

我觉得应该是网络的原因，慢慢来。如果想自己弄，按照说明，首先需要下载Python 3.4.3（不同的版本可能会有问题），可以参考这儿。
然后在命令行执行

1. pip install requests

复制代码

1. pip install BeautifulSoup

复制代码

/ E4 n# b& V/ P然后按照说明执行

1. python UD_wordlists_gen.py

复制代码

1. python UD_make_mdx.py

复制代码

1. mergeAllMDXs.bat

复制代码

最后就是运行MdxBuilder了

garypang

冰上走的小猫猫 发表于 2018-4-22 19:24
我觉得urban 用goldendict的直练功能比较好。
urban数据变更性太大，不适合抓取使用。 ...

" I0 Y& w) {' f  C  R国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,

hooliganstreet

garypang 发表于 2018-4-22 19:42
) n9 g9 q, z' B5 T+ o6 b/ @$ o0 E0 K国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,

8 g9 K) }9 y, \访问还是有问题，4天了还没完成，而且访问失败的占80%以上


左边是失败的，右边是所有的

garypang

hooliganstreet 发表于 2018-4-23 10:26
, `7 v5 {  `4 E9 o6 K9 B0 A访问还是有问题，4天了还没完成，而且访问失败的占80%以上

感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程序不能完全匹配造成的呢,

谢谢!

hooliganstreet

garypang 发表于 2018-4-23 10:48
感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程 ...

可能是同时请求的太多了

garypang

hooliganstreet 发表于 2018-4-23 10:58
可能是同时请求的太多了

8 `* |% F" O; b) b好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,
3 L, t3 E7 }! b7 P6 U& e: y
谢谢!

hooliganstreet

garypang 发表于 2018-4-23 11:05
% K2 Z$ f9 X+ y# j- h2 s好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,

, R$ T3 ^2 h, k9 t谢谢! ...

只好多爬几次了

garypang

hooliganstreet 发表于 2018-4-23 11:52
只好多爬几次了

不知道楼主进度如何了,哈哈,

hooliganstreet

garypang 发表于 2018-5-3 11:35
, K. J! j4 _5 s: d不知道楼主进度如何了,哈哈,

4 A' j: t. t: u, L4 t5 u; g试了好几次了，觉得网站可能对请求数做了限制，因此改为单线程继续抓取，已经好几天了。

hooliganstreet

上午c盘没空间了，换了个盘，继续。已经抓取535M，比我用的是300多M，看了网站又更新了不少
7 g; B+ m2 E% E. P- q

garypang

hooliganstreet 发表于 2018-5-3 13:38
$ V, Q2 Q! x) F上午c盘没空间了，换了个盘，继续。已经抓取535M，比我用的是300多M，看了网站又更新了不少
) n5 ?1 r% H% h1 l! V: q' g% ]: a ...

哈哈,辛苦了,看来是快要成了~

hooliganstreet

garypang 发表于 2018-5-3 13:47
% r  S# J1 H  E2 K& ?" ]哈哈,辛苦了,看来是快要成了~

估计还早，我觉得一半都不到，估计至少需要半个月

hooliganstreet

说明一下进度：已经抓取了1.03G的数据，估计还有1/3的数据没有抓取完成，最后的数据估计至少有1.5G左右。时间的话，我估计至少还需要5天以上
! [$ ?  v9 s9 n/ c. d

garypang

hooliganstreet 发表于 2018-5-15 10:31
: P2 r' P; W( Z6 S$ C说明一下进度：已经抓取了1.03G的数据，估计还有1/3的数据没有抓取完成，最后的数据估计至少有1.5G左右。时 ...

) }& P, b- a" s" p+ x( x5 }/ y. h7 g哈哈,辛苦啦! 不急,我目前暂时用在线版用着也还不错,https://www.pdawiki.com/forum/fo ... hread&tid=26863

garypang

hooliganstreet 发表于 2018-6-1 17:28
' [# D: d, Z0 X4 B8 E# o  M# u0 B终于完成了，共1.7G，压缩后279M，见附件

& j+ [' q, f2 I# Y; r: J- n感谢!!!,付出这么多时间和精力,实在辛苦了,迫不及待试用先!

garypang

hooliganstreet 发表于 2018-4-18 10:22
; y0 U& @% W, W1 ~. }" ]终于完成了，共1.7G，压缩后279M，见附件

) D" f! [/ S, o/ X$ `4 E$ y4 X
3 {, w7 S) E$ O6 i初步测试了下, 存在少量词缺失,比如 adorbs, giant

) j  U" |# t5 |) r( \; v/ R  已打包排版好,
您去资源区发帖分享给大家哈,
6 \( z2 \* f0 Q' r
* i& Z; F; w9 ~链接: https://pan.baidu.com/s/1e6yw2gOpcA137q7TRiqa0Q 密码: gang

hooliganstreet

garypang 发表于 2018-6-1 19:40
初步测试了下, 存在少量词缺失,比如 adorbs, giant
  [+ n. A3 |4 t* Q  C
2 c; I! @& e, r3 ^$ n  已打包排版好,

版主去分享吧，缺失的部分我有时间看看