|
|
3 z# Z+ W" _" {$ G$ j. b( p
一直想找个英语单词词根和前缀、后缀的词典，主要用来辅助记单词. R1 [7 M3 m7 \5 j- x
比如entombed，如果知道en-，知道tomb，这个单词看一遍就记住了，
- F8 X8 r* i2 Q/ ~/ ?有点类似汉字的偏旁部首, H2 p6 m* v# H
找来找去，觉得prefixsuffix.com这个网站还不错，收得比较全，解释比较简明, K. [, G" F' W3 L6 I5 U
但是总不能整天老挂在这网站上，得想个能离线浏览的办法, P* H; p8 H' \( a+ X5 x+ U. b8 Z
他家倒是出了个app放在appstore上，卖18元，说实话有点小贵，人家SOED6才卖18
/ b. t, A! a7 W; h+ v0 ]* Z6 I这还不算，最要命的是从2010年以来这个app一直没更新过，究竟是不再维护了呢？还是已经完美到不用再更新了呢？
% f5 D6 D1 |: K% i; V! e9 D2 _8 a, }要知道这几年ios都有过几次重大升级，万一买了和ios7不兼容，闪退怎么办？岂不是白买
/ T8 k% n+ T" c2 U1 ?, U u, `$ r$ q
6 q& j! n* @+ D6 I/ H7 ]于是想到有没有可能把他家的数据全给扒下来
9 t' ]0 V& b* Q% a运气不错，这家网站完全没设防，扒数据的整个过程轻松而愉快4 z4 x" I9 }4 Q+ m. {% P
现在就把这个过程详细讲讲。遇到类似问题可以照猫画虎，把附件的代码改改就能工作
2 y) W K( W& ~; v5 {+ {% u& p5 T5 H我尽量写得比较啰嗦一点，让计算机小白也能看懂
$ p* f# C- Y0 c% M8 j) Y
7 t6 g1 T2 H/ {: M' z9 E" o( Y E一、网页的构造
! X: e7 ]9 M# t) k这个网站比较简单，和词根相关的网页就两个) I& m0 n: x, m1 J# M
一个是rootchart，点开是张大表，列出最常用的词根. Y: A! f8 ]% `) J% ?( i* p4 h
http://www.prefixsuffix.com/rootchart.php?navblks=10110008 X+ `# ?: J: `6 y) q4 Z
还有一个rootsearch，点开有个search选项，可以自己输入词根查询& ^! w' b; h S; K. r
http://www.prefixsuffix.com/rootsearch.php
+ U7 |; K2 K! t1 }8 g: I r; U0 r9 r( X& m2 `4 h
二、先搞第一个网页" S, o6 H5 u8 v. C1 `0 v) L; I
地方找到了，如何下手呢？* U& G& w2 U$ W# j/ b' W: c. v
第一个简单，直接用脚本请求这个页面，把返回结果接住就行- 1 F) R& _6 `/ a6 ~5 e+ }
- url = 'http://www.prefixsuffix.com/rootchart.php?navblks=1011000'9 T; T6 H6 Q3 V- c- w2 l
- req = urllib2.Request(url)5 A0 Q R2 H- ^' a7 @8 x) P
- response = urllib2.urlopen(req), k" u1 N* e% z9 E+ a& U
- page = response.read()
% R2 ~$ P% m! J! l - print page # 打出来看看返回结果究竟是啥玩意
5 L0 }/ F5 e0 G( {8 S
互联网的工作原理是这样的：用户向网站发送请求，网站响应请求返回数据; J% B7 j2 [9 j# X. U3 c; m( q$ D
比如用浏览器看网页这样一个最简单的操作：
5 i: h3 L8 k I2 j输入一个网址按回车，浏览器就向那个网站发送请求；网站返回的网页数据被浏览器接住，经过解析、渲染呈现出来
' l0 S% l. K# V视频啥的也是一个道理，只不过这时候返回的是视频数据，不是网页数据
" S& X) r- N O l% l7 b这里用脚本发的请求，网站返回的数据自然也能用脚本接到
1 t$ F3 X w) x3 A3 O+ L0 h9 }: }+ ]. a- b. H1 n( U
网页数据拿到了，真正需要的那一小块数据在哪呢，这个可以查一下网页的源码，右键菜单->审查元素，如下图$ w- a$ a# b. I5 e0 z
) F6 J/ i; w$ E/ q7 u. x, g
' t) h8 G3 l* ~4 T+ v
可以看到那块数据就在这个大表里面- <table class="affix">...</table>
（这个库使用起来非常简单，文档也非常完善，有不明白的尽可以去这里查询。这里不再多说。
7 ^. a( m+ `3 k+ M# m# ?http://www.crummy.com/software/B ... 4/doc/index.zh.html）' \/ _% L( v( ~( M
. d2 y B! G2 Q4 h于是有下面的代码
+ D2 d9 z& |5 y0 r/ Y- soup = BeautifulSoup(page)5 D. T7 \- }# F' L
- tb = soup.find('table', {'class': 'affix'}) # 这样就把那个大表给抠出来了3 e: `; @# s! g" O8 r8 _
- # 然后再一层一层的剥
7 _) j. @7 y$ [ - if tb:* R. v0 S1 r3 S2 n! h- L
- rows = tb.findAll('tr') # 所有行
8 L! Y, K! Q! C9 l$ J1 V. T5 l0 } - for tr in rows:1 u: D9 V1 i" P
- tds = tr.findAll('td') # 每一行的所有列
0 h' l5 S1 y5 h& ?0 ? V - if tds:
1 r- m4 ?; _) U4 C- }" u( p( J - 。。。& o2 c& I$ b- g$ K! M0 d
博客类、或者外汇牌价，基金公司的每日净值之类的公告信息，都可以用类似的办法扒数据
# |( h+ C# F4 P$ m2 W5 _. r
8 C' @2 M$ o9 a三、再搞第二个网页3 ]/ ?. C C# q: A7 ]9 g7 v; @& i
这个稍微有点不同，它的工作原理是这样的
Z9 I/ ]' W) M/ a# n用户输入关键字，把下拉框和"start","anywhere","end"这两项选好，点击search按钮，
5 g. F: K5 A" Z9 N5 w这时候浏览器会向rootsearch.php这个页面发送请求，捎带着还要把用户刚才输入的这些数据给POST过去，. U3 M1 U2 B' T4 T3 r1 i9 Q9 H
rootsearch.php收到这些用户数据，才知道要干啥、吐出什么东西回来
6 x+ v: p1 b7 e页面url是已经知道的，那么这里的关键问题就是：浏览器究竟把什么数据给POST过去了呢？) p3 V: p M. r7 b: L, F
还是要查一下网页的源码，如下图
3 g5 `2 `+ G" b8 Y
' s# z) ]+ \' Q! Q Z" i1 t0 v9 u, n& |+ m' J
可以看到这是一个form，里面有这几个东西正好对应着文本框、下拉框、"start"……：+ }0 U; ^1 ]- b' ~. M
field、find、stype& n% r6 p7 Z: t5 }% B' D
还有个hidden的东西searching，不晓得是啥，不过没关系，它的value是固定的yes- a) F" b1 r' H. R# P
给计算机小白扫盲
. y7 u. I# m0 T3 @9 Y) R" R) Rform叫做提交表单，用来把用户输入的数据提交到网站后台处理
2 Y* a* ~$ G @. D$ ?0 Q: A) D文本框、下拉框、"start"……这些叫做网页控件
5 B' ^5 s1 Q. |) P& h3 W$ S9 A注意它们的两个属性：name和value，这两个东西都是要提交给后台的，这样网站才知道用户想干嘛
' q+ |! ?, z% t+ h
7 F, c7 a. S, |! O3 ~" @: _& p搞清楚以后，于是有下面的代码
* P+ p: n4 F$ [$ F5 t7 N' O+ v- values = {'field': 'root', 'find': 'ex','searching': 'yes', 'stype': 'anywhere'}
, D+ M* p1 m$ l" ?( P1 O7 f8 S - # 这里模仿用户查询ex这个词缀，输入‘ex’
, @5 o9 Y3 j0 G; X - # 扒数据自然是出来的越多越好，因此把下拉框选成root，单选按钮选到anywhere
. Y; b* ]- N/ E( v; | - # 实际上为了扒到所有的数据，我写了26个字母X26个字母的组合，anywhere/start/end各查一遍 }& P3 b9 T& L. X& B; c" t% u
- # 一共发了26X26X3次请求，比较暴力，这种丑陋的代码就不拿出来现了- o& }" ^8 ]8 Y2 l# G
- data = urllib.urlencode(values)% X# T- g+ j2 Z5 {* @! W5 Z
- print data # 看看变成了什么，是不是很眼熟？( R# f7 M; v! I5 K
- req = urllib2.Request(url, data)" }; O+ z: U9 p9 l
- page = urllib2.urlopen(req)
" d, z( m( x- X) |% {, [3 o! E3 M - print page # 打出来看看这回又是啥玩意0 y6 n7 _; p/ o8 e) |+ P2 _7 ~
注：: b5 G) Y8 e) ~2 q- j* i3 _ k% C* P
像这个网站这样每次检索后刷新整个页面的做法已经不多了，. Y# i8 u, I; h+ O
最近大量的网站使用ajax技术，网站不再返回整个html页面把整篇全部刷新% i5 O9 @& P8 \1 O
而是返回一小块html片段，只刷新页面的某一小块，比较环保
; T. M: u2 i) f, H$ C* y或者干脆只返回一大串数据，用网页的javascript解析、生成html，这种就比较头大，数据看着头晕
0 A, V$ K1 U3 X: T' L5 Q! d: _4 v9 T, x* Q6 F
第二个网页到此解说完毕。
3 B% f1 ?# L8 y网站登录类、论坛自动发帖类、订票类、考试报名类、抢沙发类……等等原理上都是这样实现的9 t) q4 f$ W; p5 h# C5 F
/ S3 R3 ^ Q* f. \4 b/ z% e' l
. j/ D0 O3 L6 j* \# S) l
看到这里你应该想明白了，为什么现在各个网站都要限制连接间隔、用图片验证码+ Q5 F) g3 ~8 g+ e+ C$ b
还有用短信发验证码的，有些还搞了数据加密、随机数什么的。。。不这么搞网站服务器就要沦陷了
' y6 Y' m3 J" G0 k! {所以上面的代码通常会遇到网站的各种阻挠，让你抓不到数据，需要你和网站斗智斗勇4 L* Y5 \; U+ u x5 _2 R) Y/ ^8 Z
像图片验证码这玩意最近已经都不太好使了，有人收集大量的验证码图片建特征数据库，一样能突破网站的防线* }8 t3 o' m9 V$ S" `" d
于是最近很多网站的图片验证码搞得极其扭曲，以至于本人用肉眼看半天都输错， Y& P" y$ ~( a$ B B, J9 _: ?. P
已经到了人类都无法识别的地步。这种网站估计是留着给外星人用的。" e* x {3 C& D# b/ }
' }: ]0 F3 N4 J/ |. D |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？免费注册
x
评分
-
2
查看全部评分
-
|
[复制链接]
发表于 2014-6-17 19:21:42
楼主
