|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑
: b8 X$ M% S, C5 d* c7 T& L
3 v' I4 |* I, P4 _ \这篇文章主要是给计算机小白和初学者扫盲。7 D: V* J( L* q1 s; | t
本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。5 A" D* I7 g D( m; _
只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。* _$ l" j, _7 {( g. \
( R6 F4 l# L d3 a; j% ^一、计算机的两个终极哲学问题7 c* L9 u0 n B! ? c7 G
1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。$ G" E$ t Z5 h- H) v8 ?/ x
图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:
" r2 R+ p; U2 R; e设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;6 R/ K$ Y/ ?! G( O# H8 z+ k
机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。& {. L- {% P7 ~% n5 p
方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。5 J% E! r* L) I1 V3 N
“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。
% T4 t, K, y9 l K1 K# }7 f
- f3 \4 M, @! i% f, D3 |) u" L那么要写出程序,立即就会发现不得不解决两个问题:( i7 Q$ H A5 h! u0 C, L+ z
1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。3 s) M# F/ W% \0 Z3 l5 b1 v S
2、怎么把两种方格区分开?也就是特征识别。5 Z% [0 f5 {% N* _* v
这两个问题,就是计算机的终极哲学问题。
( p' N: s2 s2 E& x9 N理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。
- Q( H" p& C. R3 ^6 J1 `下面的讲解也会以这两个问题为核心展开。
1 s$ B5 w o% a+ t6 [2 d: Y+ b" n0 Y! T9 D
BTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,
5 w/ i3 ]! L8 E: J8 w$ y; G——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。, I% z1 ]2 s# A) V
所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。 r9 j0 M7 e4 V s2 R; a! O; k6 B
前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,4 ?9 \2 R. W8 m/ N8 I
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。
5 ?+ |, L, q3 i+ W. |/ d具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。
( k) C0 m A( K4 c) W
6 n* r% a( s: ?4 k不要觉得自己上学时学的不是这个,or文科生,就不行。
$ ^. @2 R& [3 O; z+ }6 I江民杀毒软件大家想必都听说过。" {' X, M' N1 g6 k; g% C2 g- j
创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。
, w" I' i% z% s- A" g4 V' t2 m咱不奢望成为专家,写写程序总还是可以的吧?
1 _' T* c, q# k2 ], r
" C0 k# b* w% _" `' ?9 j( e二、采用何种编程语言
|* \. G! j7 C, n" Y5 `上面已经说过,存放、读取、组织、区分数据是编程的核心问题。
( l) S. ?# Z& B8 F/ {显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。
: R; P" c, q, [4 b- l- v* }抓网站,恐怕没有哪种语言比Python更方便。
. [1 T7 t. l" s/ ]( v: y! S当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,
' @( R- m- r- E x计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,
9 L9 U2 M/ {, u: J& M2 Y没有慧根就别吃这碗饭。
`: X% Z' s$ Y+ P! b1 i9 _
3 m; n5 h) t4 ~, ?# h; O三、网站抓取技术$ F X- j4 B: V A- o# Q
1、下载某一个网页,提取其内容1 b0 L9 r; T# e: [# G$ s( M
以前写过一篇,就不重复了。参考:
H" F" h4 V& R$ r用一个简单的例子讲讲怎样从网站上扒数据, N$ s& M- B# I, l/ r# V; {
6 Z2 J$ ~% j; e+ \
2、寻址问题, e! Z7 D+ t q- I) c
下载网页,自然首先要知道网址,也就是东西放在哪儿。% w" _6 |- n" L0 J% b% W
如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。
6 {4 N* A! Q( n7 Z0 \/ R* J5 L但是大部分在线词典,到底收了多少单词,事先是完全不知道的,, \2 c! J$ `0 {3 m3 u
要把单词弄全,就要想办法得到每个单词的网址。
. p2 a5 [: B7 R3 o) B( i) D. u% ~总结各主流词典网站,大概可以分为这么几类:- u0 n. i% C$ Y! ~6 c# I1 n7 E
I. 事先有单词总表
# `# W8 z7 j9 J% x. _: Q比如http://www.vocabulary.com就是这种类型。
- W, T, P: z6 k# a9 i- ~它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。
, O5 y$ v& P5 i" a1 `& g* B
! E2 l, f/ v% U! nII. 网站有索引页面9 ^. Q/ G9 X* R# B
如: F9 q6 y& X: f8 h1 I
OALD(http://www.oxfordlearnersdictionaries.com/)5 f; L2 B- U F% ?9 }% [) J2 |
它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/) D$ B/ u6 i% s3 |' D
LDOCE(http://global.longmandictionaries.com/)
I {4 [ m: ^$ u; I采用框架结构,左侧边栏就是索引页9 O a' I4 J% T; Q2 l3 E
MWC(http://www.merriam-webster.com)
4 _& f( S, X& ^7 c$ q1 C8 X索引页在 http://www.merriam-webster.com/browse/dictionary/* C( r7 H- {* v6 N9 ]1 ?9 S
等等
( w7 I8 b3 Z8 c [0 v这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。
: H, R6 W7 Z* O) [: U
3 p0 T$ W% y6 p% a- urls = []
2 \ c, h- r. L& x. e/ D, A - for someindex in indexs: # 循环所有索引页
; _/ ^( i& G) W( _ - browseurl = ''.join(['http://somewebsite.com/', someindex])4 Z" Q4 N5 y8 H# N" S# {
- browsepage = getpage(browseurl) # 下载索引页面& m+ K% ?3 i8 }7 h4 J$ a
- target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域
0 T. X4 u) n# h$ e0 k8 a - bs = BeautifulSoup(browsepage, parse_only=target)4 R" W" v5 ^* ^3 \
- if bs:5 L5 ?- s; c; g9 p2 y* |7 M
- for a in bs.find_all('a'):7 B$ X; w# |; f, |8 m
- urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接+ h+ ~* p( v5 }+ r; j5 Z# p
- 然后:
. a1 G" Y7 w& ]! B# v, b) p1 l: _6 } - for url in urls: # 循环所有单词
: R: B) w- M, G" B - wordpage = getpage(url) # 下载单词页面$ k) P: x' g* e/ ~: }' L. w
复制代码 6 ~9 b$ ~6 j7 j4 _+ u2 ^9 Y
$ G4 g$ G* v' {) X: W( e# b: e4 D
III. 索引页和单词释义一体型网站5 S( }: P2 v% e8 {/ X; t
如:Online Etymology(http://www.etymonline.com/). R' o4 A6 z' T3 l7 D& W
和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可& u5 o, K$ U: P
* r, }+ }) v0 I8 n2 Z% x- for someindex in indexs: # 循环所有索引页% A6 E5 Q" K- n( E- O* n& \% m. P3 U
- browseurl = ''.join(['http://somewebsite.com/', someindex])
6 t4 b0 H5 e" [! p - page = getpage(browseurl) # 下载页面
5 F% a8 o9 E& U4 E7 m, I' Q - target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域
4 ^7 Q2 t! m- v% u. V - bs = BeautifulSoup(page, parse_only=target)5 K) J0 G+ L, Z; p
- for tag in bs.find_all(target): # 循环抠出单词
1 v4 K& Z* B D6 P7 R- }3 r! m - worddefine = getworddefine(tag)
, q6 u1 x3 N* Q* r7 H$ P# k: j7 `
复制代码 4 c3 d9 Q: U4 O h; e
. Y6 h, Y0 z- o* o$ C- f
IV. 片断索引型网站/ W; u0 m2 J2 z- c# g
如:
* E! k6 L% z. d/ G7 iODE(http://www.oxforddictionaries.com/)* [0 F) h& j+ D9 i. y3 ?
每查一个单词,右侧边栏有个Nearby words
* K3 N8 k- r6 IRHD(http://dictionary.reference.com/)
y& W/ K1 a3 B( l$ Y右侧边栏有Nearby words( P5 i, O# Q; Z5 i* s% E o
CALD(http://dictionary.cambridge.org/): |. [- R) @/ A
在页面的最下面有个Browse栏,给出前后相邻的单词
+ f5 h+ `* P! G; p. c2 |1 l这类网站没有总索引,只好利用它的Nearby栏。
! N5 v" ?4 Q3 w! B思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,
8 ] x8 X$ `$ U0 P* M每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)% R; G! {# E; q) ]) a: g3 m P1 ^7 ~
D* b6 L0 o% l7 r# q- cur = 'a'$ M6 i* |$ { Y. {) E
- end = 'z'9 Y* a, e. O; s$ }
- nexturl = ''.join(['http://somewebsite.com/', cur])' |! H) b, v; K2 j, j8 j* C
- while cur!=end and nexturl:3 Y- r3 l3 Y& ]/ G$ e& x I) d
- page = getpage(nexturl) # 下载单词页面$ j) D. f6 ], h& O4 m: ]
- worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接
! L( a5 \. _: |" Q2 ?4 q8 b
复制代码 ' a1 x. z0 w6 z
: [& I8 J" y7 e: Q& \! ]# @- @4 H
V. 完全没有任何索引,那就没法子了' n! k1 v" v1 K" r
当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理
& H' K6 s. k4 O" f" _! x理论上也是可以的,就是效率差一点;
* g& p- V* o" |8 |另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。
7 L, e' o8 h! m) C
) i7 F3 }, C6 ]/ @2 s, {6 e3、提高下载效率% B! f" }* O: Z: V+ J
I. 多进程
4 \6 `/ Z1 V' e3 n+ n上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。7 P. U$ s6 K2 g. h! T
实际抓网站时,这么做效率显然是非常低的。
6 V6 J* K& W2 ~" Y- b$ h# N假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天," v5 P" P. A. |/ E# J# e
有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。$ {2 s G0 h5 F% a' ?
假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?; T$ e+ T% e$ J. ]- ?
要速战速决,就得开多进程。
% ] y/ z, K, t! I3 m同样十万个单词,分成25个进程下,也就是28/25=1个多小时。
. w$ s8 q1 b. ]2 }再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。0 O1 m) C8 ?* n# l
在Python里开多进程,同样十分简单,& x, ~* X, B' u% `- l
- $ M% l. x' S" e, r" h
- from multiprocessing import Pool
5 N3 ^+ r3 i. e - pool = Pool(25) # 开25个进程
* M$ h! J5 b' D9 U8 n# y, M$ N, { - pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数- ~) K0 y9 v# v
复制代码 ; G0 m1 I7 ^' ]8 u; X' L
这就搞定了。8 ~8 O2 _8 J+ z
( y) `+ J# C- Z( P: ]8 y
对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份," { |/ a6 l4 R/ U$ T6 \
关于IV.,事先没有单词总表,就只好采用区间的概念,1 G) F* l* \% x
比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载7 S3 _9 t4 z* d& I
9 \* L/ Q$ B# b. p7 J+ S
初学编程的人,一碰到进程、线程,常常有种畏惧感,
7 i7 t: s3 ?1 o& M2 C6 f! W看到同步锁、共享内存、信号量什么的顿时觉得头大。5 m: X# A. L- i4 ~" D i
其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的,
q/ j) y6 N9 k' n2 ~其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。
6 @' _2 O+ {' L9 j+ Q* A9 |9 f
& a2 w p4 c: V4 @" EII. 断点续传4 \! u- ]( T: i& q
事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。
4 B4 k1 E1 e6 u8 s0 L所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;$ R0 e1 n0 t/ ^- [0 h! r/ J& @# M
即便无法自行恢复,也得容易手工处理,不然可有的烦了。
+ q# z. i3 c, ]这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下,4 ~( j/ n- W; N& r- Z b
直到所有区块下完。, S( m( D) Z. L- i% D& f
- 0 n r; h. t7 r9 y* a3 S
- def fetch_a_word(part, word, url, data): # 下载一个单词
\, v6 e0 X! l; E% U7 _) } - word_define, failed = get_a_word_from_website(word, url)" I. ^9 z- f- `9 w0 j7 D9 r/ ~$ w
- if failed:
8 e) @# X) W- R6 i4 J7 w! V; G: v( ^3 ]% E - dump_failed_word(part) # 输出下载失败的单词及网址" ]5 N( Q5 d' @$ {: z5 N! J4 m9 v
- return False
; T3 |% Q2 l3 n1 j5 G# a - else:
6 a/ y8 L1 w6 j: w - data.append(word_define) # 保存下载成功的单词数据
' w5 j. l- h: G( _/ M - return True. R2 _, Y/ Q+ l5 r b9 x
8 ~1 ^. b; h( w( f- def download(part): # 下载一个区块
" S D. h: Z+ }; X4 D; ?7 e$ b - words = getwordlist(part) # 读取单词总表3 g @, l# X+ Y" g! i
- if hasfailed(part):
3 b2 }0 y9 K6 y5 z - word, url = read_failed_word(part) # 读取前次下载失败的单词及网址5 ~9 S3 N" ]) O, p& D& e( e
- else:
1 F, z g3 N7 O( q- X - word, url = words[0] # 首次从头下载
# X! E) ?# o A$ D - data = [] # 用来存放单词定义
7 D. [9 g8 @8 j$ p0 `* R - while not_end(words): # 循环下载
( h9 e! y9 e! n- a# P; Q - if not fetch_a_word(part, word, url, data):) _) T. }* D! n* q8 J
- failed = True7 I' ~7 f1 n4 a4 ~
- break9 N/ E; E6 p5 V6 F
- else:/ C7 \& I' q p, y9 S
- word, url = get_next_word(words) # 准备下一个单词及其网址
! e! K& c7 b7 }; E& U - if failed: b) p% g4 A( e7 k" @. f
- suffix = '.part', z& r! Y- V+ C2 g5 {' r$ q
- dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'
" W' {# x1 p3 z R- X) F - . I9 p+ f' y6 s) a* F
- def isfinished(part) : # 判断某区块是否下载完成- w7 _& o# O7 b0 [( F: K l8 U
- if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断
: }+ o' F1 m( |* @ - return True/ T0 G" G6 f5 _( e6 a- Q3 N
- else:
& \- g6 w2 D( T1 t2 _# ? - return False4 q0 ]. m% N/ l c2 V
- # w( ]2 ^5 n6 K6 _( h. t
- def downloadloop(): # 循环检测未下完的区块
) d6 Z7 P4 D: V2 W' g - finished = 01 L* O# i* `: q* ^/ C! A
- while not finished:; D/ \+ G4 N2 v8 |
- nf = [] # 没下完的区块: d* u" P% Y' l$ E6 _
- for part in parts:$ P- B& V: Q8 `: E8 U6 Q; D9 A4 S+ h
- if not isfinished(part):' p7 e; w( ?: K- n
- nf.append(part)+ h& J3 S7 X: x
- finished = not nf6 ?1 a8 V* O6 L2 J& [. m; p
- for part in nf:4 W/ S7 z) r4 ^# Y+ ?# u' W
- download(part)! P7 r$ [- ]& s& `( m9 j$ v1 V5 I
复制代码 - y: L2 S0 W' j3 ^0 M
0 x5 h8 [. S, N4 l
III. 高速下载网页的小技巧
% F$ J$ K# }- V, C$ y! u3 v yPython里面有三个库都可以用来下载网页:urllib2、urllib3和requests。2 l/ _/ m- d4 B) H& \) @
其中urllib2是Python原生的,urllib3和requests为第三方库。
3 u4 v q- ?) |0 b3 Z4 t5 t" w(似乎Python3已经把urllib3收编为正规军了)
( j! C7 e. {$ Q9 d/ D这三个库有什么区别呢?& G' ?3 X6 b2 j' E h8 w
形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。7 M6 N- ^ Q4 L1 x
再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,8 v! O; e& ]% J+ A' O- e* l! g
所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。
# n4 m: m9 R" p: I" C但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。4 T# A. k& @; J
这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,# ?2 A3 J) X8 u; }: y" s- z
通吃一切网站。! N! I( j! K, p: M, i/ H* n8 S
所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。* `# Q8 ~5 Y0 D! U
这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:
) {2 z: U% p( W) k/ o4 u' ~. jhttp://urllib3.readthedocs.org/en/latest/
, m9 e6 j4 R; t x4 y4 a! bhttp://docs.python-requests.org/en/latest/:3 u" V& m* v6 r8 _4 y: `
6 }$ G9 ^9 O5 h0 D G* y- #urllib2" X5 I. L, }- W9 p& k
- import urllib2& E ~3 S2 z3 h& f8 Q
- def getpage(url):
$ @0 Q. w* x! \. ]! l - req = urllib2.Request(url)
" o! b* h7 w3 p* q0 |/ { - response = urllib2.urlopen(req)
+ e7 V' E& N( i - page = response.read()7 I, _# D/ }3 y
# W4 O2 M n$ ?* }5 k" y( C. W$ O- #urllib3
! Y; w! O: a0 n% p" h - from urllib3 import PoolManager' l, q9 O% r' m# ~8 K
- http = PoolManager()
" W9 T1 C6 B t% ], d - def getpage(http, url):6 q. D4 l2 ? u, P
- r = http.request('GET', url)# c B" K: }2 L: {5 J6 \2 S
- if r.status == 200:- R( l9 {) U, X1 o: ]5 K
- return r.data
. C8 @0 }5 o& j9 Z! C - else:
* ~+ D) L" c, z' h - return None" a) r3 p% r Q0 ~
K5 d6 h# q, V+ S( \9 T' ^9 q* D: Q- #requests
8 X5 U g/ }9 D; o* z8 O - import requests
% e" a8 N4 R' w+ z! i - session = requests.Session()
0 z! H/ T) v6 W& b. `8 V0 j - def getpage(session, url):
! Q1 P/ E! }5 d; F0 l8 w6 Q - r = session.get(url, timeout=10)
$ b& h% j- j6 G' A9 G6 V d - if r.status == 200:
0 S q g7 v: h - return r.content `* c% d$ h; L% Y. ?- w1 b2 q0 j
- else:
9 N. i2 ~* g$ U - return None
5 e5 M# C2 l) S. g
复制代码
2 Z% w2 R+ e+ v. c" A9 i% e# o四、后期制作
# N0 R* r% V1 y/ i! t% W1、文本处理,是个特征识别问题。
. @5 \0 t1 z4 s6 x/ k* \本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。
3 S& U+ @1 T- @( v- U- y当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。) H! I6 H" u) h6 C$ E. ]
都涉及到特征识别问题。
# Z+ z, `: ~# d3 M0 a1 v+ t9 i相比这些高难度动作,文本处理算是比较简单、基础。
6 A6 r5 n# j: O0 F- HPython里常用的文本处理技术:正则表达式、BeatifulSoup、lxml
3 U, w8 \' Y3 q) M/ g8 G- d正则表达式非常强大,但没法处理递归嵌套的标签型数据
5 B( b- u/ s+ w! D: ?(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);; ]. U0 _) \6 v4 ^
BeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。9 _& f5 Y! Y. b
所以常常要结合使用。
, ^( T8 m' d$ \" D4 D这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。/ h9 i" ~# r+ y! W& S' R
) N' @( |+ g) A8 m$ a% ^* t2、排版
- U* x" k9 Z* Q! |% ?5 bHTML、CSS的基础知识:. u( ^3 F9 [8 A# `# x
http://www.w3school.com.cn/html/index.asp$ u* h8 U& R7 q* Q$ T- k8 k
http://www.w3school.com.cn/css/index.asp
* A* F" g7 O$ n3 Dhttp://www.w3school.com.cn/css3/index.asp, ]2 k- q3 z5 L6 j* k* i0 m
非常系统、非常全面。
9 r# Y6 k$ t2 y7 S/ |排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。8 c& ?9 \; h: _2 F3 n, i J
% {& b/ u: o: k: E, c6 I1 }
五、结语
$ z: \# u. W9 \7 c( A q花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。
9 s9 D L/ ]7 ]7 S6 d+ u7 \/ f/ P所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——
9 l& q* R; ^/ h) d0 y6 S( Y大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。1 }( N8 { f1 m8 z# a
! j7 B/ v, y: W; ]打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。
& {( e* ?8 x& z. i1 t5 c- Y$ a. m: J9 F! L: J$ x
只是拜托不要打扰别人,真想要就自己动手。0 {6 d# h, N5 h# f9 W: q% L& ^
尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。# Q, _5 s0 d( b4 `- k0 d
水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。+ A. c# t3 C |. Q
虽然每个人都觉得自己至高无上,应当受到别人重视,
" r9 |6 h( Y a( a其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰
: @* \$ P" D0 a( Z# e% F" n3 e' @, E/ x! E1 ^7 i$ n& t8 Y
! V: ]( @) z/ G; J3 [
========
' w$ r, T, `6 R( B: Z# j六、拾遗. V( a0 k# W, b2 u1 I" x+ o( y
关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类
) |1 ]) R% X( T4 [/ M# _9 X确实如此. ]; F3 d1 w1 _0 }
不过这里只是举例而已,不用太较真啦 : @5 k* }3 y6 w& d/ R
实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏
0 b0 @/ u4 }+ c9 @' j2 f这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。' @2 @ X- s# U- |) \# q% U, u/ A1 v
即,
K& P2 j7 e: v第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)4 y# t! N# Z8 R% i, {. K: t. P
第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)0 v5 w X' u- X" b( H8 N X7 ?
第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作( L6 z" z+ ^% }& M: x
。。。
5 |" o8 @% {1 t9 \: ]* ]/ e2 E1 ~直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空), R1 r* r7 }+ Y8 T
最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。 k" R1 _( C/ S- w
形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。* ^ Y, }% f( P! a; a8 b. z
因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。" k& @( O) W1 d! i5 w( v
|
评分
-
4
查看全部评分
-
|