|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑 1 P0 R7 Q0 G! r* A
: C; C7 d% w; `: Y1 z这篇文章主要是给计算机小白和初学者扫盲。& \3 ?0 a3 m4 I y1 X) ^' Y
本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。6 l& C9 [3 ~$ f9 h7 e& H8 ~; }
只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。
" f2 v- I3 o' r$ E; f, q, G/ `* X# z1 z) k: m7 h/ E' j K
一、计算机的两个终极哲学问题
$ j; P" H {# {; Y1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。1 o' m5 P+ f- m8 n7 f
图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:9 X0 K: O4 t4 s% Q& j# V2 X
设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;* M$ m) r4 J# o+ }7 @
机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。
/ f j$ `2 z1 [2 h5 \. _0 l方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。8 n8 K4 Q4 K8 f6 N- S3 Z% V
“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。
, ` ~+ e1 L$ Q( n2 M% E3 N' W1 M) G
那么要写出程序,立即就会发现不得不解决两个问题:
. U/ p7 ^9 Z7 M' E" D( d" Z1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。8 P' c5 r; C9 L+ ]. f: T( G
2、怎么把两种方格区分开?也就是特征识别。' x" B+ G- H. ]! ~5 Z) Q! C, U( j
这两个问题,就是计算机的终极哲学问题。- m9 B0 I7 e- h6 X7 H) a
理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。
0 l+ u1 U/ L( @( T6 U2 X6 @下面的讲解也会以这两个问题为核心展开。# c. Z: L& q( I/ g0 s; x
9 {0 }7 [$ V9 s9 \: Y0 }
BTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,# x1 M+ C8 ~! D. r3 E: Q" w
——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。
% x. L4 r+ g# m3 J( C) t. I所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。$ m" a H6 @* r7 [8 n5 l
前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,/ U$ _% S+ c- e( [( Q7 O) x5 P4 a
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。$ ]% S. o' ~, J* H1 w- V* F" D
具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。
5 }. h( p% o, p5 f1 C# l$ g
3 j. g) _# ~9 \, h# R0 V不要觉得自己上学时学的不是这个,or文科生,就不行。
2 \) @0 u7 L# Q) g% a江民杀毒软件大家想必都听说过。0 \+ ]5 ~7 Z# T' p7 F
创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。. f3 y' x& D8 |2 E( w6 E x
咱不奢望成为专家,写写程序总还是可以的吧?7 c2 _$ c* Z; ? H+ C" h; a
[+ C- ~3 B, C0 p9 M1 g' t
二、采用何种编程语言# n* r+ x- Q, `# l9 b8 H- S
上面已经说过,存放、读取、组织、区分数据是编程的核心问题。
- @: @) p( m: @/ u% j, p" [+ W显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。" z7 _+ f9 L* n; h" s1 P
抓网站,恐怕没有哪种语言比Python更方便。
3 t5 G' |; g- M4 P- r当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,
F! j: Z3 g0 D9 n- z9 x# \& `* ?计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,1 u/ y3 m: |% S6 @
没有慧根就别吃这碗饭。6 c' V* Z2 G& ?- ~. m
8 ^$ C9 N7 R0 {7 Z; R) N" |
三、网站抓取技术
0 G* I6 d3 B/ a% y5 b* S1、下载某一个网页,提取其内容
7 _2 Z2 O- S! A5 U以前写过一篇,就不重复了。参考:+ q6 I/ B! ], U! n$ O4 [* ?
用一个简单的例子讲讲怎样从网站上扒数据
/ Y/ c5 D7 I% \: n b
1 x9 _. x, D0 u" e- K2、寻址问题0 E. y. K& F$ Z N l( e
下载网页,自然首先要知道网址,也就是东西放在哪儿。
( Z# q& l/ x. q7 V- _( D' }6 B ]如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。( x8 o( n: \' \# m3 \; R
但是大部分在线词典,到底收了多少单词,事先是完全不知道的,
. v& N7 I9 t* D1 T要把单词弄全,就要想办法得到每个单词的网址。
* z6 R" a* y" E9 v2 ^7 p总结各主流词典网站,大概可以分为这么几类:
4 D& o: N6 @; {4 M0 c* k, I# ` JI. 事先有单词总表* p+ E0 ?. ?' N, n
比如http://www.vocabulary.com就是这种类型。2 ~3 y/ h D. z5 D) d( l
它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。
6 k" g& I+ f' `5 k/ |
% {0 _7 S' r3 {, q& PII. 网站有索引页面- p1 Q. M5 h+ R+ q) _ b I
如:" H8 O5 Q n) k& ]" @8 _" a
OALD(http://www.oxfordlearnersdictionaries.com/). H9 S8 a! h) c V, Z3 c- i5 E
它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/
6 n* z- I; ~! _* ~; qLDOCE(http://global.longmandictionaries.com/)
+ T) t6 D1 m$ J: s' e* o! [9 [. P采用框架结构,左侧边栏就是索引页5 P, v) w$ \; J. a& @! K% v" ^. m, K
MWC(http://www.merriam-webster.com)
; N2 f* D/ e% N7 ^* z. N! Z2 i索引页在 http://www.merriam-webster.com/browse/dictionary/* \( N; k" N6 Z
等等/ ?, w* a, i K# q8 m' w% K
这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。
2 n6 [5 `2 m" x' S
( d& F8 A( q7 T( M- urls = []
; W+ v* k8 k7 F+ @8 ~& E& } - for someindex in indexs: # 循环所有索引页
. \* h& A% _# C) n u) v$ I, } - browseurl = ''.join(['http://somewebsite.com/', someindex])
0 d- Y; B3 g: K+ c - browsepage = getpage(browseurl) # 下载索引页面6 Y9 M/ U1 o! W5 e; ^5 b+ f% ]# Y8 H
- target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域: L# h2 m" k( w7 I0 n1 j1 x
- bs = BeautifulSoup(browsepage, parse_only=target)
" E ?4 [3 f) r6 D" } - if bs:' R6 n1 H, G2 T3 a" P2 O
- for a in bs.find_all('a'):
# E9 d; y5 G1 i - urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接% Z# k9 Y9 w3 S2 ]
- 然后:
1 B8 t: K( T# |# v E# _5 r - for url in urls: # 循环所有单词' J$ s: J4 J( c: f P/ ?
- wordpage = getpage(url) # 下载单词页面
" R( u6 c& U: N. U
复制代码
6 k2 O0 E, v. a! c5 f# @. e
1 w- [1 J% w/ t0 |$ A2 H3 U% ^III. 索引页和单词释义一体型网站
- w7 ?3 z/ f& |1 }. d ?( r1 }如:Online Etymology(http://www.etymonline.com/)
8 u( c$ u2 v' b! I和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可
/ o, B) M- ^6 @$ Q0 b `$ x) U
" k* A" P$ |$ g1 ]- for someindex in indexs: # 循环所有索引页0 ~9 R i2 [0 h j% N
- browseurl = ''.join(['http://somewebsite.com/', someindex])) j6 W- e) ^( |, o$ V) i
- page = getpage(browseurl) # 下载页面
3 y& O( b, P- n8 o; G9 Y- C - target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域* n7 q: d5 b4 d
- bs = BeautifulSoup(page, parse_only=target)
G3 R) e/ f* K - for tag in bs.find_all(target): # 循环抠出单词- M) e2 p6 }! P% d
- worddefine = getworddefine(tag)
7 K# Y3 m7 j4 k
复制代码 5 \1 H# o8 L" s$ |1 Z
* s) Q8 b# A& c% k) AIV. 片断索引型网站0 |( e8 f8 D+ j1 I) h
如:
2 n' T& c/ S( t. \/ `1 \# mODE(http://www.oxforddictionaries.com/)
# l% s3 m3 \. i' j每查一个单词,右侧边栏有个Nearby words; q. G. \4 V9 Z( M: W
RHD(http://dictionary.reference.com/)
5 E L& D9 a) l9 O7 Y: @ h右侧边栏有Nearby words$ C& _8 m# w/ A X
CALD(http://dictionary.cambridge.org/)
3 e; i. _! ~7 p8 X1 B7 l在页面的最下面有个Browse栏,给出前后相邻的单词
9 j: `. |; G& j+ S( x这类网站没有总索引,只好利用它的Nearby栏。
+ v% B7 W& S" s+ X2 `思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,2 `; ]+ m( {1 ^# ~. C7 o3 p8 |; E/ M
每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)
6 L+ b1 I, L" k) H& n& e" r- ) n$ W& s( ~ Q# F' m, K
- cur = 'a'
, P% B' d) C: ]1 }0 S - end = 'z'
/ j/ C; G6 C* K' c' s - nexturl = ''.join(['http://somewebsite.com/', cur])
- O( D8 ]' w1 t3 y' g: n/ P1 L - while cur!=end and nexturl:
; W9 _, j' _% }6 i - page = getpage(nexturl) # 下载单词页面, K5 @6 H0 O9 r1 X7 R) h
- worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接5 g: M. d. [0 f5 @! Z/ q7 W
复制代码 " _$ B0 R& a: [9 K4 y( o$ S
% h& M0 H- K. @; |4 ?) HV. 完全没有任何索引,那就没法子了
2 ?' n( C2 Z0 W4 x3 z当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理) `( Z$ l# s& h' i4 U4 A2 z
理论上也是可以的,就是效率差一点; l0 n" ]% X5 h/ Z# S: l
另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。# }& ~! W8 o- g# f& q" F
+ n9 t; H2 S1 s5 Y( R* p& G
3、提高下载效率1 } D0 [) o: O6 ~/ r( _
I. 多进程
, Q4 j: t0 d! R* r- M: n上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。' `- U: T) J! a/ Q" o" b( D" F
实际抓网站时,这么做效率显然是非常低的。- L3 i6 @8 n8 H; C
假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天,
! h7 z1 ~/ S/ E有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。1 D. F3 n* a/ B9 M
假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?6 f9 ]# W7 w* R1 J- @: H1 r# _3 O* \6 y
要速战速决,就得开多进程。6 F7 _. p+ C, W
同样十万个单词,分成25个进程下,也就是28/25=1个多小时。
1 P7 \% }( W+ W& |4 p7 x! Q再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。
$ j1 l. G @ ^* U% p9 @在Python里开多进程,同样十分简单,
& P- R( Z" [. C2 j* g# O4 J
- M+ \ m* N2 D- from multiprocessing import Pool
p" X% v: ]$ s" U( z J! z - pool = Pool(25) # 开25个进程
. H: Q2 {; n5 C: Y" D2 ^" u - pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数9 R6 e: u& P( V- e; V' @
复制代码
$ R2 ^$ L( c' V/ \" p. {/ \/ j这就搞定了。% T( g0 s" Y% R" X/ I
( @5 @4 R' g& G7 R
对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份,
; u) O' b3 x( Y6 E/ q2 M! {2 [关于IV.,事先没有单词总表,就只好采用区间的概念,
+ z. }' W* B. y5 _比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载
: n6 S6 k; R$ }% L) G4 f+ D$ z# D f6 J/ i& s
初学编程的人,一碰到进程、线程,常常有种畏惧感,
- L* \1 |: f) ?看到同步锁、共享内存、信号量什么的顿时觉得头大。
! D5 m& q, U( s- u其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的,
% ? S/ G, T' |+ d其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。# B7 p B1 J" b, e* K4 }, x% l& d9 E
7 U7 @, R2 }2 q/ r) uII. 断点续传
4 C4 P# D7 u6 ^( w" Q0 Y& T事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。- ^& c! W' b4 g; p8 f
所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;
3 G1 t0 R2 ?: ^ h" `: K/ [即便无法自行恢复,也得容易手工处理,不然可有的烦了。
' B+ [) Y! }8 H; n& {这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下," ]$ ~' `- e& S" z- y7 a5 b, Q- f
直到所有区块下完。$ y# j/ t) ^( M
- $ J7 t0 t5 } V: I
- def fetch_a_word(part, word, url, data): # 下载一个单词
9 k! W" B6 D( L5 k - word_define, failed = get_a_word_from_website(word, url)
+ s/ `, {$ F% N; F7 n - if failed:/ ]; l0 u: \ V! R* g( I# W: t
- dump_failed_word(part) # 输出下载失败的单词及网址
3 L; L. i, a# |- m, ^; P; R - return False0 O5 Z( ^2 B! B* y
- else:
/ K" {9 v1 w9 G$ e, O7 Q - data.append(word_define) # 保存下载成功的单词数据7 T) a( c6 w, H
- return True
3 U& n! X0 z/ s6 g3 W' C" @: l
" k# e; F8 K, k4 @+ v) E0 [% @) n9 ?- def download(part): # 下载一个区块
( I# {7 c: b) |- m _ - words = getwordlist(part) # 读取单词总表. Q$ g+ k. p* \$ P
- if hasfailed(part):* B- h( b1 M8 O
- word, url = read_failed_word(part) # 读取前次下载失败的单词及网址
% V* F* u/ [7 q m5 E/ n8 z, P - else:$ \5 } P0 a, u! A2 j
- word, url = words[0] # 首次从头下载' r u' K" M' b9 ?5 o
- data = [] # 用来存放单词定义
4 }8 D( a3 E* m7 x- Y - while not_end(words): # 循环下载9 ~+ E* n+ _: v- r! C9 x5 h
- if not fetch_a_word(part, word, url, data):
' x! j/ s$ \, ~: P - failed = True
4 g. f7 e0 a( M A9 \- p - break
/ L) q% i: \; B" A& x1 o! k8 I - else:
8 x' k7 ] V R' d* j. J - word, url = get_next_word(words) # 准备下一个单词及其网址
( K D! {) O2 ^. G% n+ S - if failed:1 M5 c/ J3 ~/ {7 a
- suffix = '.part'
3 }- t# `( W" f- e3 R0 r - dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'
9 |0 l, Z I1 d' r. p; l6 }
3 Q+ h; ]3 S4 m' w x4 D- def isfinished(part) : # 判断某区块是否下载完成; d+ q9 t7 c K2 \7 n3 _7 m& z: d
- if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断
% a% E1 M7 |6 F$ T2 ]9 ~' t9 B - return True
/ Y1 C7 q! t, `+ F - else:
! L$ ^ u) e& ` - return False' {. i! f% L4 t
" ~% S" a% d+ s* h9 |- def downloadloop(): # 循环检测未下完的区块
& t; S" Y7 s Z! [' n - finished = 0
) G w. w. U: V% K" R" b - while not finished:+ R5 h# E; G- O, [
- nf = [] # 没下完的区块
) w, X* a0 A/ V+ c) b - for part in parts:
) _% c. C' }# x$ M4 F - if not isfinished(part):
' H, ~3 F9 r, b6 N6 z1 }( { - nf.append(part)
6 X8 U6 R. J4 u; }/ \ - finished = not nf
. @! v5 g9 R: B) p) m+ Z - for part in nf:% R. C/ p8 q1 c/ D; K9 `+ O
- download(part)
+ N; f9 R( P7 _1 X& Q$ p; `! m
复制代码
; m* J$ R: E# a, ^. X5 d% T! i* y. U! G% L+ o, u7 m; M7 ^1 g
III. 高速下载网页的小技巧
: _+ G. l# |4 p1 }Python里面有三个库都可以用来下载网页:urllib2、urllib3和requests。
* T P& \9 t3 T) F7 H' Z5 s其中urllib2是Python原生的,urllib3和requests为第三方库。+ J* E% ?6 ]' V; U& M( t
(似乎Python3已经把urllib3收编为正规军了)" {+ b1 q# v; _, b
这三个库有什么区别呢?! \6 s* _! Y" G
形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。4 X: s+ E4 a7 P
再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,
5 _9 k4 ~5 r2 T: d, F1 ?$ X H所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。
/ s! [: b3 _! v# a2 }但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。* ~4 V$ F( s: z2 f* d
这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,( n4 j& w1 C% k: t$ j
通吃一切网站。
- ^, e# p K" G' x2 {所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。
) t4 n- V* A, n6 d) n5 r- d h这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:
" P. t; B, j% D2 F. w7 \http://urllib3.readthedocs.org/en/latest/
4 }# L4 J W1 n5 Yhttp://docs.python-requests.org/en/latest/:: q+ U+ C. ]2 b+ C w& b9 W
- 8 ^7 g! D" s( |( w1 q
- #urllib21 Z U! G6 w0 h* S- a
- import urllib2
; i) g! f9 K; g% a* g, @; I - def getpage(url):: r% n' n9 ?( j w/ O/ {
- req = urllib2.Request(url)5 @6 r7 z9 E3 B4 \
- response = urllib2.urlopen(req)
* {; {5 N+ a/ {* B - page = response.read()
2 S0 V7 i+ q0 m9 p" E2 D) }
' w' y, s' U8 Z3 \) `1 N S0 K, |- #urllib3' s, I. I/ |3 r9 B: A1 E) j& @
- from urllib3 import PoolManager
$ p. X* i ]9 K+ k# t9 q3 w* I. w - http = PoolManager()
3 o; H3 E8 G* G7 j - def getpage(http, url):
+ q( X3 I* h4 c& C1 C; c - r = http.request('GET', url); n/ ^$ `2 D3 g$ z- g
- if r.status == 200:
; B2 o( O9 `) j% T/ ?9 z - return r.data+ Y$ n* `! k( v; q2 ~
- else:
- n5 p5 V7 X0 r - return None
/ F: G2 D7 A% n- { - 1 O' E2 D7 L# N4 y0 p- R
- #requests
# s6 Q( \ q1 H: z - import requests
: ?2 S5 Q' N+ u* G: `4 q: a: i - session = requests.Session() Z3 f( m8 Z9 F" E
- def getpage(session, url):
3 k2 O6 }2 l) y2 i6 r - r = session.get(url, timeout=10): V% ]6 [: A$ P5 b' `
- if r.status == 200:8 |5 o# q* h2 o# s! ^: o
- return r.content
- L* |/ e1 t! x1 j9 X - else:' g+ ]$ y4 d: i' d* q
- return None0 J5 y3 C0 v+ {8 o( L( L4 d% E
复制代码
) |1 C8 }) J4 }" M+ N w& q四、后期制作
, ], R s# `& R L1、文本处理,是个特征识别问题。
( \* U" v8 C3 ?. a2 M9 y0 P/ A本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。
, s" _7 D' H, Q8 g当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。)
& L9 E# C% p6 u* V2 P) u: W" L都涉及到特征识别问题。; B3 ^; ` C( d a+ E1 S1 w
相比这些高难度动作,文本处理算是比较简单、基础。
- _1 Y5 Y) e! ~5 VPython里常用的文本处理技术:正则表达式、BeatifulSoup、lxml
8 e1 N& P, V3 e. B/ @2 z正则表达式非常强大,但没法处理递归嵌套的标签型数据' l2 ^ m+ G) p/ I$ I- X* Z; z
(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);
( ` g+ t( c2 Q7 ~4 {: l8 e- ^BeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。
8 X4 Q! C @) n6 b所以常常要结合使用。
7 F: F7 v ~! t这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。% B+ N: L+ ]& x; g
+ {, f, ]3 p) t0 o1 P3 ~2 t
2、排版4 Z2 r% [' W- j+ R( }" g# M2 z
HTML、CSS的基础知识:
$ q, c- w5 s, j, X$ Ghttp://www.w3school.com.cn/html/index.asp
# D2 S% b2 D- g7 v0 N' y0 m5 _9 R$ nhttp://www.w3school.com.cn/css/index.asp( m0 d* |4 M# y! Z
http://www.w3school.com.cn/css3/index.asp
' x+ J1 ]$ [, I9 H5 W/ ?8 r' d) C非常系统、非常全面。
* k# h9 @6 m [# y* @, V排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。3 v) l- V( n, O
. [3 l" w5 p( m2 |: K8 K五、结语
, k; N4 C/ P6 y0 d花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。. o- U! A; w. @& B. N- x
所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——% ?$ L. _0 H# Z/ E3 T9 u
大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。
. Y/ Q/ z4 q# Z: h: u+ @3 |$ W
1 j& j0 L3 }: u* O, ?2 [打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。2 d1 [& ? l6 m8 U: G h7 h
5 }- U. P8 O3 a9 w0 c7 d+ ~/ ]" f只是拜托不要打扰别人,真想要就自己动手。7 o% ^$ _1 i) X5 b; f2 z R) z/ i) b
尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。
0 i, ]! T( G5 D2 ~8 ^% C水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。( u/ j& p" Y! Z8 y1 |; t" b
虽然每个人都觉得自己至高无上,应当受到别人重视,0 ?# J! b3 M" Q6 K% x$ O' e
其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰% P4 C* h- F: X2 v0 E4 o
3 N- X0 s: m c) o
C3 |% o3 I( }. j- Q$ \/ a========
5 G, _5 X) f( W/ c2 P7 z六、拾遗! @( h' H. Z7 {5 R+ R) p! B
关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类
# _$ Q% q r! h/ R$ s/ h确实如此
2 q$ Y( P- n4 S% _6 f0 \" k F不过这里只是举例而已,不用太较真啦
* b3 v% t4 i& a4 j实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏1 p$ {5 [" X+ _. f* L1 `4 B+ q. g. y7 g
这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。
9 x" z0 u9 o( R- O0 {即,
6 w) `9 M; ^+ T6 Q3 a1 @' i第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)
+ x2 q: n, B O. V% ?) B$ k ^第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)
! i4 e L: H- d- Y5 n第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作# b* ^2 c# Q, Y$ \- R
。。。
V$ W6 b L7 D. U7 L3 v+ L6 p直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空): z. h3 d3 o7 u
最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。7 m/ _, s% |! X, }* V$ C$ q' z
形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。# {7 R6 R \( n
因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。3 O) p9 Y3 z9 ]
|
评分
-
4
查看全部评分
-
|