|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑
1 w) G. H- c& S2 O) ] g' K! U$ ]. g- u2 V% y* ~, y) H
这篇文章主要是给计算机小白和初学者扫盲。
. C7 e9 w+ \* _本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。
' Q9 |. x2 `# T" \9 [% P$ G- H3 a只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。
2 p1 D, i, i, Y: a# n: R% \5 z% G* m/ ~- s$ r, |( [
一、计算机的两个终极哲学问题
" Q8 a' D3 ~; s" l+ F7 O, e1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。
* u7 S! q4 m2 Q) M1 S, |7 v7 ~图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:
! q! b, e g5 T" e设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;
- }9 O1 t1 s: {3 p5 L机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。
# _$ C9 K- Y+ R6 m( V方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。
/ O* d& f0 B" I. E“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。( @; F5 \0 {1 W$ `" c# W5 T
' e# m6 H( g8 Q/ ^# c$ c# V2 ]7 N
那么要写出程序,立即就会发现不得不解决两个问题:
+ D; Y8 Q0 j+ S: r1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。 A9 ]$ b$ W: K# p
2、怎么把两种方格区分开?也就是特征识别。. h0 O/ ~) D( L7 Q; V$ }3 C
这两个问题,就是计算机的终极哲学问题。2 M) f/ k; ~( l0 k
理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。5 h& L2 t R" u+ n, K v$ D0 T
下面的讲解也会以这两个问题为核心展开。
% x* @' O0 c; a- B% U6 @ b1 }1 D% d! O+ }' P& d- q
BTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,) M8 H2 s) x/ m
——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。& C3 j5 g: _$ z$ i" _" o
所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。
; z& C# t7 c& M+ ~ i前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,3 G. w1 d1 f [4 V, F% Q2 \1 K
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。3 {% a" d7 D9 x
具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。
8 |7 {. y) m; G+ ~+ ~2 Q8 T7 U" Y7 R
不要觉得自己上学时学的不是这个,or文科生,就不行。* c0 R9 a# o; ?4 a7 N7 H
江民杀毒软件大家想必都听说过。
5 ~! k+ G6 ^* _7 Z- M* l& K' g- \创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。& s; t+ k3 M. {# V. \
咱不奢望成为专家,写写程序总还是可以的吧?
0 ^0 n- B$ c% z6 T
$ K" c0 Q3 v0 N/ ^6 z二、采用何种编程语言
9 \# N( m- N$ ]; E/ i上面已经说过,存放、读取、组织、区分数据是编程的核心问题。) `$ ~! g! T: q0 q( R2 }8 G, X Z" I
显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。
! q' L$ U. A' p- o6 [- ?抓网站,恐怕没有哪种语言比Python更方便。 P N' d- J' d6 A7 S
当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,
* {4 `- {& @5 v6 Y" W6 p计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,4 X5 i% ?; ^! |4 \' A- G
没有慧根就别吃这碗饭。
$ e9 M. i+ G* `- U) |! j u& m! t5 X0 l: @0 x9 k% T& ]
三、网站抓取技术
( I0 ]# i. K7 g1、下载某一个网页,提取其内容0 f7 ]5 t; E6 R6 t7 }, U( J
以前写过一篇,就不重复了。参考:" B$ L- M4 A* |9 k1 v9 {* O1 G) @
用一个简单的例子讲讲怎样从网站上扒数据' ~4 V, g6 Q1 ], W5 o: |
- |, f3 H1 [; L$ d
2、寻址问题" s0 O. K, x* K( U
下载网页,自然首先要知道网址,也就是东西放在哪儿。; I! n; I7 ?: k, @8 }
如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。
7 Y; c8 d# A$ T/ x/ C2 R K2 ]但是大部分在线词典,到底收了多少单词,事先是完全不知道的,0 ~4 i( ~$ r: K) ^: t; [6 J
要把单词弄全,就要想办法得到每个单词的网址。0 w) @9 B- M; I7 `
总结各主流词典网站,大概可以分为这么几类:& v/ [4 D- \- e$ F
I. 事先有单词总表& W& O% n8 S. Y& \5 {$ I
比如http://www.vocabulary.com就是这种类型。' `5 B9 `: @7 `- q$ ?7 u
它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。
4 A" X/ e* a5 x$ c& f8 a' Q, H; z) b, l2 Z3 i
II. 网站有索引页面2 r4 [) c) S' _' N0 ^0 y
如:
; [* T( F0 a9 J6 D; C* M4 G$ AOALD(http://www.oxfordlearnersdictionaries.com/); K8 K1 V$ `( o( e2 h9 ^* [
它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/
! F: R' m p- H* c; w2 |5 W- _9 YLDOCE(http://global.longmandictionaries.com/)$ n1 a- T5 |+ r0 \/ b2 {
采用框架结构,左侧边栏就是索引页+ L$ \& n% V0 p! @; |7 h
MWC(http://www.merriam-webster.com)6 s$ {8 K& D, ^* C }8 y
索引页在 http://www.merriam-webster.com/browse/dictionary/1 o) W) ^) W2 b! H9 K4 R
等等, l1 V4 o5 l3 f& Z$ Z& M
这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。) a5 | Q1 t0 k6 T. x5 O( c9 d/ N
1 `, i' b2 A9 G- urls = []
, C, H+ J% [+ M) ? - for someindex in indexs: # 循环所有索引页% n4 U& ^1 F' O* a2 e$ [$ G
- browseurl = ''.join(['http://somewebsite.com/', someindex])
9 y7 C" ~0 p& R0 g) l - browsepage = getpage(browseurl) # 下载索引页面
5 q4 C7 i' D: v Z0 M0 a - target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域1 u# X7 L" B3 s& t* g# Z+ I
- bs = BeautifulSoup(browsepage, parse_only=target)
9 g1 c; o* H4 ^ - if bs:
# R/ H |* C( B3 F - for a in bs.find_all('a'):0 p( e# I8 p* B6 T M5 R! {" M+ t
- urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接3 Y; Q) p" T5 l: ~6 Q
- 然后:
2 I7 @& m9 \2 b& j+ f* r - for url in urls: # 循环所有单词6 R- L ^+ ?; g& {. @! a1 c
- wordpage = getpage(url) # 下载单词页面" [% \% u$ t* b! D2 y' {
复制代码 ) Z6 A' p+ ?3 l5 d
" F& f3 k7 @' h0 A8 x$ YIII. 索引页和单词释义一体型网站8 K$ G- A4 z" j1 O0 ]
如:Online Etymology(http://www.etymonline.com/)
9 a4 S3 N' k+ }8 G+ z+ D和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可
9 s" }' t0 i7 ] r4 S- d
- h! h% M9 z9 n! j- n; r+ d8 W- for someindex in indexs: # 循环所有索引页
$ R9 t9 K8 J7 v! U( g# @ - browseurl = ''.join(['http://somewebsite.com/', someindex])
. J& Q$ U. a7 w3 T/ a+ U! ]! @+ }% s2 a - page = getpage(browseurl) # 下载页面% Z# T w: E2 Q* i
- target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域/ s% k7 j% Y- m0 |# w
- bs = BeautifulSoup(page, parse_only=target)
0 r7 O) Z [+ M/ Q+ I9 _" t. L - for tag in bs.find_all(target): # 循环抠出单词3 b) |! \' E# E3 u! m7 I0 h
- worddefine = getworddefine(tag)4 ~% @0 y V! R* \
复制代码 ( i2 k$ A# p. p
5 u) I( p7 a' C% |. H0 d2 D/ p4 FIV. 片断索引型网站3 r0 I2 P& B0 f3 Q( Y0 {
如:; y% e- W5 _' A( }' e, B
ODE(http://www.oxforddictionaries.com/)2 B, P, E! E ~% g) c+ y
每查一个单词,右侧边栏有个Nearby words0 P6 y; u1 x2 ~8 d0 r& f
RHD(http://dictionary.reference.com/)
: r$ Q2 |3 x! j7 `0 x右侧边栏有Nearby words
6 h x. ?# s. U9 xCALD(http://dictionary.cambridge.org/)
7 m9 F! P. b$ o在页面的最下面有个Browse栏,给出前后相邻的单词
7 y9 m) `& F f- y$ q u' u' y这类网站没有总索引,只好利用它的Nearby栏。 a$ A* R6 Z3 y4 P: d
思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,
, ]% L) U; q0 j) k每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)% Y; g7 c" S2 [: [6 v' u' U1 K5 y
- 3 d+ R9 d# j/ X; V
- cur = 'a'; |) r [; t. M* N. _) K
- end = 'z'
& N! u" g4 D$ G( d - nexturl = ''.join(['http://somewebsite.com/', cur]); ]# u5 O/ |: e1 h
- while cur!=end and nexturl:
# v* R0 e- ?. N! Z g9 _% W - page = getpage(nexturl) # 下载单词页面2 _4 h& g2 }) A/ ]1 q
- worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接2 s9 @) R7 H/ N/ G+ r4 e2 W
复制代码
# B8 R; U5 M7 ?4 r: `! U1 w+ e i0 c; V1 a( k9 W
V. 完全没有任何索引,那就没法子了' _: c/ W4 X: k2 s: F+ X3 U
当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理+ P) o7 \, M! k* l4 V
理论上也是可以的,就是效率差一点;' }3 L) c2 D' T6 q* `6 e/ |( D
另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。0 a, @, ^* M8 q/ O
9 F7 V z# O8 x; `3、提高下载效率
& G% l) { `- q: V8 h- kI. 多进程$ g% c6 t1 g; w" r+ l" k _
上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。 _) ~4 Q/ N6 Y! R# d7 e
实际抓网站时,这么做效率显然是非常低的。
2 t* y" R# U8 m假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天,
9 K, e% t* `1 v. l B有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。, R* H9 |9 I! z4 X& }; E* q9 y" C
假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?
' m1 `2 `' U' ~' P- T要速战速决,就得开多进程。
: M4 [0 Q! C4 L9 h& O7 C同样十万个单词,分成25个进程下,也就是28/25=1个多小时。
# j5 F( L$ W* S ]1 h! h! X再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。
$ n. i3 L6 l+ ]1 ^- ?% _在Python里开多进程,同样十分简单,6 _1 ]5 Z# R, E- B3 x9 ?, c
4 W; w* }$ m& u5 E/ d: F: C6 [; n- from multiprocessing import Pool8 Q8 _) q) k) r, r9 Z3 N0 A
- pool = Pool(25) # 开25个进程& ]5 y3 T0 Q4 B) y# r& x3 O
- pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数+ l) V5 M, \% |+ T
复制代码 + |3 k! f. s8 x4 v2 X
这就搞定了。# W/ f, A1 Y& z' z/ O
; h3 \6 H) b' D$ }0 O对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份,* ], Q6 X7 d* T! O, M
关于IV.,事先没有单词总表,就只好采用区间的概念,! Y& j/ H$ w K$ W- `$ X* j4 w
比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载
/ |+ n L8 k [4 {# k# w$ ~* G
( T8 X+ e, a. ~4 y, }初学编程的人,一碰到进程、线程,常常有种畏惧感,
* q) ]& U) x# {& k看到同步锁、共享内存、信号量什么的顿时觉得头大。7 n/ _4 f# M$ B6 n% s2 ~
其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的, N" A1 ^. g/ X3 O7 H1 C; |$ N7 K
其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。+ U3 B$ Y. |! W
' r( h' w5 e9 Q) F6 c4 o
II. 断点续传
3 }- e! Q2 f" P* @* y事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。
* `2 C# {# e0 n3 P. }所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;4 L+ X% _5 k/ P
即便无法自行恢复,也得容易手工处理,不然可有的烦了。. ?+ O% r% q3 Z: E
这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下,2 f5 O1 e, M) `$ n
直到所有区块下完。
: u# ]9 P1 F. o9 n
$ ]: Q. x! J* K8 e- def fetch_a_word(part, word, url, data): # 下载一个单词. F# T& m& D9 E9 W
- word_define, failed = get_a_word_from_website(word, url)
$ N4 Q" [9 i, |+ L7 ]; S* Z% _5 _/ g - if failed:
, L% R8 D0 B" V4 Q/ D0 w - dump_failed_word(part) # 输出下载失败的单词及网址
3 @1 w. W5 w9 G6 e - return False
6 \& U3 V6 L% ^' V' j7 j7 _" Q2 j - else:
5 `- s% V. ]7 [; ]2 j - data.append(word_define) # 保存下载成功的单词数据
6 k5 I& u9 g" H, n - return True4 m9 y! m/ o$ e8 S/ M, _
: f9 w* w4 _. ^* `" a- def download(part): # 下载一个区块
- A" O+ l* Y# v1 j - words = getwordlist(part) # 读取单词总表
' `7 N. v( F/ I3 z, d, C# f: Y& I- V/ m - if hasfailed(part):
8 | T+ K! u& t/ B) v- k. C- N - word, url = read_failed_word(part) # 读取前次下载失败的单词及网址
# Z9 e; S- J$ m) g5 i i k - else:
5 \2 X% f. S, t - word, url = words[0] # 首次从头下载
# O/ Z5 W) b/ R7 p# ? - data = [] # 用来存放单词定义
! _# @* M: M0 B0 k" ^ - while not_end(words): # 循环下载$ w; h9 ^1 \5 b& i V
- if not fetch_a_word(part, word, url, data):
3 `- q& U4 P0 b: x/ O6 E - failed = True
6 m) O! n" x, K& k3 n1 `5 V% U. | - break
+ K3 U+ A1 |. e( @" J - else:
1 b1 @ w4 o/ j8 h - word, url = get_next_word(words) # 准备下一个单词及其网址
' b6 n9 i7 N( ~& T0 R6 U) } - if failed:
9 O: A8 J+ A0 @9 j+ @ - suffix = '.part'" Y% ?$ V! P% Z
- dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'/ h2 i3 C' m5 {" A
- ( X/ S9 A5 j' t3 @4 d
- def isfinished(part) : # 判断某区块是否下载完成
# o/ X# b2 Y. o l+ X& Z - if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断
, |' \# _2 i' }) S - return True
" Z0 j! \: c* i# E# m6 g6 g - else:
: W6 Y! ^9 u2 A) X) j - return False6 [4 Y; E6 P8 y. f2 p
- 8 o/ x- e4 A# k$ `* w- u% S
- def downloadloop(): # 循环检测未下完的区块
3 b1 `# ^% N4 @0 S9 Y - finished = 02 F1 Z, N5 }' z2 q
- while not finished:0 N( t4 G( A: Q5 z
- nf = [] # 没下完的区块
- I! z( j9 T# q - for part in parts:, a/ r# p: P% V& n
- if not isfinished(part):4 N; T d f' |. x) Q2 }
- nf.append(part)
# z& `+ J: d* m6 W3 E" S - finished = not nf0 K# q+ _* l0 x
- for part in nf:
9 L' R( \. w, W! c. i7 R8 \ - download(part)( L$ K; G' T& y$ c
复制代码 0 Z3 ~2 [! J! P7 d" r( [; D2 P
' |; h+ R, H3 E2 Z' p4 {" E5 b; PIII. 高速下载网页的小技巧
( A% R, O2 @' g4 y3 P9 _Python里面有三个库都可以用来下载网页:urllib2、urllib3和requests。
. ]5 v8 x6 M6 W$ U其中urllib2是Python原生的,urllib3和requests为第三方库。
9 t6 ~# E; D/ z+ J(似乎Python3已经把urllib3收编为正规军了)) M P: x* |9 n% B
这三个库有什么区别呢?* n* |" G( ?; Q7 g
形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。
; _# S& X2 W/ j& L0 {" n再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,
! f4 x! r& [) `0 ^9 z7 r所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。
Q' N+ s4 t2 q* P. l+ B& _2 l但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。
0 n1 Q4 H, g; {6 J$ X8 e" w) S这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,
0 g& K2 x" h* q# x$ A通吃一切网站。
; d# g$ a% g4 C) N所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。
1 _& Z3 m* o& |8 l4 @这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:
! `9 U4 k8 T1 j$ b! T+ C- b# ihttp://urllib3.readthedocs.org/en/latest/
( {- p7 I. x6 J f) W- khttp://docs.python-requests.org/en/latest/:: A2 z* P! J$ E8 {7 U* v6 d' V
- $ ^" G3 s' Z* ^/ U2 M7 h; n0 {
- #urllib2
( _8 A! c5 f2 e8 |0 ?- w - import urllib2 h4 q4 L" A2 G0 G( D" k8 t- a& U
- def getpage(url):- F9 M" ~& Z0 k$ r7 d9 Z6 A
- req = urllib2.Request(url)1 L& v" ~2 @1 m8 P y) W; N8 |
- response = urllib2.urlopen(req)
* Z1 n* X- W- t, v' `/ t9 ]! E - page = response.read()
: A- n& c/ C4 ?, ~ H9 w
+ I& l2 `/ h* Z/ M) J5 d' u0 \- #urllib37 n( ?9 x$ I( z7 T
- from urllib3 import PoolManager
. H6 i6 {) G$ a' v. N7 q - http = PoolManager()9 c/ C s: ?$ J+ g
- def getpage(http, url):
, H, l9 I5 m+ n - r = http.request('GET', url)+ I" l5 `/ e2 b( |+ P' `) e
- if r.status == 200:
+ G/ }8 B& M5 w - return r.data+ Z9 X O3 d3 U' ?
- else:# ^0 [" h/ R8 X- k( W1 ~- W* `/ Y9 W
- return None5 \8 Z) r, }7 h, _2 _- X: A
( N; O- y' D1 w" r- #requests
t2 v' k, w9 z; B* b7 x - import requests
( [% g' l' I2 }" { - session = requests.Session(): f! Z7 o% }6 N9 U P5 r9 ]: i
- def getpage(session, url):
( K9 w: d) j) N1 e9 U3 y - r = session.get(url, timeout=10)
* B6 ~1 e! Z( o" ^& `9 L' Z - if r.status == 200:
b+ N/ |$ J% G: n- z2 a* ^ - return r.content/ ~% W2 K/ T2 D
- else:8 C2 i. _9 }7 B$ W C
- return None$ Z- d: c" v# B$ T" d
复制代码
_' H) i8 Z; i) A( h四、后期制作5 f6 V; U: a- O- P2 q; C; Q
1、文本处理,是个特征识别问题。; {2 Y/ D0 @3 E4 S% z. I
本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。4 D: `$ L5 i4 G; a
当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。)
1 C& L1 w$ P" \" K& h9 E. p都涉及到特征识别问题。
- B' j4 u/ |& z3 v9 q1 h+ P相比这些高难度动作,文本处理算是比较简单、基础。6 H2 `. H7 O* {1 b. f
Python里常用的文本处理技术:正则表达式、BeatifulSoup、lxml
4 j4 x0 \9 u5 Q/ M' F& l: L, z+ t正则表达式非常强大,但没法处理递归嵌套的标签型数据* O) U7 v# a* M
(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);
& k% U ?6 _" w$ l" F: J( WBeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。$ B/ a, _: S8 t; r1 ~
所以常常要结合使用。; s( X5 D# S* u
这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。% w* y3 y' f R4 g
8 d: x @5 W2 R9 |! E2、排版. B; J; a2 J0 N
HTML、CSS的基础知识:
7 H5 ]7 b. W0 g+ i; Rhttp://www.w3school.com.cn/html/index.asp8 j1 F1 _% H: ?
http://www.w3school.com.cn/css/index.asp4 }. Z! r9 r% g/ o7 [% @
http://www.w3school.com.cn/css3/index.asp" I4 U; u x3 B2 P* L+ a
非常系统、非常全面。) b, R j, |6 E6 I, O7 l, F# f
排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。3 ?/ w8 m' q' U1 r8 ~4 C
' {6 o, c; Q7 \4 L& Q- L+ R4 R; p五、结语% [% f' _; h9 Q6 W Q
花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。8 P% x# ?. P$ X" F) s- s
所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——
I$ d9 b/ ^7 ^* c2 F大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。
# J X2 _! g* a: a- f
" c0 R; f- Z) G$ }1 W! [% m1 f打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。' D2 D/ {+ g- C' |+ @" ~- f( i9 L# e
, @2 D0 H7 T0 [$ P" {只是拜托不要打扰别人,真想要就自己动手。7 z# |" U" q" N) W6 W
尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。6 N% D7 O+ ~' v4 u. d# G
水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。
4 t9 c; \5 T% Y/ H( v虽然每个人都觉得自己至高无上,应当受到别人重视,3 ~* X* Q1 {4 e3 c6 x4 \( @
其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰+ B8 U z B+ @) N
! P- c- N4 `7 L/ K7 p9 l
# Z7 K3 M8 }( A; }- X& |' v6 p========
8 {2 ]8 D! f g5 L六、拾遗$ H8 b* H/ c$ |2 J+ v5 }. L8 e: C3 ~$ s
关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类
! c1 Z( I- c- k# y确实如此( T2 O" M5 `* l2 |- O
不过这里只是举例而已,不用太较真啦
/ S0 L2 B# d' B实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏! J. Y, ?6 t# B; P$ r. w; R" w) Z
这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。5 c2 _" ^. d5 J, _' H
即,
- d. |8 N" t% j6 B第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)0 ]8 ^8 v: F2 Q2 ~) U' B
第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)8 j7 O4 U" S/ Z7 ?: d
第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作" S2 j7 g9 H( O0 s) c2 w
。。。
1 X: J: E) e* F% f+ L直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空)
7 _: s" V1 r. j最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。
! p3 K! G- I/ `/ w9 a$ y; p形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。
O. } y" b5 `0 z/ I: q) h因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。
' I+ n- i) X( n) D! x |
评分
-
4
查看全部评分
-
|