|
本帖最后由 bt4baidu 于 2015-11-22 10:08 编辑
8 Y/ _0 f5 Z' c+ {% f$ j' J
, Y" H2 y. u1 y% X6 v这篇文章主要是给计算机小白和初学者扫盲。4 w. f& W# N+ u& d0 V/ A+ H( \
本人尽量写得浅显一点, 希望完全没接触过计算机编程的文科生也可以看懂。, L/ a6 T# | q. x6 C
只讲原理和思路, 具体的编程语言、语法之类的问题自己找资料解决,网上到处都是。: m! G) e$ e. k6 `6 K( \4 `
# ]1 `- ?" l$ h- p" X1 ^2 E一、计算机的两个终极哲学问题
/ B1 c- u& C1 [2 m3 W1936年,图灵在他的重要论文《论可计算数及其在判定问题上的应用》里,提出著名的“图灵机”的设想。) |6 P$ k- |1 N; e) F; C& [5 J9 O
图灵机被公认为现代计算机的原型,它的工作原理简单来说是这样的:" E, j% z" ^7 U0 O' Y' Q* ] j
设想一条无限长的纸带,上面分成了一个个的小方格,方格有两种:空白的和上面有“—”的;
* u* C: E' e. |3 y$ B- A- i机器读入纸带上的方格信息,根据这些信息, 结合自己的内部状态查找程序表,输出计算结果。
3 [( h1 u$ d2 R f方格信息代表了解决某一问题所需要的步骤,这样进行下去,就可以模拟人类的任何计算过程。
P! C5 F& B# t! g; M; o3 y“纸带方格”代表外部输入,“内部状态查找程序表”代表算法——也就是程序,要靠人来写的。 a) J% b* N: n6 h- \
* j5 F7 q- `9 L) p/ o
那么要写出程序,立即就会发现不得不解决两个问题:, `7 I G. b: o$ j3 A
1、怎么知道机器当前读入的是哪个方格?怎么读到具体某一个方格?也就是寻址。
7 I9 d s- { A ~. M2、怎么把两种方格区分开?也就是特征识别。
5 D( n0 i" B: V这两个问题,就是计算机的终极哲学问题。3 ^) O2 k3 H& f6 ?6 ~
理论上,所有的计算机程序问题都可以逐步分解下去,最终分解为这两个基本问题。2 j) b, o: c3 f, F1 U
下面的讲解也会以这两个问题为核心展开。
) s' f E, c0 p; ~8 _3 v* D
% E: z) Y. b$ P/ W E9 iBTW, 如果你能想通这两个问题,遇到编程问题都可以这样子分解一下,把自己想象成一台图灵机,
0 e" j. [) {: }2 P( Q. w——所谓“采用程序化思维”,也就相当于打通了任督二脉,立即具有了至少10年的编程内功。: D A: X/ E& q
所谓编程,本质上就是一种读取、存放、组织、区分数据,然后按照具体业务计算出结果的活动。; P {5 F; z, D _
前者是核心,“我强烈建议围绕着数据来设计代码,而不是反其道而行之...坏程序员总是担心他们的代码,( \0 f! x* u# @+ f
而优秀的程序员则会担心数据结构和它们之间的关系。”——Linus曰。
# k+ t6 v# d+ m! ]; P9 _具体的招式,也就是某种具体编程语言的语法,花个半天功夫就能学会的。7 r9 H. _% ]5 Y. ? q
7 u1 ]' |" E9 ?. ^
不要觉得自己上学时学的不是这个,or文科生,就不行。2 j6 c m; d* T7 W1 O) j
江民杀毒软件大家想必都听说过。
1 e, Y% v3 J7 H创始人王江民同志,初中毕业,38岁才开始自学计算机,不出几年,就成为中国最早的反病毒专家。8 K6 R2 J P( C, V6 |+ H% b8 Q
咱不奢望成为专家,写写程序总还是可以的吧?
c3 F8 z2 [! ^! h
- I$ C! `6 ^$ J; b& u二、采用何种编程语言
# P' ~$ @" S/ `3 g上面已经说过,存放、读取、组织、区分数据是编程的核心问题。* K- d# S6 z1 i! u: }. l- }
显然,能够方便的进行上述四种活动的编程语言就是最好用、最易上手的编程语言。
% t4 }- R: B6 v( v抓网站,恐怕没有哪种语言比Python更方便。
( I d/ T6 w. {( s0 M- u$ L当然,你要愿意,用C语言也不是不可以,不过可不是那么容易上手,
- P3 D8 q9 P8 L计算机专业的学生,有些到了大四毕业居然还搞不清何为指针、何为引用...这些家伙还是趁早转行,9 h0 x0 K1 E- L1 `
没有慧根就别吃这碗饭。
2 q ^* v; t l" r$ W1 K( U" R, ?
! K* A" a6 ^8 W6 E8 M/ X' Y( S三、网站抓取技术# u* Y* l" b0 j; T
1、下载某一个网页,提取其内容
: }+ V# l, M7 }& d以前写过一篇,就不重复了。参考:
7 k& D3 p+ h& L7 u: U0 E: r- a用一个简单的例子讲讲怎样从网站上扒数据
2 `! j( O$ ?$ y' ~9 M7 U- b; A: B0 @5 a8 H4 Y$ E8 t
2、寻址问题: z' H! F" K9 S* H6 c$ }! ~' m; U
下载网页,自然首先要知道网址,也就是东西放在哪儿。
/ x( L" c' ?8 e% l/ C/ D3 B如果事先有个单词总表,那是最简单不过,立即就可以根据网站的网址规则拼出来。+ U8 S7 F1 K* [7 s$ P' q/ E3 O' K1 \
但是大部分在线词典,到底收了多少单词,事先是完全不知道的," R1 ^0 } J4 A1 f
要把单词弄全,就要想办法得到每个单词的网址。: }0 P, Q) O0 N
总结各主流词典网站,大概可以分为这么几类:1 U, i p( {, g/ ]2 ?, p1 j- h
I. 事先有单词总表
6 P% ^( \6 `. J" [6 Q5 E9 X* L比如http://www.vocabulary.com就是这种类型。) o. i4 i4 l) S6 r
它是在wordnet3.0的基础上编纂的,直接用wordnet3.0的词汇表拼网址就可以。* V! F7 _2 I3 X9 ^/ V/ e/ ~
9 ^. _9 u9 d* [& ?# U8 dII. 网站有索引页面
1 W# \$ e: K5 K R, g; L: T# G如:2 j. b* N) G* D1 q u7 J
OALD(http://www.oxfordlearnersdictionaries.com/)" i" w- b8 s# ] Q+ w3 `% ?
它的索引页在 http://www.oxfordlearnersdictionaries.com/browse/english/" r8 ?7 E( {: g3 B+ R1 Z! u. R
LDOCE(http://global.longmandictionaries.com/)4 I3 }+ F, l+ D3 S( z6 p
采用框架结构,左侧边栏就是索引页. o- i8 l" K! @# F( T5 I
MWC(http://www.merriam-webster.com)' ^0 v. Z' y+ k+ f% u+ A
索引页在 http://www.merriam-webster.com/browse/dictionary/
, Y5 X) m" Z/ m8 F6 ~1 I等等) ^; S5 E% _2 g7 Y. [8 n
这类也容易搞,思路是先从索引页得到单词表和网址,再一个个下载。
7 ^9 u/ G R( r. x% P3 V4 k, ]
5 j K) U$ A- w& T- urls = []
( A$ \' }* y7 X, D7 J6 X - for someindex in indexs: # 循环所有索引页6 t) t" d. G% Q. }( N6 A% f6 T1 O$ ^
- browseurl = ''.join(['http://somewebsite.com/', someindex])+ y% e; m' x3 h
- browsepage = getpage(browseurl) # 下载索引页面
- h; k7 t2 d7 f: s( c, U - target = SoupStrainer('sometag', class_='target') # 抠出放单词链接的区域
7 v* d, f0 C5 u$ ~: O& m - bs = BeautifulSoup(browsepage, parse_only=target)
& }1 {8 v. l6 Z- S( @' \ - if bs:
; @( i* J, |5 U9 ~- J+ | - for a in bs.find_all('a'):
/ ~: g. C" e: b) g+ j# y - urls.append((a.string, a['href'])) # 取得该索引页上全部单词及链接
; }. t) }3 P2 D+ P3 g) O- ? - 然后:
" F( ?; |4 V1 [ - for url in urls: # 循环所有单词
5 `1 H2 ~' L$ g2 u8 ]$ k( s - wordpage = getpage(url) # 下载单词页面
! z" G; a- _( w, I& @; r8 ^# I
复制代码 7 ^- f+ N- ]3 x/ Z- t8 \
1 U+ r' ^4 M% W4 C$ b+ Y
III. 索引页和单词释义一体型网站
& | C5 r% B7 Y如:Online Etymology(http://www.etymonline.com/)
/ h4 z% ]. M& r4 F0 o( L, i和上述II.处理方式相同,在循环索引页的过程中把单词抠出来即可* M8 G* u, v7 K
- : W2 a1 G+ `( z3 V! J0 A5 _& @/ X% H
- for someindex in indexs: # 循环所有索引页
: G6 x" f9 I9 h: x& V Y - browseurl = ''.join(['http://somewebsite.com/', someindex])
, Y# S/ p2 _$ |. x! A3 ]4 k: ]0 F - page = getpage(browseurl) # 下载页面
% h& E: H( F4 P. f1 ~1 E - target = SoupStrainer('sometag', class_='target') # 抠出放单词的区域- z0 T( x M( Y8 T
- bs = BeautifulSoup(page, parse_only=target)' v: ?1 @; s- s7 Y3 L0 e: [; I
- for tag in bs.find_all(target): # 循环抠出单词
/ h/ G" v" P+ B- q - worddefine = getworddefine(tag): t3 |( c, A. \1 l" P: _( }
复制代码
$ F6 x+ U* B. E5 K2 J2 l$ x! I* k% h8 ?" o( f3 J& B" u
IV. 片断索引型网站
; e. p3 `7 p" D3 j如:& v- o/ ?8 W0 i* E- W: y
ODE(http://www.oxforddictionaries.com/)
9 I( L0 }$ ]0 g& h- d每查一个单词,右侧边栏有个Nearby words
1 x8 X3 P8 x y# E9 |1 t3 p/ |: IRHD(http://dictionary.reference.com/)! Y* l h K- e& {) A) H" p- R
右侧边栏有Nearby words
. q. P4 _! v* ^) S/ C$ ?6 J# X wCALD(http://dictionary.cambridge.org/)7 _, L0 n3 u. M- [, A' J
在页面的最下面有个Browse栏,给出前后相邻的单词5 X/ Z. Q- b) f
这类网站没有总索引,只好利用它的Nearby栏。
( M6 g, z& I O8 N思路是从第一个单词(一般为‘a’或者符号数字之类的)开始抓,4 {' P. I4 y: J
每抓一个单词,同时得到下一个单词的网址,直到最后一个单词结束(一般为‘zzz’什么的)5 A4 R- v( G) q+ o2 v& A2 W
- & u8 W& ~; D1 z# L9 o( {, l- X) K
- cur = 'a'3 I6 L: F/ r+ ]/ c! y3 ~8 o9 J
- end = 'z'
5 k* l2 J- F: Y, l - nexturl = ''.join(['http://somewebsite.com/', cur])
* o! a* ]' k$ b# _9 |$ w - while cur!=end and nexturl:6 h. z- v/ U1 O7 V9 l. t( v- X, c
- page = getpage(nexturl) # 下载单词页面; E, C c1 ]" S. f% M
- worddefine, cur, nexturl = getword(page) # 得到本单词释义、下一个单词及其链接
$ e( t3 Z8 h4 ?" U& a, E" n
复制代码
/ q8 N+ r0 O; R0 n/ y" @, F9 _% ~4 C4 e
V. 完全没有任何索引,那就没法子了( }+ b* }; c q$ D
当然穷举算是一个办法,自己搞一个庞大的单词表,然后按I.的步骤处理
/ c. s8 w+ I3 n6 K理论上也是可以的,就是效率差一点;
* L3 |# _7 y: `7 i7 A另外各家新词收录情况不一,有些词组、短语拼法也不太一致,单词表准备得不充分就没法完全网罗。% c- R7 y( l R
" n! z0 l( {+ R
3、提高下载效率
- {( k) N# t" A# i3 rI. 多进程
5 c: e/ ^8 z$ q( r上面写的都是伪代码,也就是简单示范一下处理流程,直接写个循环了事。, h8 s1 X* }9 l' i
实际抓网站时,这么做效率显然是非常低的。
. D) J6 W) q5 s( {假如有十万个单词,每个单词需要1秒,循环十万次就是差不多28小时,要花掉一天,
; [$ q0 Q3 g% @4 h& r _有些网站还经常抽风,半分钟下载不了一个单词,那就更慢。
2 i0 T* C; n/ P% V$ a假如在这段时间内,你家猫咪把电源插头给挠掉,或者键盘被女秘书不小心坐到了呢?8 Q0 q$ a: ?' l0 k. P+ \
要速战速决,就得开多进程。9 K8 ~- r7 |& |4 s5 h; |* ?: o6 a
同样十万个单词,分成25个进程下,也就是28/25=1个多小时。& O) n) ^3 L6 `+ \0 |7 c# U
再开多一点呢?岂不更快。。。那样硬盘就转不动了,所以也是有极限的,要看PC的配置。
! S& J0 ^1 Y3 h2 w# f在Python里开多进程,同样十分简单,
2 v: V* V- Z1 v" T; M( i' ^# }- ; p: F5 s' P; |9 `5 ^
- from multiprocessing import Pool: S4 t; z, A) }" Q" S: y
- pool = Pool(25) # 开25个进程9 q' i% L# M2 J& q
- pool.map(downloadloop, args) # downloadloop是下载函数,args是其参数
; R5 u0 H0 Y; B/ ]9 F/ X
复制代码 7 t3 {$ G: n% n" |" N4 B
这就搞定了。/ J) A, {$ E$ N, ^) Y5 F" G% E
5 p7 ]/ R& C% F
对于上述I.~III.,包括V.,分块比较容易,无非是把一个大数组分成25份,
+ V+ S$ ^% F c I- o关于IV.,事先没有单词总表,就只好采用区间的概念,( k) z3 p7 f, l/ F; q
比如('a', 'b'), ('b', 'c')。。。这样划分若干个区间下载
" P3 n: A; c- E" x0 M. J* l& {
6 C# D+ C8 H8 T1 K A6 b初学编程的人,一碰到进程、线程,常常有种畏惧感,- Q" \9 a; B, T ^+ [
看到同步锁、共享内存、信号量什么的顿时觉得头大。3 q" V7 N1 M6 j8 X2 X) n2 |* F
其实没什么好怕的,这是个寻址问题,关键是搞清楚它的内存空间构造是怎样的,
) X# n6 Z. q5 K* _9 {其中涉及到一点操作系统、读写互斥、原子操作的概念,找相关的书了解一下即可,没有特别难以理解的。 w3 K; C- o- \ R
+ ^. ]0 m) C. ]+ b
II. 断点续传/ H6 n- c H2 q" b, u. `+ P$ Z
事情永远不是那么完美的,网络连接随时有可能中断,网站可能存在瑕疵、死链。3 c$ C9 _5 C) p: C O+ E @( z- G& ?
所以下载程序也要有点容错的功能,最好莫过于可以自行从中断处恢复,完全无需人工干预;6 q) C' n( A1 `; F& O4 ^% F
即便无法自行恢复,也得容易手工处理,不然可有的烦了。
# i" r, h: m- {9 B% u% ~这也是个寻址问题:关键是搞清楚从什么地方断的,把它标记下来;循环检测没下完的区块,从中断处接着下,' F) w `! d9 v- s9 R6 U/ z
直到所有区块下完。
' r. {, |, x M1 z* E- , [* F/ ?; V5 T. x! V
- def fetch_a_word(part, word, url, data): # 下载一个单词1 h( s' M; }- f G: ~# h
- word_define, failed = get_a_word_from_website(word, url)
+ ~, y+ v% c% @; q, {' C - if failed:
/ _' k* j2 t) v! G - dump_failed_word(part) # 输出下载失败的单词及网址+ C) j6 c) F7 k- S
- return False
! h T- r+ f0 | E - else:
6 V9 w0 L( A; z& k4 r - data.append(word_define) # 保存下载成功的单词数据
9 s0 N$ [/ S+ f) a4 J/ u - return True
+ G+ K, V* T# ] C% u2 W
$ Q, ^ b- m0 ~& k4 f: T) I8 @- def download(part): # 下载一个区块" a* _6 _6 ]2 ^8 c8 Y5 z* L/ f
- words = getwordlist(part) # 读取单词总表
1 f; d; y$ {! l1 S& o0 t - if hasfailed(part):
; K( i3 U; b& S( V S. S - word, url = read_failed_word(part) # 读取前次下载失败的单词及网址
& [; F3 H% I: T2 s# w1 i" l( I - else:
8 V# r U# D& I* Y! L2 @# P - word, url = words[0] # 首次从头下载$ b4 N' F$ M% m( B. t M
- data = [] # 用来存放单词定义) p) Z9 Z; m" h( r! h* m1 \ k
- while not_end(words): # 循环下载
# G3 s, c7 `- ?1 \: K# ^5 Q, O - if not fetch_a_word(part, word, url, data):: W, E1 y+ W: o8 i* ]
- failed = True
. j# y- x) T X+ k - break9 ]* l2 W2 D: Y2 {* \
- else:9 c9 e; C& J3 F3 B* i6 ?
- word, url = get_next_word(words) # 准备下一个单词及其网址
3 v5 m. f0 o0 A- C - if failed:8 u7 o- r, V/ v! A* W
- suffix = '.part', V4 N6 b8 u1 f* m; P
- dump_data(data, suffix) # 输出下载成功的单词,若因下载失败中断,文件名加后缀'.part'
0 _6 o/ V) t# S' _ o- o# ^" [ - 2 U- u. y( Q8 x2 y' p. ^% M3 ?4 L
- def isfinished(part) : # 判断某区块是否下载完成
$ J3 _/ n. Z {/ m - if is_data_file_exists(''.join([path, part])): # 通过检查数据文件有没有生成来判断
' a; P$ e, q" L& S6 q* s - return True
- V' B$ R2 Y7 C) V6 f6 \ - else:
7 H7 V! h; N* D( Q. N+ Z8 Z - return False- z/ y! `% x b2 g7 `7 @
5 M- C6 j9 y$ A% C/ s3 S- def downloadloop(): # 循环检测未下完的区块
8 ]- |& \' f5 p$ D* m6 p* m - finished = 0
' `: o1 V3 \6 ` - while not finished:+ F$ T8 j* m0 G* E( H# I
- nf = [] # 没下完的区块, ?. x, \4 w+ U( i
- for part in parts:7 z8 q+ {% R$ ^. Y4 E7 \4 P5 u5 s
- if not isfinished(part):
4 E- a; W/ T4 E6 m- g - nf.append(part)4 Z' [- H1 u5 S+ {2 N- H
- finished = not nf2 B' t) V( a+ n2 s/ d$ |4 n+ [
- for part in nf:
3 e2 c6 p" Y& B) P/ g1 A - download(part), X) e8 g3 j9 h' d3 F3 g5 Z
复制代码
8 k# a- }1 z1 c I! t1 i+ b, y7 Q+ l6 f1 _; N5 n& d9 b J" e
III. 高速下载网页的小技巧
3 R8 Z& Q! [/ X% g& N1 r) k: `Python里面有三个库都可以用来下载网页:urllib2、urllib3和requests。6 U' i; e9 b: F) g
其中urllib2是Python原生的,urllib3和requests为第三方库。! N) Q& c1 W6 L) n6 D
(似乎Python3已经把urllib3收编为正规军了)
1 [+ p7 P! T" j0 T这三个库有什么区别呢?
2 U, H! L* V( G; i; s形象点说,urllib2相当于去别人家“拿”东西,开门只拿一件,然后关上门,再开门拿下一件的家伙。) Z B) ?, r8 b2 s
再笨的贼也没有这么干的,不停地开、关门太浪费时间,也容易招警察;同样,频繁连接也会网站被封IP,
3 o2 G; k1 N# n; |. |+ a所以urllib3在urllib2基础上加了一个HTTP连接池,保持连接不中断,打开门以后一次拿个够,然后关门走人。/ A8 e* y( Z1 {5 \
但是urllib3有个问题,它不支持cookie,所以无法保存用户信息,遇到需要登录的网站就没辙了。/ a/ B1 ~5 v. Y
这时候就该轮到requests出场。requests在urllib3的基础上又进化了一步,它可以通过session来保存用户信息,+ T8 F3 o9 d2 K9 X5 D- x! `. {) y6 I
通吃一切网站。
P7 l# e# A8 y" Y9 b& v( o+ P; T& _所以你完全可以只用requests,忽略另外两个。不过我一般习惯用urllib3,只在需要登录的时候才用requests。
1 Z% ^! x6 u4 g0 L [这仨库的用法都非常简单, 两个第三方库都有齐全的文档可供随时参考,虽然大多数功能都用不到:) M$ B' l4 B( S' N9 {
http://urllib3.readthedocs.org/en/latest/6 `# z6 R# \& Y
http://docs.python-requests.org/en/latest/:
2 m4 `) R. N, [% C" |/ J9 M- 7 Z% M1 c X3 V6 ?- U
- #urllib28 y) B- ]( p# ?3 p1 x3 T/ L
- import urllib23 C3 D: T; K" r! i
- def getpage(url):9 ^9 h1 x4 H |* S9 N3 M% w
- req = urllib2.Request(url)
, d. n# w8 t8 j- V! T! Y - response = urllib2.urlopen(req)( b, k( Q$ q+ H* g4 G# B
- page = response.read()
$ ?" b3 k) Y6 Y9 @/ z! W - + P) g6 y7 L9 f
- #urllib3
( E+ D% s1 m1 j) B! Q - from urllib3 import PoolManager |7 V' b+ \- Q" r- ], m
- http = PoolManager()
# t! O1 D! C* V9 r2 L5 P4 `7 F - def getpage(http, url):- g4 d# _6 m6 ]0 h
- r = http.request('GET', url)
) E4 R+ ?3 O" t4 [+ N3 ^: n - if r.status == 200:9 w+ N2 P' k$ s; M& L& K
- return r.data
) W* S2 V; ?. ^& ~) s" O - else:6 V! @& f: ?) C/ n" w
- return None$ t8 Z; @0 c/ r! Q/ K$ s0 X, ]
- q3 f1 g1 `1 h: q! e
- #requests) y0 X- S3 i( n7 x: y
- import requests
4 @& L: Y5 N0 f3 I3 X2 Q* U, M - session = requests.Session()
' ^: I3 q5 q' }2 G - def getpage(session, url):5 d2 i) D- n G" `% B
- r = session.get(url, timeout=10)
7 u* {4 e' ]2 N% @9 [5 q2 I - if r.status == 200:2 Q: h5 n& C; l
- return r.content" i1 j q. J0 z, t: R% d d% l, E
- else:6 \& ?6 x, I1 }! f
- return None
3 u9 y: ~( O0 G7 k- u% R
复制代码 # [7 e1 O$ u' o# T
四、后期制作
# j- B# \! n: i8 p( f9 H' h$ B1 G3 K1、文本处理,是个特征识别问题。
3 P$ `$ y4 h: j2 W, b7 G8 w; l$ _本质上是找到满足某种模式的一串数据,按一定的规则转换成另一种模式。
& }0 ~8 q6 F; D7 ]当前的大热门:生物识别(人脸、指纹、静脉、虹膜。。。)、语音/摄像头输入(智能家电、自动驾驶。。。)1 R9 S, Y' _. L
都涉及到特征识别问题。
6 ~9 O$ {8 R+ L' [! S- |9 {相比这些高难度动作,文本处理算是比较简单、基础。
' s* K9 h6 Z F2 T/ dPython里常用的文本处理技术:正则表达式、BeatifulSoup、lxml
2 ^" J: {; h* W/ h8 V正则表达式非常强大,但没法处理递归嵌套的标签型数据8 P$ C5 P1 C( e# c, V
(如:<div>第1层<div>第2层<div>第3层</div></div>...</div>,这已经不属于正则文法的范畴);" j+ w9 g0 S/ l7 i q
BeatifulSoup/lxml可以处理嵌套的标签型数据,普通文本则无法处理。
+ ~# a; r: W; b M: J8 R5 u所以常常要结合使用。 u4 ^5 k E' i
这些难度都不大,关键是胆大心细、思维缜密,不厌其烦,慢工出细活。/ _( w9 E1 {. t, S5 R, Z
6 h$ ~% b; v: a, y8 V6 y9 a2、排版4 g2 @4 h- N7 r" ?+ \; b6 [
HTML、CSS的基础知识:
a8 [8 _6 S( r8 Khttp://www.w3school.com.cn/html/index.asp
8 L$ u5 q4 g- Z1 lhttp://www.w3school.com.cn/css/index.asp; g+ w* N; j) M/ r# ?) w- B* E9 o
http://www.w3school.com.cn/css3/index.asp" s. J/ H% z; N% W ~
非常系统、非常全面。
; _' y$ O' Q3 [; M1 \排版词典需要用到的HTML/CSS知识并不太多,遇到问题参考上述网站即可。" r; J/ I6 B7 f
) s* v) `4 u$ }2 l) t, K) ~. X
五、结语' Q. Q2 u. y0 N# w* |! h) D) b
花点时间写个科普文,主要是考虑到确实有些文科同学or计算机小白想制作词典,但没有思路,无从下手。
! o1 C5 l8 ^7 g# S% @所谓术业有专攻,为学有先后,总结一点经验分享出来,也算是对社会做点贡献——
/ b- x" o- v( {8 p: `大家有个切实可行的方法参照,不至于绕太多弯路,浪费太多时间,从而节约了社会成本。; ]* ~4 p9 g9 k: L4 @% D
9 g5 ~0 @5 e) a: V1 l# T- u# H
打算做万年伸手党的同学,本人也没想过要鼓动你们,继续做伸手党好了,热心人还是挺多的,时常有不错的新作发布。% k- b% j z" R6 P! Z- q
( y9 Q- k5 Q( C& r只是拜托不要打扰别人,真想要就自己动手。1 X' Q0 `4 d! L' I) O
尤其不要抱着“你手熟,水平高,做得比我快”的想法,觉得找别人做词典就特别理直气壮、理所当然。; K. h" Z V0 S, c2 ?& n9 p0 O9 w
水平再高也要花时间;同时,水平高也意味着其单位时间的价值要超过水平低的人。( Z. I" e5 Q& z7 G- T
虽然每个人都觉得自己至高无上,应当受到别人重视,
$ W3 V0 k/ H$ D" ^2 l4 Q其实“在你做出惊天动地的大事、拥有巨大名声之前,你在别人眼里就是个屁”——Bill Gates曰
e5 r7 f8 H `1 e" T( Q2 i* y G/ R
* z: I' g$ {9 z# `/ _. Z
========$ l! _+ ^0 b$ X) d! c
六、拾遗
) n0 F1 E0 O3 ?+ E8 Y关于上述IV. 片断索引型网站,有坛友指出ODE、RHU等都有索引页,因此可以归到第II.类
- X9 A# w4 T# o确实如此5 K( K% S2 n) B$ i4 K
不过这里只是举例而已,不用太较真啦 9 G1 ~# h! u# l4 \
实际操作过程中,由于网站可能存在索引不全、死链、交叉跳转及数据瑕疵,往往要将II.和IV. 的方法结合起来用,否则不是抓重就是抓漏
9 Z0 `) B/ e" d- b0 B这种综合性的抓取方法,本人称之为单词表密集轰炸+广度扩展法。
. a- c. S8 y) ^+ w! y3 @% D. U即,; _" [/ e. z `1 A- X7 C1 j
第一轮:先从索引页面获取全部的词头(集合A),再用这些词头去网站下载单词,同时提取每个单词页面里指向其它单词的链接(集合B)! @6 F( K. {3 T4 f2 @% w
第二轮:从集合B里删除已在集合A里的词头,得集合C;再用这个集合C里的词头去下载单词,并提取每个页面里的链接(集合D)& e- v4 S6 Q- _( x
第三轮:从集合D里删除已在集合A和B的并集里的词头,然后重复第二轮的后几步动作3 r% j; b m2 q1 U+ ^+ x
。。。
( ~ b/ n* [ S1 z$ j* B' |直到无法提取到新链接时,结束下载。大部分时候,第二轮结束时就已经提取不到新链接(即集合D为空)
+ W' F) @$ B( t& r- \ _最近新做的RHU、CED、WBD,均是采用这种方法,速度快,容错性强,效果极好。 K5 I. e! j+ u6 C
形象点说,这种方法相当于草原上先有若干个着火点,这些着火点会把其周围的草地点着,最终烧光整片草原。3 ]# i* k' f7 K+ {! I5 V
因为一开始着火点就已经比较多(索引页的大篇单词表),所以会烧得非常快、非常完整。
5 N5 t! P- C" `' y |
评分
-
4
查看全部评分
-
|