朗文当代高阶英语词典 6版

bt4baidu

朗文销量不逊于牛津吧，可能还要更大一点，为何要退出？

ceoyee

ceoyee 发表于 2014-7-28 14:04
成本的問題，所以朗文不出了。至於5年後朗文7的前景，也不樂觀。

9 p- _: D9 H1 ~1 S/ F6 w) U/ ?主力編輯已離開團隊, 所以朗文7的質素能否維持一來以往的水準, 甚或再有大更新，則未知了。希望不會好像 collins 那樣每況愈下就好了。

ceoyee

ceoyee 发表于 2014-7-28 14:07
4 @0 |2 ^1 }; }% H6 i對文科生來說，學編程是很痛苦的。我猜你們現在弄編程的，大部份專業也是計算機。

) c( D; u3 ^9 o& `% i不清楚國內的教育情況。不過我很欣賞搞編程的人，能開發實用的程序，方便大眾，改善生活，增加工作效率。

bt4baidu

看着真心眼馋。。。有种把数据抓下来的冲动。。。{:5_199:}

bolome1

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

哈哈，支持支持
如果抓到数据了能否分析下和5th的具体差别？

sqihuan

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

- }2 C( O, T4 w3 `8 V0 F& T6 R/ m支持支持。大力支持大大。网络爬虫真的不会。。。。哎 只能伸手党了！

吴贯和烬羽

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

  @; e$ b/ a9 \# ?3 o# ^/ ^= =装了python环境，还是不懂怎么抓

ceoyee

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

除了朗文6之外, 在去年還出了一個 collocations dictionary
此本字典同樣沒有光碟版, 只提供網上搜索。
9 m4 m! M7 K9 o
, d2 x/ C. }0 A& Q  i) H不過能抓下來, 同樣是功德無量了。

ceoyee

謝謝O大你提醒我啊!! 難怪腦海中一直覺得在掌上百科有 collocations 字典..但一直想不起來..
Hugh大 真的了不起! 感謝!!!

bt4baidu

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

$ w! I! n) q/ F+ `) E5 T: A# ~. F稍微研究一下网站构造，朗文真是堪称环保的典范
查词的时候居然只返回词条内容那一小块HTML，一丁点垃圾代码都没有，甚至连一个多余的空格都没有，太赞勒
$ Y- P& g2 a1 o这也意味着跑一遍单词表，把得到的数据用</>分隔一下，直接就是成品了
8 ^+ y4 `2 R/ c. E
: P$ R, ~% {: W9 a4 r+ k8 C不用抠数据，不用编辑，不用格式化，一切就是这么简单

bt4baidu

看来O大已经动手了，卡在哪个环节，有啥困难说说看{:5_217:}

3 {4 J7 s7 I* z% \+ L! v登录型网站建议用requests库，它支持session，自动支持cookies，而且内部有个用urllib3实现的HTTP连接池，相当于像蚂蝗一样叮上就不松口，效率非常高
. M& z; E1 j9 G, e2 s0 aLongman比较特别的是大量用FORM POST，不像一般网站都是GET

没那么简单，不信你试试。o(∩_∩)o  

7 j- M' ^: j5 K0 z* i/ d
不要教唆我干坏事。。。
: m) Q8 F5 C2 `- S& k) x0 S4 `
8 s4 j6 c" x1 d5 a我试了一个词条，原始HTML，原始CSS，未作任何编辑改动就已经达到如此效果：
1 t. N7 p6 I# B* I
3 x- @$ D# }' T: \. o3 V) F; f9 `

Oeasy

bt4baidu 发表于 2014-8-9 21:53
看来O大已经动手了，卡在哪个环节，有啥困难说说看
4 J/ ~& [/ J( c, o
) h. Z, M' b& Y' X- S+ h: z登录型网站建议用requests库，它支持sessi ...

{:5_227:}
1 L" Z& R" A* v  h0 I5 _7 }1 R( Y! o
卡在了第一步，对学习型词典无爱。
% c2 G* s. m- g0 r3 J
我只是大概觉得要获取完整的Headword List似乎不那么容易。

bt4baidu

Oeasy 发表于 2014-8-9 21:59
卡在了第一步，对学习型词典无爱。

我只是大概觉得要获取完整的Headword List似乎不那么 ...

http://global.longmandictionarie ... key/ldoce6/%key%/1/

! i# f. f4 c7 R每跑一次返回一个HTML片断，用这个正则即可搞到查询用key；用该片断的最后一个key和拼进上面的url即可获得下一片断，循环下去直到最后一个单词‘zzz’返回空<ul></ul>，结束。

1. <li><a\s+data-alphakey="([^"]+)"\s*data-key="([^"]+)">

复制代码

Oeasy

bt4baidu 发表于 2014-8-9 22:05
% ?9 s2 d* D5 E5 K/ Thttp://global.longmandictionaries.com/dict_search/get_entry_chunk_for_alpha_key/ldoce6/%key%/1/
. @  F, f" n' a3 u2 B
, T  s3 \# g( z, p ...

8 {. D$ |$ ~0 x& g& b5 \: T{:5_227:}
( R' ]+ V+ g* a: ~# g" Y会者不难，想学就会。
不过，累觉不爱。

bt4baidu

{:5_217:}
8 k, i) _! T; O8 C
本人同样只研究代码，不抓数据，不做词典；对该词典感兴趣的同学可照此思路继续下去；打算做伸手党的就别等了，三五年之后或许有人会放出来
累觉不爱~~~{:10_293:}

ceoyee

唯有等Hugh大哥做吧.. 我相信Hugh大哥這個朗文控是不會放棄朗文6的~~

zjzengdongyang

bt4baidu 发表于 2014-7-24 12:29
模拟登录不难，百度一大堆现成的代码，拷过来直接能用
session建起来就可以拿个大号针管抽血了
9 s' ^# q5 L0 W' c$ V6 Y% v ...

其实我抓取网页要不是用httrack(线程难控制)或teleport(数量限制).
0 g+ N/ L# D2 j就是自己编一个C程序,system()curl下载,用正则表达式过滤链接(可惜Java或js难处理),curl可以post网页(有一个查询网页就是要post才能下),自定义heads,cookies.啥事都搞定.

zjzengdongyang

bt4baidu 发表于 2014-8-9 21:53
* [* r; H: l9 s' H2 n看来O大已经动手了，卡在哪个环节，有啥困难说说看

7 S  z" z8 ~1 D1 O登录型网站建议用requests库，它支持sessi ...

requests库有没有C/C++ API?想试试看,libcurl参数多到我头晕,所以只能system()curl来下,不过好像速度有点慢(单线程)...

zjzengdongyang

我先用HttpAnalyzerStdV7抓GET和POST了

zjzengdongyang

我勒个去HttpAnalyzerStdV7崩溃还是用Wireshark吧

zjzengdongyang

我的天呀,全是POST.

zjzengdongyang

POST /dict_search/get_entry_chunk_for_alpha_key/ldoce6/abdicate/0/ HTTP/1.1
4 x& o/ z$ G/ bHost: global.longmandictionaries.com
Connection: keep-alive
2 w5 ~# Q3 e1 D6 E+ T/ l% }Content-Length: 0
2 V- O$ n. p- H2 B* ]Accept: text/html, */*; q=0.01
6 I; B/ n( u2 k# U) D  G" a& oOrigin: http://global.longmandictionaries.com
7 P' \' z0 l# o. I( \# BX-Requested-With: XMLHttpRequest
8 d9 N7 u$ {& Z; D: T' _User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Referer: http://global.longmandictionaries.com/ldoce6/dictionary
7 i1 ^1 x* U3 \, s7 q' i- oAccept-Encoding: gzip,deflate,sdch
  R$ Y6 ]  }+ D; zAccept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......

zjzengdongyang

POST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
Host: global.longmandictionaries.com
/ j; {  O1 F: b- ^0 M  PConnection: keep-alive
, U4 f" P4 Y8 h* T  rContent-Length: 23
+ I6 t5 R1 a  o7 C3 y3 l3 g! ^+ d3 xAccept: */*
9 G2 O) @, a: i7 R* HOrigin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
: G( l9 l! e& ~$ ^4 I9 Y! H, JUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
2 ~# O3 l; r2 R. kReferer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
6 }7 ?, r5 v6 v- ]5 O! gCookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
2 `$ n% S2 _, ualpha_key=a_amp_w&name=

zjzengdongyang

GET /popup/supp/ldoce6/phrases/abandon_2 HTTP/1.1
1 u, j. a& b: `8 r7 jGET /popup/supp/ldoce6/examples/abandon_2 HTTP/1.1
7 _9 ^; r; O: ]# Z: B3 I$ m+ a9 z% @GET /res/audio/hwd/ame/2/abandon1.mp3 HTTP/1.1
: ]5 V- b( w! M9 m" \4 k# J7 @GET /res/audio/hwd/bre/7/abandon_v0205.mp3 HTTP/1.1
终于有GET了,不过好像有点坑ame/2/abandon1.mp3和bre/7/abandon_v0205.mp3是什么规律

zjzengdongyang

abandon1,2实例:
POST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
7 \% u$ J5 u) ~Host: global.longmandictionaries.com
1 u( M' L2 }2 B- X- n8 zConnection: keep-alive
; N0 B- `/ H* L- u$ h9 w6 ]9 wContent-Length: 25
5 ~  g2 v/ o  t7 B+ G2 f2 AAccept: */*
Origin: http://global.longmandictionaries.com
: a8 J# ~( \9 E' c% Z3 J5 u$ i3 B) T1 `/ [X-Requested-With: XMLHttpRequest
) K; r$ P! w/ }3 ^4 kUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
. }3 i  L9 w8 Z: k) U8 Q9 AContent-Type: application/x-www-form-urlencoded; charset=UTF-8
8 }# g3 a4 Q- o4 i% D% SReferer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
alpha_key=abandon_1&name=


( j) z# G% K, n' Q# Y- \POST /dict_search/other_words/ldoce6/ HTTP/1.1
Host: global.longmandictionaries.com
( z# @* R, u* d* mConnection: keep-alive
/ U+ a9 l- L# N& ]+ DContent-Length: 19
Accept: text/html, */*; q=0.01
* N. ^' _& a1 _, e/ I1 H+ t* |: q. aOrigin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
; q5 T) D! `2 e, FUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
% s0 w% e5 B' `Content-Type: application/x-www-form-urlencoded; charset=UTF-8
. F4 U* v) J/ ]; ?0 QReferer: http://global.longmandictionaries.com/ldoce6/dictionary
6 J- K7 t9 n/ x  o( M+ RAccept-Encoding: gzip,deflate,sdch
9 k0 {/ g( |- J- mAccept-Language: zh-CN,zh;q=0.8
, x8 x" {2 v. K7 W) Q( j# S4 FCookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
+ V& |' |: `: |' F( u9 Oentry_key=abandon_1

% E* H# {1 `; a' [2 M% `
9 L) D1 C) A- kPOST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
8 w# h: G- w* NHost: global.longmandictionaries.com
Connection: keep-alive
  e/ z% N$ }% Y2 t+ d$ ]0 z( wContent-Length: 25
+ y+ J. N& Q+ r0 P, J! ^* ~Accept: */*
/ W0 A7 B2 F* o: D6 cOrigin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Referer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
' n/ d5 _4 Z& T3 l6 v8 salpha_key=abandon_2&name=
2 _: e1 m# ^! a) T! W# T

POST /dict_search/other_words/ldoce6/ HTTP/1.1
Host: global.longmandictionaries.com
6 t0 K. U% Z9 U7 LConnection: keep-alive
! _# r) T8 [/ Q5 X- e& l5 k, dContent-Length: 19
  F* h. r+ w6 q8 \8 x# ~7 o' xAccept: text/html, */*; q=0.01
Origin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
6 c5 e1 f& Q6 K' F( dUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
+ P1 c# Q3 j( ]9 J6 Q; ?& Q4 wReferer: http://global.longmandictionaries.com/ldoce6/dictionary
8 |! z1 b" c7 W3 C1 x& Y1 s7 _! tAccept-Encoding: gzip,deflate,sdch
/ c+ B6 j) e7 W; fAccept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
entry_key=abandon_2
' d; K2 I. |1 B) y- E

, h5 M. p' C! [1 {: C/ |8 qGET /popup/supp/ldoce6/phrases/abandon_2 HTTP/1.1
GET /popup/supp/ldoce6/examples/abandon_2 HTTP/1.1
GET /popup/supp/ldoce6/collocations/abandon_2 HTTP/1.1