朗文当代高阶英语词典 6版

bt4baidu

朗文销量不逊于牛津吧，可能还要更大一点，为何要退出？

ceoyee

ceoyee 发表于 2014-7-28 14:04
成本的問題，所以朗文不出了。至於5年後朗文7的前景，也不樂觀。

主力編輯已離開團隊, 所以朗文7的質素能否維持一來以往的水準, 甚或再有大更新，則未知了。希望不會好像 collins 那樣每況愈下就好了。

ceoyee

ceoyee 发表于 2014-7-28 14:07
% `; q3 {2 H. s對文科生來說，學編程是很痛苦的。我猜你們現在弄編程的，大部份專業也是計算機。

不清楚國內的教育情況。不過我很欣賞搞編程的人，能開發實用的程序，方便大眾，改善生活，增加工作效率。

bt4baidu

看着真心眼馋。。。有种把数据抓下来的冲动。。。{:5_199:}

bolome1

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

哈哈，支持支持
如果抓到数据了能否分析下和5th的具体差别？

sqihuan

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

支持支持。大力支持大大。网络爬虫真的不会。。。。哎 只能伸手党了！

吴贯和烬羽

bt4baidu 发表于 2014-7-31 21:14
4 Q7 w! M( q% `1 [3 ?看着真心眼馋。。。有种把数据抓下来的冲动。。。

1 G# ]& H' G: G' e# `  ~= =装了python环境，还是不懂怎么抓

ceoyee

bt4baidu 发表于 2014-7-31 21:14
7 X" I" X9 m# B8 x看着真心眼馋。。。有种把数据抓下来的冲动。。。

9 L. o( v% k* u; ]- G4 e除了朗文6之外, 在去年還出了一個 collocations dictionary
此本字典同樣沒有光碟版, 只提供網上搜索。
* E  Q5 E0 S$ W) F0 S2 `) W
7 S0 _/ B1 e; g. ~- c1 ~不過能抓下來, 同樣是功德無量了。

ceoyee

謝謝O大你提醒我啊!! 難怪腦海中一直覺得在掌上百科有 collocations 字典..但一直想不起來..
, P/ s5 z2 ^* S! D! j/ Z1 mHugh大 真的了不起! 感謝!!!

bt4baidu

bt4baidu 发表于 2014-7-31 21:14
看着真心眼馋。。。有种把数据抓下来的冲动。。。

稍微研究一下网站构造，朗文真是堪称环保的典范
查词的时候居然只返回词条内容那一小块HTML，一丁点垃圾代码都没有，甚至连一个多余的空格都没有，太赞勒
这也意味着跑一遍单词表，把得到的数据用</>分隔一下，直接就是成品了
" ~- d7 }0 E7 Z4 @; k: r
- M6 w  J6 o! _不用抠数据，不用编辑，不用格式化，一切就是这么简单

bt4baidu

3 P9 X2 U% d* ]' D% S
" J- m+ R' F% ^6 e- d( z看来O大已经动手了，卡在哪个环节，有啥困难说说看{:5_217:}
- i8 e' ?. R' M3 h( ?
" t/ s- M- f% q) c2 S: s  w登录型网站建议用requests库，它支持session，自动支持cookies，而且内部有个用urllib3实现的HTTP连接池，相当于像蚂蝗一样叮上就不松口，效率非常高
0 {/ A' A7 N- ?# s% K4 w; a6 FLongman比较特别的是大量用FORM POST，不像一般网站都是GET
9 I" m( b9 Y+ \4 J9 h9 j2 J% e8 Q

没那么简单，不信你试试。o(∩_∩)o  

不要教唆我干坏事。。。
, v+ _' B7 D7 F
' Z5 ^2 Y; k5 c" O我试了一个词条，原始HTML，原始CSS，未作任何编辑改动就已经达到如此效果：
; B8 \/ e( v' }9 K+ v) [- x
0 t5 D( `. L) d4 Y8 y

Oeasy

bt4baidu 发表于 2014-8-9 21:53
看来O大已经动手了，卡在哪个环节，有啥困难说说看
3 L- ?* G% V: {" R7 s
0 }( v+ _& H  m; N6 i登录型网站建议用requests库，它支持sessi ...

{:5_227:}
* ]' ]; E7 u7 [5 v) {
8 y# [( @/ ^. _6 e卡在了第一步，对学习型词典无爱。
' J% R4 H+ Q: G2 O- p8 x
我只是大概觉得要获取完整的Headword List似乎不那么容易。

bt4baidu

Oeasy 发表于 2014-8-9 21:59
卡在了第一步，对学习型词典无爱。

我只是大概觉得要获取完整的Headword List似乎不那么 ...

http://global.longmandictionarie ... key/ldoce6/%key%/1/
7 F/ p- i- r1 j! j6 w* Y
1 Q$ G. F3 y3 h每跑一次返回一个HTML片断，用这个正则即可搞到查询用key；用该片断的最后一个key和拼进上面的url即可获得下一片断，循环下去直到最后一个单词‘zzz’返回空<ul></ul>，结束。

1. <li><a\s+data-alphakey="([^"]+)"\s*data-key="([^"]+)">

复制代码

Oeasy

bt4baidu 发表于 2014-8-9 22:05
http://global.longmandictionaries.com/dict_search/get_entry_chunk_for_alpha_key/ldoce6/%key%/1/

. ^7 ^' Y8 i7 D. D2 F ...

1 S; B" V5 J! @5 H& a4 N6 ?5 x9 P% B{:5_227:}
会者不难，想学就会。
不过，累觉不爱。

bt4baidu

{:5_217:}

本人同样只研究代码，不抓数据，不做词典；对该词典感兴趣的同学可照此思路继续下去；打算做伸手党的就别等了，三五年之后或许有人会放出来
累觉不爱~~~{:10_293:}

ceoyee

唯有等Hugh大哥做吧.. 我相信Hugh大哥這個朗文控是不會放棄朗文6的~~

zjzengdongyang

bt4baidu 发表于 2014-7-24 12:29
模拟登录不难，百度一大堆现成的代码，拷过来直接能用
session建起来就可以拿个大号针管抽血了
...

" Q1 j. X" {/ d4 b0 P# b其实我抓取网页要不是用httrack(线程难控制)或teleport(数量限制).
就是自己编一个C程序,system()curl下载,用正则表达式过滤链接(可惜Java或js难处理),curl可以post网页(有一个查询网页就是要post才能下),自定义heads,cookies.啥事都搞定.

zjzengdongyang

bt4baidu 发表于 2014-8-9 21:53
看来O大已经动手了，卡在哪个环节，有啥困难说说看

. F# D! N( v+ v! @0 T登录型网站建议用requests库，它支持sessi ...

) n8 p  }- M; o5 a; L1 A6 m6 ~requests库有没有C/C++ API?想试试看,libcurl参数多到我头晕,所以只能system()curl来下,不过好像速度有点慢(单线程)...

zjzengdongyang

我先用HttpAnalyzerStdV7抓GET和POST了

zjzengdongyang

我勒个去HttpAnalyzerStdV7崩溃还是用Wireshark吧

zjzengdongyang

我的天呀,全是POST.

zjzengdongyang

POST /dict_search/get_entry_chunk_for_alpha_key/ldoce6/abdicate/0/ HTTP/1.1
Host: global.longmandictionaries.com
Connection: keep-alive
- d& Q1 @5 t9 S" j: e4 k8 DContent-Length: 0
  F0 a+ H. `# y; ]Accept: text/html, */*; q=0.01
' G8 f/ d+ K/ _# Y4 c) b+ v" a$ U/ xOrigin: http://global.longmandictionaries.com
0 N$ J) U; D% ?! F5 ~X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
8 n' F$ `6 B. a( D) j0 L. tContent-Type: application/x-www-form-urlencoded; charset=UTF-8
Referer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
! y9 o8 d3 c! x) a" VAccept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......

zjzengdongyang

7 z: F! [. C6 j$ G# ]POST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
4 k) H: [2 E+ b3 M# n/ VHost: global.longmandictionaries.com
Connection: keep-alive
Content-Length: 23
Accept: */*
Origin: http://global.longmandictionaries.com
$ @5 x1 ?3 g; g* h4 s; LX-Requested-With: XMLHttpRequest
, a5 c! ?0 r4 i  R& d; z9 f% RUser-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
; p# U9 n/ O2 q: Z6 X% @2 \. N/ C: p. _Content-Type: application/x-www-form-urlencoded; charset=UTF-8
9 L: h9 s3 a. g& U, _* {: MReferer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
/ l: o" ^0 g% m+ `* T2 wAccept-Language: zh-CN,zh;q=0.8
0 e9 H. `3 ~# j! ]2 V5 c3 `Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
alpha_key=a_amp_w&name=

zjzengdongyang

GET /popup/supp/ldoce6/phrases/abandon_2 HTTP/1.1
+ z1 d" G4 d: L1 n* Y- q, u# k/ ~GET /popup/supp/ldoce6/examples/abandon_2 HTTP/1.1
GET /res/audio/hwd/ame/2/abandon1.mp3 HTTP/1.1
! J3 r' E2 Q2 e( T& {3 Y- z. NGET /res/audio/hwd/bre/7/abandon_v0205.mp3 HTTP/1.1
终于有GET了,不过好像有点坑ame/2/abandon1.mp3和bre/7/abandon_v0205.mp3是什么规律

zjzengdongyang

abandon1,2实例:
POST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
5 F% a( f* H; dHost: global.longmandictionaries.com
Connection: keep-alive
Content-Length: 25
Accept: */*
8 T( L! U6 i+ X7 C; I, p. fOrigin: http://global.longmandictionaries.com
* A5 ~$ I% J4 J" _X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
0 Z3 F7 P) ~: v% FReferer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
$ C! l4 D( y1 talpha_key=abandon_1&name=


POST /dict_search/other_words/ldoce6/ HTTP/1.1
Host: global.longmandictionaries.com
. Q2 x: T2 q" S, r% k  BConnection: keep-alive
Content-Length: 19
: A3 u7 y( U/ pAccept: text/html, */*; q=0.01
8 E; v2 x2 X* D3 n, j9 |$ F2 WOrigin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
3 u8 V: g1 m2 h+ P& o; n, e6 [4 a; FContent-Type: application/x-www-form-urlencoded; charset=UTF-8
8 i: N1 t% S  }5 tReferer: http://global.longmandictionaries.com/ldoce6/dictionary
; |! D" o3 ^! ^Accept-Encoding: gzip,deflate,sdch
8 H8 y+ r' \& c* F$ YAccept-Language: zh-CN,zh;q=0.8
% F  x& n$ l1 p; D0 _" {Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
entry_key=abandon_1

" _# f, G0 H' L" H# g
POST /dict_search/entry_for_alpha_key/ldoce6/ HTTP/1.1
" J2 E; `( o0 C8 [- l- H* WHost: global.longmandictionaries.com
Connection: keep-alive
7 x9 @4 E3 X! Y" V- KContent-Length: 25
Accept: */*
1 }( O$ Z+ J  a( V3 ^( X* J$ G+ vOrigin: http://global.longmandictionaries.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
: x9 [- ^6 b5 z) LReferer: http://global.longmandictionaries.com/ldoce6/dictionary
9 f: f1 @/ p6 C0 i7 _; h. LAccept-Encoding: gzip,deflate,sdch
# r5 y! a# S5 o* A5 hAccept-Language: zh-CN,zh;q=0.8
Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
  c+ \8 i" p4 ?2 Aalpha_key=abandon_2&name=
# s4 f# \  s; W- i# h) _$ z3 W0 ~
5 J, k: k' x5 i$ L, r
POST /dict_search/other_words/ldoce6/ HTTP/1.1
. K: o$ `4 t* B" nHost: global.longmandictionaries.com
Connection: keep-alive
5 _, T! Q) E* ]2 {8 ]Content-Length: 19
) f. D* h4 ], s3 C' R8 h. c; @Accept: text/html, */*; q=0.01
Origin: http://global.longmandictionaries.com
8 ?  B7 T* z. T% [( E1 |! BX-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
7 p) j/ k& e4 @1 T; I2 e& rContent-Type: application/x-www-form-urlencoded; charset=UTF-8
8 U4 W) x4 ~  J$ J; I) DReferer: http://global.longmandictionaries.com/ldoce6/dictionary
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
! ~8 q5 {; @- Y6 @Cookie: ci_session=a%3A10%3A%7Bs%3A10%3A%22......
entry_key=abandon_2
% D. v( E9 [- o4 r

GET /popup/supp/ldoce6/phrases/abandon_2 HTTP/1.1
* S2 Y* _8 t" F$ R4 _! SGET /popup/supp/ldoce6/examples/abandon_2 HTTP/1.1
2 u! g. n) f" i. `4 kGET /popup/supp/ldoce6/collocations/abandon_2 HTTP/1.1