python获取WMU的问题

Husigh

0 P% h! r1 o3 M/ b$ sb大脚本名为******.py。eb的账号已经找到了，现在是速度特别慢，老是报错。错误信息如下。py是2.7.14版

eb机构账户是不是可以开多窗口？如何设置分块多窗口提取？请教各位，谢谢。
4 C2 w+ h* m4 \( J. q
- z$ N) w, |# C" M  _8 s/ G. [% E-Traceback (most recent call last):
! t  [+ i$ ~0 ]  B. @  File "D:\M\******.py", line 244, in __fetchdata_and_make_mdx
    page = self.postdata(start, pos)
2 N# ?' T6 z# O6 E+ h( R% e  File "D:\M\******.py", line 526, in postdata
) y( t; a9 h$ F7 g! _* e! E: k    r = self.__session.post(self.__base_url, data=param, timeout=100)
( z; B0 T. {5 D, J  File "C:\Python27\lib\requests\sessions.py", line 555, in post
    return self.request('POST', url, data=data, json=json, **kwargs)
  File "C:\Python27\lib\requests\sessions.py", line 508, in request
    resp = self.send(prep, **send_kwargs)
9 ]5 ], }& Q8 L  File "C:\Python27\lib\requests\sessions.py", line 658, in send
% e5 Q- G+ {, `3 w    r.content
  File "C:\Python27\lib\requests\models.py", line 823, in content
) K6 d" o, Z. Z) Z    self._content = bytes().join(self.iter_content(CONTENT_CHUNK_SIZE)) or bytes()
& n( ~3 U5 F; K  File "C:\Python27\lib\requests\models.py", line 752, in generate
    raise ConnectionError(e)
ConnectionError: HTTPConnectionPool(host='**.***.com', port=80): Read timed out.
None
'180: 9' failed, retry automatically later
% W5 o6 k5 D5 d6 ]6 j- Traceback (most recent call last):
  File "D:\M\******.py", line 247, in __fetchdata_and_make_mdx
    word = self.makeword(page, words, pic)
; x" j4 U. m% O! ^  File "D:\M\******.py", line 595, in makeword
5 i! ?6 e) m( A  C4 M2 W# x    worddef = p.sub(lambda m: self.__chgimg(m, pic), worddef)
File "D:\M\******.py", line 595, in <lambda>
5 H6 Q% K: E0 s2 D    worddef = p.sub(lambda m: self.__chgimg(m, pic), worddef)
  File "D:\M\******.py", line 572, in __chgimg
/ Z! p3 Y( Z: e7 [: [    div = p.sub(lambda n: self.__repimg(m.group(1), n.group(1), self.__origin), div)
7 f( S4 Q" [6 V% B  File "D:\M\******.py", line 572, in <lambda>
  A  r+ g4 E) i    div = p.sub(lambda n: self.__repimg(m.group(1), n.group(1), self.__origin), div)
  File "D:\M\******.py", line 547, in __repimg
' h( {& M5 M+ u4 S0 w    dump(self.getpage(''.join([rpath, fnm]), base_url), file, 'wb')
  File "D:\M\******.py", line 522, in getpage
% u  O2 @% e, z4 L    return getpage(self.__session, link, base_url)
  File "D:\M\******.py", line 73, in getpage
# L- Q: V$ p/ }) s& g' @    r = session.get(url, timeout=10, allow_redirects=False)
) S* A+ J1 ~7 k1 d9 K  File "C:\Python27\lib\requests\sessions.py", line 521, in get
$ Y% D: ]5 d4 J" o" |$ P5 @    return self.request('GET', url, **kwargs)
  File "C:\Python27\lib\requests\sessions.py", line 508, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Python27\lib\requests\sessions.py", line 658, in send
    r.content
& D, V; V0 a$ }  File "C:\Python27\lib\requests\models.py", line 823, in content
7 E. ~5 `  \* T/ C" o9 A    self._content = bytes().join(self.iter_content(CONTENT_CHUNK_SIZE)) or bytes()
  File "C:\Python27\lib\requests\models.py", line 752, in generate
3 {! ?/ g! T, ?* b5 M% G) j    raise ConnectionError(e)

' Q5 B% r  O5 T, w+ a6 ]1 d
ConnectionError: HTTPConnectionPool(host='**.***', port=80): Max retries exceeded
9 C3 r. B- f4 ]! }with url: /baidu/%2A (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000000000386BE80>: Failed to establish a new connection: [Errno 10060] ',))

File "C:\Python27\lib\requests\adapters.py", line 508, in send
    raise ConnectionError(e, request=request)

, @+ q+ @! Y' D. a6 A$ }

; H) ^% L& V' c5 T  i1 E: d7 g: L& l9 ]有找过解决办法不知从何下手
7 s! O6 b8 A0 A6 ~7 H  x7 m5 l
例：http连接太多没有关闭导致的

1、增加重试连接次数
requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接
requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

8 E% I& H% D5 {% }1 P/ M操作方法
1 m  P/ J' S9 j/ es = requests.session()
+ e$ R5 ?4 n  p1 p. e" Z- R4 i* I  s.keep_alive = False
- N& ?# ]; I7 V7 z; d6 m

Husigh

需要user和password的网页，是不是不能用多进程抓取啊？
3 X2 m4 r5 {( ~, e7 `: c
+ N2 r6 c0 ?6 x' n+ X出现如下显示：requests.exceptions.ConnectionError:HTTPConectionPool(host='**' , port=80) Max retries exceeded with url:*****(Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000000000442F208>)Failed to establish a new connection: [Errno  10060]',))直接退出运行了
是多进程引起的吗

Husigh

超过48小时了，才到b，求帮助。

Oeasy

Husigh 发表于 2017-11-9 20:47
超过48小时了，才到b，求帮助。

3 ]. u% k) r& ^% Q( @& h4 d7 K0 Z+ \" A
国外网站，国内通过不科学上网途径访问，速度慢甚至不能访问，这是很正常的。

# C9 B. T5 [1 `3 w9 a% L. u可能网站服务器对于访问频率也做了一定限制。

做一个词典，从数据获取到排版，尤其是数据获取，耗上好几天、几週甚至几个月，那是再正常不过的事情，做过的都知道。两三年前有朋友抓过一回，当时并没有 bt4baidu 的开源脚本，前前后后弄了近一年时间。
0 ?1 ]5 T- C- A, u( L; D% E
; i+ x  u( i* O7 ]当然，技术、资金实力雄厚的话，可能会节省海量的时间。比如租好多服务器，买好多**，可以很快搞定；土豪都不用自己动手，直接买数据甚至成品就行了嘛。不过一般人做不到，只有砸时间了。
4 w8 z$ ]- R+ ?4 ]& z6 T: D9 k/ }% l* r
加油噢，从你的帖子，也看到了你的进步。
0 Y& {. Q' ^$ L* W# c8 R; U/ W5 R
我是无暇给予其他技术上的帮助，敲边鼓还是会的。
. m0 `" U& M, I% U1 h" E
( s' x  Y- a6 H) A9 b/ r$ n1 r

Husigh

Oeasy 发表于 2017-11-10 08:32
国外网站，国内通过不科学上网途径访问，速度慢甚至不能访问，这是很正常的。

可能网站服务器对于访问 ...

+ e$ _  ~8 L$ \谢谢鼓励。时间还是可以耗得起的，就怕试用到期，封我的IP。

Husigh

现在到e了，心力憔悴

Husigh

eb机构账户是不是可以开多窗口？如何设置分块多窗口提取？请教各位，谢谢。

Husigh

K