TA的每日心情 | 奋斗
2019-4-14 02:12 |
|---|
签到天数: 93 天 [LV.6]常住居民II
|
有些网站禁止未登陆用户访问，但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。4 ]" T5 ?) S7 v4 M+ E9 _4 s
* N* m& D+ J) G0 l' B
所以，只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12，点下面那三个点，在菜单中选 Network conditions，然后将 User Agent 设置为 Googlebot 即可。
( {5 u0 ]0 _2 w& O; o% l/ }4 `0 zF12 这招只对当前标签页有效，适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站，可以直接在命令行上修改全局 User Agent：chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
3 Q' }3 k! {9 ~7 d* L5 k4 U- F q3 ~, o t$ ?8 C# e: ]9 _& _
- d' j- f* q" g' f0 F
4 n: q# O6 q8 p- w8 M以上内容来自微博。供参考。 |
|
发表于 2019-3-7 20:55:28
