TA的每日心情 | 奋斗
2019-4-14 02:12 |
|---|
签到天数: 93 天 [LV.6]常住居民II
|
有些网站禁止未登陆用户访问，但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。$ Z' q1 [ o! \9 o
$ X _5 Y' K+ ^$ B
所以，只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12，点下面那三个点，在菜单中选 Network conditions，然后将 User Agent 设置为 Googlebot 即可。
- p3 n7 x* t; r S& U% sF12 这招只对当前标签页有效，适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站，可以直接在命令行上修改全局 User Agent：chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
q3 N, P+ R9 e+ w* {
/ p5 `& E' S u3 W0 E( I) C) T5 `' I! r8 |- ?$ o t/ Q! u S3 z
+ D4 C4 `1 C Y- ~, ~2 B以上内容来自微博。供参考。 |
|
发表于 2019-3-7 20:55:28
