当前位置:天才代写 > tutorial > Python教程 > python抓取google搜索功效

python抓取google搜索功效

2017-11-02 08:00 星期四 所属: Python教程 浏览:69

前一段时间一直在研究如何用python抓取搜索引擎功效,在实现的进程中碰着了许多的问题,我把我碰着的问题都记录下来,但愿今后碰着同样问题的童鞋不要再走弯路。

1. 搜索引擎的选取

  选择一个好的搜索引擎意味着你可以或许获得更精确的搜索功效。我用过的搜索引擎有四种:Google、Bing、Baidu、Yahoo!。 作为措施员,我首选Google。但当我瞥见我最爱的Google返回给我的全是一堆的js代码,基础没我想要的搜索功效。于是我转而投向了Bing的阵营,在用过一段时间后我发明Bing返回的搜索功效对付我的问题来说不太抱负。合法我要绝望时,Google拯救了我。本来Google为了照顾那些克制欣赏器利用js的用户,尚有别的一种搜索方法,请看下面的搜索URL:

https://www.google.com.hk/search?hl=en&q=hello

  hl指定要搜索的语言,q就是你要搜索的要害字。 好了,感激Google,搜索功效页面包括我要抓取的内容。

  PS: 网上许多操作python抓取Google搜索功效照旧操作 https://ajax.googleapis.com/ajax/services/search/web… 的要领。需要留意的是这个要领Google已经不再推荐利用了,见 https://developers.google.com/web-search/docs/ 。Google此刻提供了Custom Search API, 不外API限制天天100次请求,假如需要更多则只能费钱买。

2. Python抓取并阐明网页

  操作Python抓取网页很利便,不多说,见代码:

def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

  第6行的 html 就是我们抓取的搜索功效页面源码。利用过Python的同学会发明,Python同时提供了urllib 和 urllib2两个模块,都是和URL请求相关的模块,不外提供了差异的成果,urllib只可以吸收URL,而urllib2可以接管一个Request类的实例来配置URL请求的headers,这意味着你可以伪装你的user agent 等(下面会用到)。

  此刻我们已经可以用Python抓取网页并生存下来,接下来我们就可以从源码页面中抽取我们想要的搜索功效。Python提供了htmlparser模块,不外用起来相比拟力贫苦,这里推荐一个很好用的网页阐明包BeautifulSoup,关于BeautifulSoup的用法官网有具体的先容,这里我不再多说。

  操作上面的代码,对付少量的查询还较量OK,但假如要举办上千上万次的查询,上面的要领就不再有效了, Google会检测你请求的来历,假如我们操作呆板频繁爬取Google的搜索功效,不多久就Google会block你的IP,并给你返回503 Error页面。这不是我们想要的功效,于是我们还要继承摸索

  前面提到操作urllib2我们可以配置URL请求的headers,  伪装我们的user agent。简朴的说,user agent就是客户端欣赏器等应用措施利用的一种非凡的网络协议, 在每次欣赏器(邮件客户端/搜索引擎蜘蛛)举办 HTTP 请求时发送随处事器,处事器就知道了用户是利用什么欣赏器(邮件客户端/搜索引擎蜘蛛)来会见的。 有时候为了到达一些目标,我们不得不去善意的欺骗处事器汇报它我不是在用呆板会见你。

  于是,我们的代码就成了下面这个样子:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
         'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
         'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
         (KHTML, like Gecko) Element Browser 5.0', \
         'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
         'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
         'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
         'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
         Version/6.0 Mobile/10A5355d Safari/8536.25', \
         'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
         Chrome/28.0.1468.0 Safari/537.36', \
         'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     index = random.randint(0, 9)
     user_agent = user_agents[index]
     request.add_header('User-agent', user_agent)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

  不要被user_agents谁人list吓到,那其实就是10个user agent 字符串,这么做是让我们伪装的更好一些,假如你需要更多的user agent 请看这里 UserAgentString。

17-19行暗示随机选择一个user agent 字符串,然后用request 的add_header要领伪装一个user agent。

#p#分页标题#e#

  通过伪装user agent可以或许让我们一连抓取搜索引擎功效,假如这样还不可,那我发起在每两次查询间随机休眠一段时间,这样会影响抓取速度,可是可以或许让你更一连的抓取功效,假如你有多个IP,那抓取的速度也就上来了。

  github上有本文所有源代码,需要的同学可从下面的网址下载:

https://github.com/meibenjin/GoogleSearchCrawler

 

    关键字:


天才代写-代写联系方式