采花大盗速成秘籍之YQL

来源:个人博客     2016-06-28 10:11:52    人气:     我有话说( 0 人参与)

清泛网(www.tsingfun.com):采花大盗速成秘籍之YQL理想情况下,在一个和谐的网络里,应该允许网站彼此自由的分享数据,不过和谐的网络就好像和谐的社会一样,从未真正...

采花大盗速成秘籍之YQL

理想情况下,在一个和谐的网络里,应该允许网站彼此自由的分享数据,不过和谐的网络就好像和谐的社会一样,从未真正存在过,除了少数开放了API的网站,更多的时候,我们只能通过采集来获得数据,于是诞生了采花大盗。

 

通常,要成为采花大盗的话必须熟悉正则,但对很多人来说,这是一个不低的技术门槛,不过雅虎推出的YQL改变了这种状况。YQL全称为Yahoo! Query Language,它把整个网络看做是一个数据库,用户可以通过类似SQL的方式进行查询,使用前可以先看看YQL Guide

下面看一个例子,假设我们想采集当当网的每日特价中的商品,如下图所示:

当当网每日特价


现在可以出手了,打开YQL Console,运行如下代码即可获得相关数据:

select * from html
where url='http://www.dangdang.com/'
and xpath='//ul[@id="homepage_promotion_count_ul"]/li/p[@class="name"]/a'

通过指定XPath,就能得到想要的数据,如果不熟悉XPath,可以通过Firebug获得:

通过Firebug得到XPath

友情提示:由于客观因素,不保证本文介绍的YQL演示例子始终可用。

运行成功后,会在被采集网站的服务器上留下类似如下内容的日志:

"GET /robots.txt HTTP/1.0" 200 .. "-" "Yahoo Pipes .."
"GET .. HTTP/1.0" 200 .. "-" "Mozilla .. (compatible; Yahoo Pipes ..) .."

YQL抓取了robots.txt,可见它比较本分,网站可以通过设置robots.txt禁止YQL采集数据,此外,为了提防一小撮别有用心的人,雅虎限定了YQL的使用频率,具体参见文档。

歌声响起:路边的野花不要采,不采白不采。不过正所谓盗亦有道,不要滥用YQL。

标签: YQL  网络蜘蛛  爬虫 

本文源自互联网,采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可,
版权归原作者,如有问题请联系service@tsingfun.com (编辑:admin)