大家还感兴趣的 >>>
威尼斯游戏
威尼斯游戏大厅- 「Python3网络爬虫开发实战」 分析Ajax爬取今日头条街拍美图
威尼斯游戏大厅- 「Python3网络爬虫开发实战」 分析Ajax爬取今日头条街拍美图
威尼斯游戏大厅- 「Python3网络爬虫开发实战」 分析Ajax爬取今日头条街拍美图
威尼斯游戏大厅- 「Python3网络爬虫开发实战」 分析Ajax爬取今日头条街拍美图 首页 > 业绩展示 > 国内业绩
本文摘要:前言本文的文字及图片泉源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请实时联系我们以作处置惩罚。

前言本文的文字及图片泉源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请实时联系我们以作处置惩罚。本节中,我们以今日头条为例来实验通太过析Ajax请求来抓取网页数据的方法。这次要抓取的目的是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到当地并生存下来。

威尼斯游戏网站

准备事情在本节开始之前,请确保已经安装好requests库。如果没有安装,可以参考第1章。

抓取分析在抓取之前,首先要分析抓取的逻辑。打开今日头条的首页http://www.toutiao.com/,如图6-15所示。右上角有一个搜索入口,这里实验抓取街拍美图,所以输入“街拍”二字搜索一下,效果如图6-16所示。这时打开开发者工具,检察所有的网络请求。

首先,打开第一个网络请求,这个请求的URL就是当前的链接http://www.toutiao.com/search/?keyword=街拍,打开Preview选项卡检察Response Body。如果页面中的内容是凭据第一个请求获得的效果渲染出来的,那么第一个请求的源代码中一定会包罗页面效果中的文字。为了验证,我们可以实验搜索一下搜索效果的标题,好比“路人”二字,如图6-17所示。

我们发现,网页源代码中并没有包罗这两个字,搜索匹配效果数目为0。因此,可以开端判断这些内容是由Ajax加载,然后用JavaScript渲染出来的。接下来,我们可以切换到XHR过滤选项卡,检察一下有没有Ajax请求。不出所料,此处泛起了一个比力通例的Ajax请求,看看它的效果是否包罗了页面中的相关数据。

点击data字段展开,发现这里有许多条数据。点击第一条展开,可以发现有一个title字段,它的值正好就是页面中第一条数据的标题。

再检查一下其他数据,也正好是一一对应的,如图6-18所示。这就确定了这些数据确实是由Ajax加载的。

我们的目的是要抓取其中的美图,这里一组图就对应前面data字段中的一条数据。每条数据另有一个image_detail字段,它是列表形式,这其中就包罗了组图的所有图片列表,如图6-19所示。因此,我们只需要将列表中的url字段提取出来并下载下来就好了。每一组图都建设一个文件夹,文件夹的名称就为组图的标题。

接下来,就可以直接用Python来模拟这个Ajax请求,然后提取出相关美图链接并下载。可是在这之前,我们还需要分析一下URL的纪律。切换回Headers选项卡,视察一下它的请求URL和Headers信息,如图6-20所示。图6-20 请求信息可以看到,这是一个GET请求,请求URL的参数有offset、format、keyword、autoload、count和cur_tab。

我们需要找出这些参数的纪律,因为这样才可以利便地用法式结构出来。接下来,可以滑动页面,多加载一些新效果。在加载的同时可以发现,Network中又泛起了许多Ajax请求,如图6-21所示。这里视察一下后续链接的参数,发现变化的参数只有offset,其他参数都没有变化,而且第二次请求的offset值为20,第三次为40,第四次为60,所以可以发现纪律,这个offset值就是偏移量,进而可以推断出count参数就是一次性获取的数据条数。

因此,我们可以用offset参数来控制数据分页。这样一来,我们就可以通过接口批量获取数据了,然后将数据剖析,将图片下载下来即可。

实战演练我们适才已经分析了一下Ajax请求的逻辑,下面就用法式来实现美图下载吧。另外如果你对ajax不熟的话。首先,实现方法get_page()来加载单个Ajax请求的效果。

威尼斯游戏网站

其中唯一变化的参数就是offset,所以我们将它看成参数通报,实现如下:import requestsfrom urllib.parse import urlencode def get_page(offset): params = { 'offset': offset, 'format': 'json', 'keyword': '街拍', 'autoload': 'true', 'count': '20', 'cur_tab': '1', } url = 'http://www.toutiao.com/search_content/?' + urlencode(params) try: response = requests.get(url) if response.status_code == 200: return response.json() except requests.ConnectionError: return None这里我们用urlencode()方法结构请求的GET参数,然后用requests请求这个链接,如果返回状态码为200,则挪用response的json()方法将效果转为JSON花样,然后返回。接下来,再实现一个剖析方法:提取每条数据的image_detail字段中的每一张图片链接,将图片链接和图片所属的标题一并返回,此时可以结构一个生成器。

实现代码如下:def get_images(json): if json.get('data'): for item in。


本文关键词:威尼斯游戏,威尼斯游戏大厅,威尼斯游戏网站

本文来源:威尼斯游戏-www.dedoom.com

电 话
地 图
分 享
咨 询