你没有看错没错今天小编带你爬取LOL官网全英雄皮肤的图片
接下咱们来讲讲怎么爬取LOL官网
首先让咱们找到每个英雄皮肤的地址,F12打开开发者工具页面选择器选中图片自動找寻到图片的地址
龙的传人 李青的图片地址:
爬取结果展示: 全原画+皮肤名称汾类
与常规的静态网页不同LOL官网是借由JavaScript脚本在客户端执行后才会展示完整页面的动态网页,直接使用requests请求获得的页面是没有英雄信息的因此我们要采取一定的方案
鼠标右键原画检查页面,可以看到皮肤原画地址就在眼前
那么我们就要考虑如何获取所有英雄的皮肤ID以及相關信息了
|
这是一个创建于 1185 天前的主题其Φ的信息可能已经有所发展或是发生改变。
新手第一帖勿喷。。
print('正在获取版本信息……')
print('以下是当前版本完整***包的下载地址:')
专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档
VIP免费文档是特定的一类共享文档,会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档
VIP专享8折文档是特定的一类付费文档,会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档
付费文档是百度文库认证用户/机构上传的专业性文档,需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档
共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档,具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。
屏幕从左上角开始逐行扫描
在version1的基础上调整小球的帧率
在version2 的基础上增加通过键盘调整球的位置
你没有看错没错今天小编带你爬取LOL官网全英雄皮肤的图片
接下咱们来讲讲怎么爬取LOL官网
首先让咱们找到每个英雄皮肤的地址,F12打开开发者工具页面选择器选中图片自動找寻到图片的地址
龙的传人 李青的图片地址:
由打印到控制台的数据可以看出來:从html文本中提取的主播名字和人气值数据中含有较多无意义的符号,比如空格和换行符因此需要精炼数据,剔除不需要内容
最后┅步,通过__sort()
方法按主播人气值对精炼后的数据进行排序并通过__show()
方法打印最终的数据。
以上数据是2018年11月30号下午6点爬取的因为直播网站的特点,不同时间段爬取的数据差异较大另外,除了panda直播LOL板块其他板块的数据也可以用上面的方法爬取,只需要将url
最后的lol
换成其他板块嘚名字即可但是想要爬取其他直播网站的数据,上面的代码就需要改动其他地方了因为不同直播网站的html结构是不一样的,需要具体分析html页面写出相应的正则表达式以提取想要的数据。
写在最后有爬虫,自然会有反爬虫我试着爬过“某鱼”的数据,发现并不能通过request對象获取html网页所以,需要学习的东西还很多加油吧。