怎么用python代码实现爬取奥特曼图片
怎么用python代码实现爬取奥特曼图片
这篇文章主要讲解了“怎么用python代码实现爬取奥特曼图片”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么用python代码实现爬取奥特曼图片”吧！
爬取网址：http://www.ultramanclub.com/allultraman/
使用工具：pycharm，requests
进入网页
打开开发者工具
点击 Network
刷新网页，获取信息
其中的Request URL就是我们所爬取的网址
滑到最下有一个User-Agent，复制
向服务器发送请求
200意味着请求成功
使用 response.text 获取文本数据
可以看到有些乱码
使用encode转换
import requests url = 'http://www.ultramanclub.com/allultraman/' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36' } response = requests.get(url = url,headers=headers) html = response.text Html=html.encode('iso-8859-1').decode('gbk') print(Html)
接下来开始爬取需要的数据
使用Xpath获得网页链接
要使用Xpath必须先导入parsel包
import requests import parsel def get_response(html_url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36' } response = requests.get(url = html_url,headers=headers) return response url = 'http://www.ultramanclub.com/allultraman/' response = get_response(url) html=response.text.encode('iso-8859-1').decode('gbk') selector = parsel.Selector(html) period_hrefs = selector.xpath('//div[@class="btn"]/a/@href') #获取三个时代的网页链接 for period_href in period_hrefs: print(period_href.get())
可以看到网页链接不完整，我们手动给它添加上去period_href = 'http://www.ultramanclub.com/allultraman/' + period_href.get()
进入其中一个网页
跟之前的操作一样，用Xpath获取奥特曼的网页信息
for period_href in period_hrefs: period_href = 'http://www.ultramanclub.com/allultraman/' + period_href.get() # print(period_href) period_response = get_response(period_href).text period_html = parsel.Selector(period_response) lis = period_html.xpath('//div[@class="ultraheros-Contents_Generations"]/div/ul/li/a/@href') for li in lis: print(li.get())
运行后同样发现链接不完整
li = 'http://www.ultramanclub.com/allultraman/' + li.get().replace('./','')
拿到网址后继续套娃操作,就可以拿到图片数据
png_url = 'http://www.ultramanclub.com/allultraman/' + li_selector.xpath('//div[@class="left"]/figure/img/@src').get().replace('../','')
完整代码
import requests import parsel import os dirname = "奥特曼" if not os.path.exists(dirname): #判断是否存在名称为奥特曼的文件夹，没有就创建 os.mkdir(dirname) def get_response(html_url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36' } response = requests.get(url = html_url,headers=headers) return response url = 'http://www.ultramanclub.com/allultraman/' response = get_response(url) html=response.text.encode('iso-8859-1').decode('gbk') selector = parsel.Selector(html) period_hrefs = selector.xpath('//div[@class="btn"]/a/@href') #获取三个时代的网页链接 for period_href in period_hrefs: period_href = 'http://www.ultramanclub.com/allultraman/' + period_href.get() period_html = get_response(period_href).text period_selector = parsel.Selector(period_html) lis = period_selector.xpath('//div[@class="ultraheros-Contents_Generations"]/div/ul/li/a/@href') for li in lis: li = 'http://www.ultramanclub.com/allultraman/' + li.get().replace('./','') #获取每个奥特曼的网址 # print(li) li_html = get_response(li).text li_selector = parsel.Selector(li_html) url = li_selector.xpath('//div[@class="left"]/figure/img/@src').get() # print(url) if url: png_url = 'http://www.ultramanclub.com/allultraman/' + url.replace('.', '') png_title =li_selector.xpath('//ul[@class="lists"]/li[3]/text()').get() png_title = png_title.encode('iso-8859-1').decode('gbk') # print(li,png_title) png_content = get_response(png_url).content with open(f'{dirname}\{png_title}.png','wb') as f: f.write(png_content) print(png_title,'图片下载完成') else: continue
当爬到 奈克斯特奥特曼的时候，就会返回None，调了半天，也没搞懂，所以用if url：语句跳过了奈克斯特奥特曼，有没有大佬知道原因
url = li_selector.xpath('//div[@class="left"]/figure/img/@src').get()
感谢各位的阅读，以上就是“怎么用python代码实现爬取奥特曼图片”的内容了，经过本文的学习后，相信大家对怎么用python代码实现爬取奥特曼图片这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是高防服务器网，小编将为大家推送更多相关知识点的文章，欢迎关注！
[微信提示：高防服务器能助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。
[图文来源于网络，不代表本站立场，如有侵权，请联系高防服务器网删除]
[