经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » Python » 查看文章
Python爬虫(二):写一个爬取壁纸网站图片的爬虫(图片下载,词频统计,思路)
来源：cnblogs　　作者：养肥胖虎　　时间：2023/6/19 18:07:18　　对本文有异议

好家伙，写爬虫

 

代码:

 

  1. import requests
  2. import re
  3. import os
  4. from collections import Counter
  5. import xlwt
  6. # 创建Excel文件
  7. workbook = xlwt.Workbook(encoding='utf-8')
  8. worksheet = workbook.add_sheet('url_list')
  10. # 将数据写入Excel文件
  11. worksheet.write(0, 0, '序号') #写入对应的字段
  12. worksheet.write(0, 1, '图片详细地址')
  13. worksheet.write(0, 2, '图片TAG')
  15. def get_response(html_url):
  16.     headers ={
  17.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43'
  18.     }
  19.     response = requests.get(url=html_url,headers=headers)
  20.     return response
  22. def get_img_src(html_url):
  23.     #获取榜单地址
  24.     response =get_response(html_url)
  25.     list_url =re.findall('<img src="(.*?)"',response.text)
  26.     return list_url
  28. def get_img_src_ciping(html_url):
  29.     #获取榜单地址
  30.     response =get_response(html_url)
  31.     # print(response.text)
  32.     list_url =re.findall('title="(.*?)">',response.text)
  33.     if(list_url):
  34.         return list_url[0]
  35.     else:
  36.         return "无内容"
  37.         
  38. url = 'https://wallspic.com/cn/topic/pc_wallpapers'
  39. response = get_response(html_url=url)
  40. html_code = response.text
  41. # print(html_code)
  43. # 定义正则表达式匹配模式
  44. pattern = r'"link":"(.*?)"'
  46. # 使用re.findall()方法获取所有匹配结果
  47. result_list = re.findall(pattern, html_code)
  49. cleaned_urls_1 = []
  50. for url in result_list:
  51.     cleaned_url = url.replace("\\/\\/", "/")
  52.     cleaned_url = url.replace("\\/", "/")
  53.     cleaned_urls_1.append(cleaned_url)
  54.     print(cleaned_url)
  57. cleaned_urls_2 = []
  58. cleaned_urls_3 = []
  59. for url in cleaned_urls_1:
  60.     # 使用os.path.splitext()方法将URL路径拆分为文件名和扩展名
  61.     filename, ext = os.path.splitext(url)
  62.     # 判断扩展名是否为.jpg
  63.     if ext.lower() == '.jpg':
  64.         cleaned_urls_2.append(url)
  65.     if ext.lower() != '.jpg' and ext.lower() !='.webp':
  66.         cleaned_urls_3.append(url)
  68. # print(cleaned_urls_2)
  70. save_dir = 'C:/Users/10722/Desktop/python答辩/canuse/img/'  # 指定保存路径
  72. if not os.path.exists(save_dir):
  73.     os.makedirs(save_dir)
  75. #下载图片
  76. row = 1
  77. for url in cleaned_urls_2:
  78.     worksheet.write(row, 0, row+1) #将排行写入excel表格
  79.     worksheet.write(row, 1, url)          #将歌名写入excel表格
  81.     filename = os.path.basename(url)  # 获取文件名
  82.     filepath = os.path.join(save_dir, filename)  # 拼接保存路径和文件名
  83.     
  84.     response = requests.get(url)
  85.     with open(filepath, 'wb') as f:
  86.         f.write(response.content)
  87.         print(f'{filename} 下载完成')
  88.     row+=1
  90. print('全部图片下载完成')
  92. cleaned_urls_4 =[]
  93. roww = 1
  94. for url in cleaned_urls_3:
  95.     # print(url)
  96.     
  97.     response=get_img_src_ciping(html_url=url)
  98.     # print(response)
  100.     worksheet.write(roww, 2, response)        #将tag写入excel表格
  101.     roww+=1
  102.     cleaned_urls_4.append(response)
  103.     
  105. print(cleaned_urls_4)
  106. # urls=str(cleaned_urls_4)
  107. # 将数组中的字符串拼接成一个长字符串
  108. long_string = " ".join(cleaned_urls_4)
  110. # 使用空格将长字符串分割成一个单词列表
  111. word_list = long_string.split()
  113. # 使用Counter对单词列表进行词频统计
  114. word_counts = Counter(word_list)
  116. words =str(word_counts)
  118. worksheet.write(roww, 2, words)        #将歌手写入excel表格
  119. print(word_counts)
  120. workbook.save('C:/Users/10722/Desktop/python答辩/canuse/图片详情.xls')
Pachong.py

 

效果展示

 

 

上次爬虫去答辩了，爬的酷狗音乐的某个排行榜，

老师问我为什么没有把音乐也爬下来，

然后去翻了一下，这个音乐加密有点超出我的能力范围了(他真的太会藏了)

 

重写吧

我决定换个网站,爬个图片吧

找个壁纸网站

最佳 电脑壁纸 [30000+] |在 Wallspic 上免费下载

 

看上去好爬

 可以直接拿到图片的src

开干！

 

依旧按照以下思路进行

1.发请求，随后拿到服务器发过来的.html文件

2.用正则表达式去套对应的，我们需要的数据

3.处理数据，最后把他们以某种方式呈现

 

1.发请求拿到.html文件 

  1. url = 'https://wallspic.com/cn/topic/pc_wallpapers'
  2. response = get_response(html_url=url)
  3. html_code = response.text
  4. print(html_code)

来看看拿到的.html文本

我们并不能很直观的直接拿到<img>标签中的src

他似乎是通过某种方式注入

 

2.拿到图片的src

但是没有太大问题,我们依旧能够找到其中的src

用一个方法()把他们"过滤出来"

  1. cleaned_urls_1 = []
  2. for url in result_list:
  3.     cleaned_url = url.replace("\\/\\/", "/")
  4.     cleaned_url = url.replace("\\/", "/")
  5.     cleaned_urls_1.append(cleaned_url)
  6.     print(cleaned_url)

 来看看

 这里可以看到,在这些地址中,以两条为一组,其中,第一条为该壁纸的详情页,第二条为该壁纸的真正src

随后,可以想个办法把他们分别放到不同的数组中

  1. cleaned_urls_2 = []
  2. cleaned_urls_3 = []
  3. for url in cleaned_urls_1:
  4.     # 使用os.path.splitext()方法将URL路径拆分为文件名和扩展名
  5.     filename, ext = os.path.splitext(url)
  6.     # 判断扩展名是否为.jpg
  7.     if ext.lower() == '.jpg':
  8.         cleaned_urls_2.append(url)
  9.     if ext.lower() != '.jpg' and ext.lower() !='.webp':
  10.         cleaned_urls_3.append(url)

这里偷个懒,直接使用第三方插件os去做一个拆分,然后用ext.lower拿到他们的后缀,再进行一个判断

把两种地址分类,把他们放到不同的数组中,

详情页在后面有用,要对图片的TAG进行一个词频统计

 

3.下载图片到本地

  1. save_dir = 'C:/Users/10722/Desktop/python答辩/canuse/img/'  # 指定保存路径
  3. if not os.path.exists(save_dir):
  4.     os.makedirs(save_dir)
  6. #下载图片
  7. row = 1
  8. for url in cleaned_urls_2:
  9.     worksheet.write(row, 0, row+1) #将排行写入excel表格
  10.     worksheet.write(row, 1, url)          #将歌名写入excel表格
  12.     filename = os.path.basename(url)  # 获取文件名
  13.     filepath = os.path.join(save_dir, filename)  # 拼接保存路径和文件名
  14.     
  15.     response = requests.get(url)
  16.     # with open(filepath, 'wb') as f:
  17.     #     f.write(response.content)
  18.         # print(f'{filename} 下载完成')
  19.     row+=1
  21. print('全部图片下载完成')

这里用response发一个get请求就可以了,

 

 

4.词频统计

这里同样的,我们去到图片的详情页,然后用一个正则表达式去套图片的TAG

  1. def get_img_src_ciping(html_url):
  2.     #获取榜单地址
  3.     response =get_response(html_url)
  4.     # print(response.text)
  5.     list_url =re.findall('title="(.*?)">',response.text)
  6.     if(list_url):
  7.         return list_url[0]
  8.     else:
  9.         return "无内容"

 

再使用插件collections去统计词频

  1. cleaned_urls_4 =[]
  2. roww = 1
  3. for url in cleaned_urls_3:
  4.     # print(url)
  5.     
  6.     response=get_img_src_ciping(html_url=url)
  7.     # print(response)
  9.     worksheet.write(roww, 2, response)        #将tag写入excel表格
  10.     roww+=1
  11.     cleaned_urls_4.append(response)
  12.     
  13. print(cleaned_urls_4)
  14. # urls=str(cleaned_urls_4)
  15. # 将数组中的字符串拼接成一个长字符串
  16. long_string = " ".join(cleaned_urls_4)
  18. # 使用空格将长字符串分割成一个单词列表
  19. word_list = long_string.split()
  21. # 使用Counter对单词列表进行词频统计
  22. word_counts = Counter(word_list)
  24. words =str(word_counts)

 

然后就,搞定啦

完整代码：

  1. import requests
  2. import re
  3. import os
  4. from collections import Counter
  5. import xlwt
  6. # 创建Excel文件
  7. workbook = xlwt.Workbook(encoding='utf-8')
  8. worksheet = workbook.add_sheet('url_list')
  10. # 将数据写入Excel文件
  11. worksheet.write(0, 0, '序号') #写入对应的字段
  12. worksheet.write(0, 1, '图片详细地址')
  13. worksheet.write(0, 2, '图片TAG')
  15. def get_response(html_url):
  16.     headers ={
  17.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43'
  18.     }
  19.     response = requests.get(url=html_url,headers=headers)
  20.     return response
  22. def get_img_src(html_url):
  23.     #获取榜单地址
  24.     response =get_response(html_url)
  25.     list_url =re.findall('<img src="(.*?)"',response.text)
  26.     return list_url
  28. def get_img_src_ciping(html_url):
  29.     #获取榜单地址
  30.     response =get_response(html_url)
  31.     # print(response.text)
  32.     list_url =re.findall('title="(.*?)">',response.text)
  33.     if(list_url):
  34.         return list_url[0]
  35.     else:
  36.         return "无内容"
  37.         
  40. url = 'https://wallspic.com/cn/topic/pc_wallpapers'
  41. response = get_response(html_url=url)
  42. html_code = response.text
  43. # print(html_code)
  45. # 定义正则表达式匹配模式
  46. pattern = r'"link":"(.*?)"'
  48. # 使用re.findall()方法获取所有匹配结果
  49. result_list = re.findall(pattern, html_code)
  51. cleaned_urls_1 = []
  52. for url in result_list:
  53.     cleaned_url = url.replace("\\/\\/", "/")
  54.     cleaned_url = url.replace("\\/", "/")
  55.     cleaned_urls_1.append(cleaned_url)
  56.     print(cleaned_url)
  59. cleaned_urls_2 = []
  60. cleaned_urls_3 = []
  61. for url in cleaned_urls_1:
  62.     # 使用os.path.splitext()方法将URL路径拆分为文件名和扩展名
  63.     filename, ext = os.path.splitext(url)
  64.     # 判断扩展名是否为.jpg
  65.     if ext.lower() == '.jpg':
  66.         cleaned_urls_2.append(url)
  67.     if ext.lower() != '.jpg' and ext.lower() !='.webp':
  68.         cleaned_urls_3.append(url)
  70. # print(cleaned_urls_2)
  72. save_dir = 'C:/Users/10722/Desktop/python答辩/canuse/img/'  # 指定保存路径
  74. if not os.path.exists(save_dir):
  75.     os.makedirs(save_dir)
  77. #下载图片
  78. row = 1
  79. for url in cleaned_urls_2:
  80.     worksheet.write(row, 0, row+1) #将排行写入excel表格
  81.     worksheet.write(row, 1, url)          #将歌名写入excel表格
  83.     filename = os.path.basename(url)  # 获取文件名
  84.     filepath = os.path.join(save_dir, filename)  # 拼接保存路径和文件名
  85.     
  86.     response = requests.get(url)
  87.     # with open(filepath, 'wb') as f:
  88.     #     f.write(response.content)
  89.         # print(f'{filename} 下载完成')
  90.     row+=1
  92. print('全部图片下载完成')
  94. cleaned_urls_4 =[]
  95. roww = 1
  96. for url in cleaned_urls_3:
  97.     # print(url)
  98.     
  99.     response=get_img_src_ciping(html_url=url)
  100.     # print(response)
  102.     worksheet.write(roww, 2, response)        #将tag写入excel表格
  103.     roww+=1
  104.     cleaned_urls_4.append(response)
  105.     
  107. print(cleaned_urls_4)
  108. # urls=str(cleaned_urls_4)
  109. # 将数组中的字符串拼接成一个长字符串
  110. long_string = " ".join(cleaned_urls_4)
  112. # 使用空格将长字符串分割成一个单词列表
  113. word_list = long_string.split()
  115. # 使用Counter对单词列表进行词频统计
  116. word_counts = Counter(word_list)
  118. words =str(word_counts)
  120. worksheet.write(roww, 2, words)        #将歌手写入excel表格
  121. print(word_counts)
  122. workbook.save('C:/Users/10722/Desktop/python答辩/canuse/图片详情.xls')
  123. # <img width="500" height="281" class="deferred_image deferred_image-clear" src="https://img2.wallspic.com/previews/2/2/8/3/7/173822/173822-kui_jia-dian_shi-chao_ji_ying_xiong-kong_jian-dong_zuo_mao_xian_de_you_xi-500x.jpg" alt="图片 盔甲, 电视, 超级英雄, 空间, 动作冒险的游戏">

 

原文链接：https://www.cnblogs.com/FatTiger4399/p/17491649.html

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Python热门文章

  • Python | 新冠肺炎疫情数据的爬取与可视化分析
  • Python爬小草1024图片，盖达尔的诱惑（urllib.request）
  • pytorch如何获得模型的计算量和参数量
  • 计算曲线与坐标轴的面积
  • 基于Python实现语音合成小工具
  • PyQt5笔记之弹出窗口大全
  • python反编译学习之字节码详解
  • Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用
  • python?OpenCV计算图片相似度的5种算法
  • matplotlib 设置图形大小时 figsize 与 dpi 的关系

    • Python推荐文章

  • python 音频处理（2)——提取PPG特征之whisper库的使用（2.1）
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-60 - 判断元素是否显示 - 下篇 - 北京-宏哥
  • [python] 启发式算法库scikit-opt使用指北
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-59 - 判断元素是否显示 - 上篇 - 北京-宏哥
  • 界面自动化测试录制工具，让python selenium自动化测试脚本开发更加方便
  • 《最新出炉》系列入门篇-Python+Playwright自动化测试-56- 多文件上传 - 下篇 - 北京-宏哥
  • 音频文件降噪及python示例
  • 全网最适合入门的面向对象编程教程：20 类和对象的 Python 实现-组合关系的实现与 CSV 文件保存
  • 张高兴的 MicroPython 入门指南：（一）环境配置、Blink、部署
  • Python——比 Seaborn 更好的相关性热力图：Biokit Corrplot

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号