经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » Python » 查看文章
什么品种的猫最受欢迎？Python爬取猫咪网站交易数据
来源：cnblogs　　作者：松鼠爱吃饼干　　时间：2021/2/18 15:43:14　　对本文有异议

本篇文章是关于某化妆品企业的销售分析。从分析思路开始带大家一步步地用python进行分析，找出问题，并提出解决方案的整个流程。

以下文章来源于修炼Python

作者：叶庭云

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

  1. https://space.bilibili.com/523606542

 

一、前言

看到可爱的猫咪表情包，总是会忍不住收藏，晒部分图如下：

 

认识的一些朋友也养了猫，比如橘猫、英短、加菲猫之类的，看他们发朋友圈撸猫，老羡慕了，猫咪真的太可爱啦。发现一个专门交易猫猫的网站—猫猫交易网可以云看猫：http://www.maomijiaoyi.com/

 

从这个网站里爬取了猫猫品种介绍的数据，以及 20W+ 条猫猫交易数据，以此来了解一下可爱的猫咪。

二、数据获取

打开猫猫交易网，先爬取猫咪品种数据，打开页面可以看到猫猫品种列表：

 

但只显示了每种猫猫的品种名，参考价格，点进详情页，可以看到更加详细的数据：品种名、参考价格、中文学名、基本信息、性格特点、生活习性、优缺点、喂养方法等。

 

检查网页，可以发现网页结构简单，容易解析和提取数据。爬虫代码如下：

  1. import requests
  2. import re
  3. import csv
  4. from lxml import etree
  5. from tqdm import tqdm
  6. from fake_useragent import UserAgent
  8. # 随机产生请求头
  9. ua = UserAgent(verify_ssl=False, path='fake_useragent.json')
  11. def random_ua():        # 用于随机切换请求头
  12.     headers = {
  13.         "Accept-Encoding": "gzip",
  14.         "Accept-Language": "zh-CN",
  15.         "Connection": "keep-alive",
  16.         "Host": "www.maomijiaoyi.com",
  17.         "User-Agent": ua.random
  18.     }
  19.     return headers
  22. def create_csv():          # 创建保存数据的csv
  23.     with open('./data/cat_kind.csv', 'w', newline='', encoding='utf-8') as f:
  24.         wr = csv.writer(f)
  25.         wr.writerow(['品种', '参考价格', '中文学名', '别名', '祖先', '分布区域',
  26.                      '原产地', '体型', '原始用途', '今日用途', '分组', '身高',
  27.                      '体重', '寿命', '整体', '毛发', '颜色', '头部', '眼睛',
  28.                      '耳朵', '鼻子', '尾巴', '胸部', '颈部', '前驱', '后驱',
  29.                      '基本信息', 'FCI标准', '性格特点', '生活习性', '优点/缺点',
  30.                      '喂养方法', '鉴别挑选'])
  33. def scrape_page(url1):      # 获取HTML网页源代码 返回文本
  34.     response = requests.get(url1, headers=random_ua())
  35.     # print(response.status_code)
  36.     response.encoding = 'utf-8'
  37.     return response.text
  40. def get_cat_urls(html1):    # 获取每个品种猫咪详情页url
  41.     dom = etree.HTML(html1)
  42.     lis = dom.xpath('//div[@class="pinzhong_left"]/a')
  43.     cat_urls = []
  44.     for li in lis:
  45.         cat_url = li.xpath('./@href')[0]
  46.         cat_url = 'http://www.maomijiaoyi.com' + cat_url
  47.         cat_urls.append(cat_url)
  48.     return cat_urls
  51. def get_info(html2):    # 爬取每个品种猫咪详情页里的有关信息
  52.     # 品种
  53.     kind = re.findall('div class="line1">.*?<div class="name">(.*?)<span>', html2, re.S)[0]
  54.     kind = kind.replace('\r','').replace('\n','').replace('\t','')
  55.     # 参考价格
  56.     price = re.findall('<div>参考价格：</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  57.     price = price.replace('\r', '').replace('\n', '').replace('\t', '')
  58.     # 中文学名
  59.     chinese_name = re.findall('<div>中文学名:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  60.     chinese_name = chinese_name.replace('\r', '').replace('\n', '').replace('\t', '')
  61.     # 别名
  62.     other_name = re.findall('<div>别名:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  63.     other_name = other_name.replace('\r', '').replace('\n', '').replace('\t', '')
  64.     # 祖先
  65.     ancestor = re.findall('<div>祖先:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  66.     ancestor = ancestor.replace('\r', '').replace('\n', '').replace('\t', '')
  67.     # 分布区域
  68.     area = re.findall('<div>分布区域:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  69.     area = area.replace('\r', '').replace('\n', '').replace('\t', '')
  70.     # 原产地
  71.     source_area = re.findall('<div>原产地:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  72.     source_area = source_area.replace('\r', '').replace('\n', '').replace('\t', '')
  73.     # 体型
  74.     body_size = re.findall('<div>体型:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  75.     body_size = body_size.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  76.     # 原始用途
  77.     source_use = re.findall('<div>原始用途:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  78.     source_use = source_use.replace('\r', '').replace('\n', '').replace('\t', '')
  79.     # 今日用途
  80.     today_use = re.findall('<div>今日用途:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  81.     today_use = today_use.replace('\r', '').replace('\n', '').replace('\t', '')
  82.     # 分组
  83.     group = re.findall('<div>分组:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  84.     group = group.replace('\r', '').replace('\n', '').replace('\t', '')
  85.     # 身高
  86.     height = re.findall('<div>身高:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  87.     height = height.replace('\r', '').replace('\n', '').replace('\t', '')
  88.     # 体重
  89.     weight = re.findall('<div>体重:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  90.     weight = weight.replace('\r', '').replace('\n', '').replace('\t', '')
  91.     # 寿命
  92.     lifetime = re.findall('<div>寿命:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
  93.     lifetime = lifetime.replace('\r', '').replace('\n', '').replace('\t', '')
  94.     # 整体
  95.     entirety = re.findall('<div>整体</div>.*?<!-- 页面小折角 -->.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  96.     entirety = entirety.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  97.     # 毛发
  98.     hair = re.findall('<div>毛发</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  99.     hair = hair.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  100.     # 颜色
  101.     color = re.findall('<div>颜色</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  102.     color = color.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  103.     # 头部
  104.     head = re.findall('<div>头部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  105.     head = head.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  106.     # 眼睛
  107.     eye = re.findall('<div>眼睛</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  108.     eye = eye.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  109.     # 耳朵
  110.     ear = re.findall('<div>耳朵</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  111.     ear = ear.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  112.     # 鼻子
  113.     nose = re.findall('<div>鼻子</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  114.     nose = nose.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  115.     # 尾巴
  116.     tail = re.findall('<div>尾巴</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  117.     tail = tail.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  118.     # 胸部
  119.     chest = re.findall('<div>胸部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  120.     chest = chest.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  121.     # 颈部
  122.     neck = re.findall('<div>颈部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  123.     neck = neck.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  124.     # 前驱
  125.     font_foot = re.findall('<div>前驱</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  126.     font_foot = font_foot.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  127.     # 后驱
  128.     rear_foot = re.findall('<div>前驱</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
  129.     rear_foot = rear_foot.replace('\r', '').replace('\n', '').replace('\t', '').strip()
  131.     # 保存前面猫猫的各种有关信息
  132.     cat = [kind, price, chinese_name, other_name, ancestor, area, source_area,
  133.            body_size, source_use, today_use, group, height, weight, lifetime,
  134.            entirety, hair, color, head, eye, ear, nose, tail, chest, neck, font_foot, rear_foot]
  136.     # 提取标签栏信息（基本信息-FCI标准-性格特点-生活习性-优缺点-喂养方法-鉴别挑选）
  137.     html2 = etree.HTML(html2)
  138.     labs = html2.xpath('//div[@class="property_list"]/div')
  139.     for lab in labs:
  140.         text1 = lab.xpath('string(.)')
  141.         text1 = text1.replace('\n','').replace('\t','').replace('\r','').replace(' ','')
  142.         cat.append(text1)
  143.     return cat
  146. def write_to_csv(data):     # 保存数据  追加写入
  147.     with open('./data/cat_kind.csv', 'a+', newline='', encoding='utf-8') as fn:
  148.         wr = csv.writer(fn)
  149.         wr.writerow(data)
  152. if __name__ == '__main__':
  153.     # 创建保存数据的csv
  154.     create_csv()
  155.     # 猫咪品种页面url
  156.     base_url = 'http://www.maomijiaoyi.com/index.php?/pinzhongdaquan_5.html'
  157.     # 获取品种页面中的所有url
  158.     html = scrape_page(base_url)
  159.     urls = get_cat_urls(html)
  160.     # 进度条可视化运行情况    就不打印东西来看了
  161.     pbar = tqdm(urls)
  162.     # 开始爬取
  163.     for url in pbar:
  164.         text = scrape_page(url)
  165.         info = get_info(text)
  166.         write_to_csv(info)

 

运行效果如下：

 

成功爬取了猫咪品种数据保存到csv，接下来爬取猫猫交易数据，进入到买猫卖猫页面：

 

爬取更详细的数据需要进入详情页，包含商家信息、猫咪品种、猫龄、价格、标题、在售只数、预防等信息。

 

由于数据量较大，可以分开爬取，先获取到每一页中的所有猫猫详情交易链接的 url 保存到csv，再读取 csv 中的 url 来请求，爬取每条交易数据，爬虫思路跟前面类似，为了加快爬取效率，可以使用多线程或者异步爬虫。最终获取了 20W+ 条数据。

三、数据探索

通过词云图来直观看一下，可爱的猫咪都有那些品种。

 

看各种猫咪的体型分布

 

所有品种的猫咪里，大型的只有一个品种，是布偶猫，其他品种都是中小型，那以后看见体型比较大的，可以先想到布偶猫。

 

橘猫是世界各地都有的，不愧是我大橘猫。俗话说 "十个橘猫九个胖还有一个压塌炕"。橘猫比起其他花色的猫咪更喜欢吃东西，它们的食欲很好，能更好地生存，可能这也是橘猫在世界范围都有的原因吧。可它却是小型猫，橘猫小时候颜值一般挺高，看起来小小的一只，又嫩又可爱的，但等橘猫长大以后，才真正地意识到什么是 "橘足轻重"。

 

下面来看猫咪的交易数据，在交易的猫咪中，哪些品种交易数量最多呢？

 

橘猫的交易数量最多呀，之前也提到橘猫世界各地都有，从这里也可以看到橘猫数量最多。其次是咖啡猫，布偶猫，英短蓝白猫等。

 

缅因猫、布偶猫均价名列前茅啊，橘猫的均价排倒数第二，看来挺实惠。

这些售卖的猫咪猫龄一般为多大呢？

 

售卖的猫咪猫龄主要在1-6个月，都是刚出生还未满半岁的小猫咪呀。这时候的小猫咪应该很可爱吧，等待有缘的主人把它带回家。

最后来看一下网站里价格最贵的猫咪和浏览次数最多的猫咪

  1. import pandas as pd
  3. df = pd.read_excel('处理后数据.xlsx')
  4. print(df.info())
  5. df1 = df.sort_values(by='浏览次数', ascending=False)
  6. print(df1.iloc[:3, ::].values)
  7. print('----------------------------------------------------------')
  8. df2 = df.sort_values(by='价格', ascending=False)
  9. print(df2.iloc[:3, ::].values)
  10. # 浏览次数最多的
  11. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_441879.html
  12. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_462431.html
  13. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_455366.html

 

 

浏览次数最多的是这一家卖的缅因猫，浏览次数为16164。emmm，感觉这种猫咪看着还挺凶的，不怎么可爱。

 

 

反观浏览次数排第二、第三的，价格便宜不少，预防都打了3针疫苗，在售只数还比较充裕，还比第一可爱好多（个人感觉）。

  1. # 价格最贵的如下
  2. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_265770.html
  3. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_281910.html
  4. http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_230417.html

 

 

 

 

价格最贵的发现均为 3000 元的布偶猫。查阅资料发现，布偶猫，大型猫咪，不仅购买的时候价格高昂，饲养成本也比较高，因为食量和运动量都比较大，而且美容等相关费用也会高一些。

原文链接：http://www.cnblogs.com/hhh188764/p/14382972.html

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Python热门文章

  • Python | 新冠肺炎疫情数据的爬取与可视化分析
  • Python爬小草1024图片，盖达尔的诱惑（urllib.request）
  • pytorch如何获得模型的计算量和参数量
  • 计算曲线与坐标轴的面积
  • 基于Python实现语音合成小工具
  • PyQt5笔记之弹出窗口大全
  • python反编译学习之字节码详解
  • Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用
  • python?OpenCV计算图片相似度的5种算法
  • matplotlib 设置图形大小时 figsize 与 dpi 的关系

    • Python推荐文章

  • python 音频处理（2)——提取PPG特征之whisper库的使用（2.1）
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-60 - 判断元素是否显示 - 下篇 - 北京-宏哥
  • [python] 启发式算法库scikit-opt使用指北
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-59 - 判断元素是否显示 - 上篇 - 北京-宏哥
  • 界面自动化测试录制工具，让python selenium自动化测试脚本开发更加方便
  • 《最新出炉》系列入门篇-Python+Playwright自动化测试-56- 多文件上传 - 下篇 - 北京-宏哥
  • 音频文件降噪及python示例
  • 全网最适合入门的面向对象编程教程：20 类和对象的 Python 实现-组合关系的实现与 CSV 文件保存
  • 张高兴的 MicroPython 入门指南：（一）环境配置、Blink、部署
  • Python——比 Seaborn 更好的相关性热力图：Biokit Corrplot

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号