经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » C# » 查看文章
C#爬虫开发小结
来源:cnblogs  作者:程序设计实验室  时间:2023/1/20 8:40:22  对本文有异议

前言

2023年以来一直很忙,临近春节,各种琐事更多,但鸽了太久没写文章总是不舒坦,忙中偷闲来记录下最近用C#写爬虫的一些笔记。

爬虫一般都是用Python来写,生态丰富,动态语言开发速度快,调试也很方便

但是

我要说但是,动态语言也有其局限性,笔者作为老爬虫带师,几乎各种语言都搞过,现在这个任务并不复杂,用我最喜欢的C#做小菜一碟~

开始

之前做 OneCat 项目的时候,最开始的数据采集模块,就是用 C# 做的,同时还集成了 Chloe 作为 ORM,用 Nancy 做 HTTP 接口,结合 C# 强大的并发功能,做出来的效果不错。

这次是要爬一些壁纸,很简单的场景,于是沿用了之前 OneCat 项目的一些工具类,并且做了一些改进。

HttpHelper

网络请求直接使用 .Net Core 标准库的 HttpClient,这个库要求使用单例,在 AspNetCore 里一般用依赖注入,不过这次简单的爬虫直接用 Console 程序就行。

把 HTML 爬下来后,还需要解析,在Python中一般用 BeautifulSoup,在C#里可以用 AngleSharp ,也很好用~

为了使用方便,我又封装了一个工具类,把 HttpClient 和 AngleSharp 集成在一起。

  1. public static class HttpHelper {
  2. public const string UserAgent =
  3. "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36";
  4. public static HttpClientHandler Handler { get; }
  5. public static HttpClient Client { get; }
  6. static HttpHelper() {
  7. Handler = new HttpClientHandler();
  8. Client = new HttpClient(Handler);
  9. Client.DefaultRequestHeaders.Add("User-Agent", UserAgent);
  10. }
  11. public static async Task<IHtmlDocument> GetHtmlDocument(string url) {
  12. var html = await Client.GetStringAsync(url);
  13. // todo 这个用法有内存泄漏问题,得优化一下
  14. return new HtmlParser().ParseDocument(html);
  15. }
  16. public static async Task<IHtmlDocument> GetHtmlDocument(string url, string charset) {
  17. var res = await Client.GetAsync(url);
  18. var resBytes = await res.Content.ReadAsByteArrayAsync();
  19. var resStr = Encoding.GetEncoding(charset).GetString(resBytes);
  20. // todo 这个用法有内存泄漏问题,得优化一下
  21. return new HtmlParser().ParseDocument(resStr);
  22. }
  23. }

这段代码里面有俩 todo ,这个内存泄漏的问题在简单的爬虫中影响不大,所以后面有大规模的需求再来优化吧~

搞HTML

大部分爬虫是从网页上拿数据

如果网页是后端渲染出来的话,没有js动态加载数据,基本上用CSS选择器+正则表达式就可以拿到任何想要的数据。

经过前面的封装,请求网页+解析HTML只需要一行代码

  1. IHtmlDocument data = await HttpHelper.GetHtmlDocument(url);

拿到 IHtmlDocument 对象之后,用 QuerySelector 传入css选择器,就可以拿到各种元素了。

例如这样,取出 <li> 元素下所有链接的地址

  1. var data = await HttpHelper.GetHtmlDocument(url);
  2. foreach (var item in data.QuerySelectorAll(".pagew li")) {
  3. var link = item.QuerySelector("a");
  4. var href = link?.GetAttribute("href");
  5. if (href != null) await CrawlItem(href);
  6. }

或者结合正则表达式

  1. var data = await HttpHelper.GetHtmlDocument(url);
  2. var page = data.QuerySelector(".pageinfo");
  3. Console.WriteLine("拿到分页信息:{0}", page?.TextContent);
  4. var match = Regex.Match(page?.TextContent ?? "", @"共\s(\d+)页(\d+)条");
  5. var pageCount = int.Parse(match.Groups[1].Value);
  6. for (int i = 1; i <= pageCount; i++) {
  7. await CrawlPage(i);
  8. }

正则表达式非常好用,爬虫必备~

这里再推荐一个好用的东西,菜鸟工具的在线正则表达式测试,拿到一个字符串之后,先在测试器里面写出一个能匹配的正则,再放到程序里,效率更高~

地址: https://c.runoob.com/front-end/854/

JSON 处理

老生常谈的问题了

JSON 在 web 开发中很常见,无论是接口交互,还是本地保存数据,这都是一种很好的格式

.Net Core 自带的 System.Text.Json 还不错,不需要手动安装依赖,没有特殊需求的话,直接用这个就好了

这里的场景是要把采集的数据存到 JSON 里,即序列化,用以下的配置代码一把梭即可,可以应付大多数场景

  1. var jsonOption = new JsonSerializerOptions {
  2. WriteIndented = true,
  3. Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping
  4. };

写入文件

  1. await File.WriteAllTextAsync("path", JsonSerializer.Serialize(data, jsonOption));

扩展阅读

下载文件

最简单就是直接用 HttpClient 获取 Response,然后 CopyToAsync 写到文件流里面

这个用法拿来下载几个小文件还可以,但多线程下载、断点重连、失败重试等方法就得自己实现了,比较繁琐。

所以这次我直接用了第三方库 Downloader,这个库看起来很猛,功能很多,我就不翻译了,详情见项目主页

项目地址: https://github.com/bezzad/Downloader

同样的,我把下载的功能也封装到 HttpHelper

增加这部分代码

  1. public static IDownloadService Downloader { get; }
  2. public static DownloadConfiguration DownloadConf => new DownloadConfiguration {
  3. BufferBlockSize = 10240, // 通常,主机最大支持8000字节,默认值为8000。
  4. ChunkCount = 8, // 要下载的文件分片数量,默认值为1
  5. // MaximumBytesPerSecond = 1024 * 50, // 下载速度限制,默认值为零或无限制
  6. MaxTryAgainOnFailover = 5, // 失败的最大次数
  7. ParallelDownload = true, // 下载文件是否为并行的。默认值为false
  8. Timeout = 1000, // 每个 stream reader 的超时(毫秒),默认值是1000
  9. RequestConfiguration = {
  10. Accept = "*/*",
  11. AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate,
  12. CookieContainer = new CookieContainer(), // Add your cookies
  13. Headers = new WebHeaderCollection(), // Add your custom headers
  14. KeepAlive = true,
  15. ProtocolVersion = HttpVersion.Version11, // Default value is HTTP 1.1
  16. UseDefaultCredentials = false,
  17. UserAgent = UserAgent
  18. }
  19. };
  20. static HttpHelper() {
  21. // ...
  22. Downloader = new DownloadService(DownloadConf);
  23. }

使用方法依然是一行代码

  1. await HttpHelper.Downloader.DownloadFileTaskAsync(url, filepath);

不过这次没有直接封装一个下载的方法,而是把 IDownloadService 对象做成属性,因为下载的时候往往要加一些“buff”

比如监听下载进度,看下面的代码

  1. HttpHelper.Downloader.DownloadStarted += DownloadStarted;
  2. HttpHelper.Downloader.DownloadFileCompleted += DownloadFileCompleted;
  3. HttpHelper.Downloader.DownloadProgressChanged += DownloadProgressChanged;
  4. HttpHelper.Downloader.ChunkDownloadProgressChanged += ChunkDownloadProgressChanged;

这个库提供了四个事件,分别是:

  • 下载开始
  • 下载完成
  • 下载进度变化
  • 分块下载进度变化

进度条

有了这些事件,就可以实现下载进度条展示了,接下来介绍的进度条,也是 Downloader 这个库官方例子中使用的

项目地址: https://github.com/Mpdreamz/shellprogressbar

首先,把官网上的例子忘记吧,那几个例子实际作用不大。

Tick模式

这个进度条有两种模式,一种是它自己的 Tick 方法,先定义总任务数量,执行一次表示完成一个任务,比如这个:

  1. using var bar = new ProgressBar(10, "正在下载所有图片", BarOptions);

上面代码定义了10个任务,每执行一次 bar.Tick() 就表示完成一次任务,执行10次后就整个完成~

IProgress<T> 模式

这个 IProgress<T> 是C#标准库的类型,用来处理进度条的。

ProgressBar 对象可以使用 AsProgress<T> 方法转换称 IProgress<T> 对象,然后调用 IProgress<T>Report 方法,报告进度。

这个就很适合下载进度这种非线性的任务,每次更新时,完成的进度都不一样

Downloader的下载进度更新事件,用的是百分比,所以用这个 IProgress<T> 模式就很合适。

进度条嵌套

本爬虫项目是要采集壁纸,壁纸的形式是按图集组织的,一个图集下可能有多个图片

为了应对这种场景,可以用一个进度条显示总进度,表示当前正在下载某个图集

然后再嵌套子进度条,表示正在下载当前图集的第n张图片

然后的然后,再套娃一个孙子进度条,表示具体图片的下载进度(百分比)

这里用到的是 ProgressBarSpawn 方法,会生成一个 ChildProgressBar 对象,此时更新子进度条对象的值就好了。

直接看代码吧

  1. var list = // 加载图集列表
  2. using var bar = new ProgressBar(list.Count, "正在下载所有图片", BarOptions);
  3. foreach (var item in list) {
  4. bar.Message = $"图集:{item.Name}";
  5. bar.Tick();
  6. foreach (var imgUrl in item.Images) {
  7. using (var childBar = bar.Spawn(item.ImageCount,$"图片:{imgUrl}",ChildBarOptions)) {
  8. childBar.Tick();
  9. // 具体的下载代码
  10. }
  11. }
  12. }

这样就实现了主进度条显示下载了第几个图集,子进度条显示下载到第几张图片。

然后具体下载代码中,使用 Downloader 的事件监听,再 Spawn 一个新的进度条显示单张图片的下载进度。

代码如下:

  1. private async Task Download(IProgressBar bar, string url, string filepath) {
  2. var percentageBar = bar.Spawn(100, $"正在下载:{Path.GetFileName(url)}", PercentageBarOptions);
  3. HttpHelper.Downloader.DownloadStarted += DownloadStarted;
  4. HttpHelper.Downloader.DownloadFileCompleted += DownloadFileCompleted;
  5. HttpHelper.Downloader.DownloadProgressChanged += DownloadProgressChanged;
  6. await HttpHelper.Downloader.DownloadFileTaskAsync(url, filepath);
  7. void DownloadStarted(object? sender, DownloadStartedEventArgs e) {
  8. Trace.WriteLine(
  9. $"图片, FileName:{Path.GetFileName(e.FileName)}, TotalBytesToReceive:{e.TotalBytesToReceive}");
  10. }
  11. void DownloadFileCompleted(object? sender, AsyncCompletedEventArgs e) {
  12. Trace.WriteLine($"下载完成, filepath:{filepath}");
  13. percentageBar.Dispose();
  14. }
  15. void DownloadProgressChanged(object? sender, DownloadProgressChangedEventArgs e) {
  16. percentageBar.AsProgress<double>().Report(e.ProgressPercentage);
  17. }
  18. }

注意所有的 ProgressBar 对象都需要用完释放,所以这里在 DownloadFileCompleted 事件里面 Dispose 了。

上面的是直接用 using 语句,自动释放。

进度条配置

这个东西的自定义功能还不错。

可以配置颜色、显示字符、显示位置啥的

  1. var barOptions = new ProgressBarOptions {
  2. ForegroundColor = ConsoleColor.Yellow,
  3. BackgroundColor = ConsoleColor.DarkYellow,
  4. ForegroundColorError = ConsoleColor.Red,
  5. ForegroundColorDone = ConsoleColor.Green,
  6. BackgroundCharacter = '\u2593',
  7. ProgressBarOnBottom = true,
  8. EnableTaskBarProgress = RuntimeInformation.IsOSPlatform(OSPlatform.Windows),
  9. DisplayTimeInRealTime = false,
  10. ShowEstimatedDuration = false
  11. };

EnableTaskBarProgress 这个选项可以同时更新Windows任务状态栏上的进度

具体配置选项可以直接看源码,里面注释很详细。

如果 Spawn 出来的子进度条没配置选项,那就会继承上一级的配置。

小结

用 C# 来做爬虫还是舒服的,至少比 Java 好很多

做控制台应用,打包成exe也方便分发

除了本文提到的这些第三方库,使用C#开发控制台应用还有其他好用的玩法

比如下面这俩

做图形界面的话,如果要跨平台,Winform、WPF之类的就不考虑了

微软的MAUI好像有点坑,且没有官方Linux支持,也pass掉

比较成熟的可以选 avalonia

轻量级的可以试试: https://github.com/picoe/Eto

另外,推荐一个工具 RoslynPad,这个好像是模仿 LinqPad 的。

可以像Python写脚本一样快速执行C#代码段,还支持引入nuget包,对于写爬虫或者简单代码实验,非常方便

最关键的是开源免费!LinqPad实在太贵了,RoslynPad现在越更新越好用,感觉慢慢可以赶上 LinqPad 了~

PS:新年的公众号红包封面还没搞,争取今晚搞定~

原文链接:https://www.cnblogs.com/deali/p/17061678.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号