背景和目的
本文介绍了几个常用的序列化和反序列化库，包括System.Text.Json、Newtonsoft.Json、 Protobuf-Net、MessagePack-Net，我们将对这些库进行性能测评
| 库名称 |
介绍 |
Github地址 |
| System.Text.Json |
.NET Core 3.0及以上版本的内置JSON库，用于读写JSON文本。它提供了高性能和低分配的功能。 |
System.Text.Json |
| Newtonsoft.Json |
也被称为Json.NET，是.NET中最常用的JSON序列化库之一。它提供了灵活的方式来转换.NET对象为JSON字符串，以及将JSON字符串转换为.NET对象。 |
Newtonsoft.Json |
| Protobuf-Net |
.NET版本的Google's Protocol Buffers序列化库。Protocol Buffers是一种语言中立、平台中立、可扩展的序列化结构数据的方法。 |
Protobuf-Net |
| MessagePack-Net |
MessagePack是一个高效的二进制序列化格式，它允许你在JSON-like的格式中交换数据，但是更小、更快、更简单。 |
MessagePack-Net |
性能测试
测评电脑配置
| 组件 |
规格 |
| CPU |
11th Gen Intel(R) Core(TM) i5-11320H |
| 内存 |
40 GB DDR4 3200MHz |
| 操作系统 |
Microsoft Windows 10 专业版 |
| 电源选项 |
已设置为高性能 |
| 软件 |
LINQPad 7.8.5 Beta |
| 运行时 |
.NET 7.0.10 |
准备工作
0、导入Nuget包
1、Bogus(34.0.2)
2、MessagePack(2.5.124)
3、Newtonsoft.Json(13.0.3)
4、protobuf-net(3.2.26)
5、System.Reactive(6.0.0)
1、性能测试函数
IObservable<object> Measure(Action action, int times = 5)
{
return Enumerable.Range(1, times).Select(i =>
{
var sw = Stopwatch.StartNew();
long memory1 = GC.GetTotalMemory(true);
long allocate1 = GC.GetTotalAllocatedBytes(true);
{
action();
}
long allocate2 = GC.GetTotalAllocatedBytes(true);
long memory2 = GC.GetTotalMemory(true);
sw.Stop();
return new
{
次数 = i,
分配内存 = (allocate2 - allocate1).ToString("N0"),
内存提高 = (memory2 - memory1).ToString("N0"),
耗时 = sw.ElapsedMilliseconds,
};
}).ToObservable();
}
这个测量函数的它的作用
多次执行指定的动作，并测量每次执行该动作时的内存分配和执行时间。
然后，对于每次操作，它创建并返回一个新的匿名对象，该对象包含以下属性：
次数：操作的次数。
分配内存：操作期间分配的内存量（操作结束后的已分配字节减去操作开始前的已分配字节）。
内存提高：操作期间内存的增加量（操作结束后的总内存减去操作开始前的总内存）。
耗时：操作的执行时间（以毫秒为单位）。
2、生成随机数据的函数
IEnumerable<User> WriteData()
{
var data = new Bogus.Faker<User>()
.RuleFor(x => x.Id, x => x.IndexFaker + 1)
.RuleFor(x => x.Gender, x => x.Person.Gender)
.RuleFor(x => x.FirstName, (x, u) => x.Name.FirstName(u.Gender))
.RuleFor(x => x.LastName, (x, u) => x.Name.LastName(u.Gender))
.RuleFor(x => x.Email, (x, u) => x.Internet.Email(u.FirstName, u.LastName))
.RuleFor(x => x.BirthDate, x => x.Person.DateOfBirth)
.RuleFor(x => x.Company, x => x.Person.Company.Name)
.RuleFor(x => x.Phone, x => x.Person.Phone)
.RuleFor(x => x.Website, x => x.Person.Website)
.RuleFor(x => x.SSN, x => x.Person.Ssn())
.GenerateForever().Take(6_0000);
return data;
}
Bogus 是一个非常有用的 C# 库，它可以帮助你生成伪造的数据，或者说“假数据”。这在测试或开发阶段非常有用，你可以使用它来填充数据库，或者在没有实际用户数据的情况下测试应用程序。
如果想详细了解使用请参考 这篇文章https://www.cnblogs.com/sdflysha/p/20190821-generate-lorem-data.html
3、数据实体类
[MessagePackObject, ProtoContract]
public class User
{
[Key(0), ProtoMember(1)]
public int Id { get; set; }
[Key(1), ProtoMember(2)]
public int Gender { get; set; }
[Key(2), ProtoMember(3)]
public string FirstName { get; set; }
[Key(3), ProtoMember(4)]
public string LastName { get; set; }
[Key(4), ProtoMember(5)]
public string Email { get; set; }
[Key(5), ProtoMember(6)]
public DateTime BirthDate { get; set; }
[Key(6), ProtoMember(7)]
public string Company { get; set; }
[Key(7), ProtoMember(8)]
public string Phone { get; set; }
[Key(8), ProtoMember(9)]
public string Website { get; set; }
[Key(9), ProtoMember(10)]
public string SSN { get; set; }
}
开始性能测试
以下测试代码会加入写入文件，以模拟真实的使用场景，性能怎么样
1、System.Text.Json 性能测试
序列化测试代码
void TextJsonWrite()
{
var data = WriteData();
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
using var file = File.Create(path);
System.Text.Json.JsonSerializer.Serialize(file,data);
})
.Dump();
}
文件大小：14.3MB
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
1,429,688,200 |
67,392 |
2494 |
| 2 |
1,429,960,352 |
320 |
2610 |
| 3 |
1,429,596,256 |
8 |
2615 |
| 4 |
1,430,126,504 |
-64 |
2753 |
| 5 |
1,429,549,184 |
-432 |
2918 |
反序列化测试代码
void TextJsonRead()
{
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data1.json");
byte[] bytes = File.ReadAllBytes(path);
System.Text.Json.JsonSerializer.Deserialize<List<User>>(bytes);
}).Dump();
}
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
42,958,536 |
43,728 |
212 |
| 2 |
43,093,448 |
48 |
185 |
| 3 |
42,884,408 |
24 |
120 |
| 4 |
42,883,312 |
24 |
129 |
| 5 |
43,100,896 |
24 |
117 |
2、Newtonsoft.Json 性能测试
序列化测试代码
void JsonNetWrite()
{
var data = WriteData();
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
var jsonData = Newtonsoft.Json.JsonConvert.SerializeObject(data);
File.WriteAllText(path, jsonData);
})
.Dump();
}
文件大小：14.3MB
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
1,494,035,696 |
42,608 |
2196 |
| 2 |
1,494,176,144 |
320 |
2289 |
| 3 |
1,494,684,672 |
-24 |
2899 |
| 4 |
1,494,292,376 |
2,152 |
3393 |
| 5 |
1,495,260,472 |
64 |
3499 |
反序列化测试代码
void JsonNetRead()
{
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data2.json");
var jsonData = File.ReadAllText(path);
var data = Newtonsoft.Json.JsonConvert.DeserializeObject<List<User>>(jsonData);
})
.Dump();
}
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
92,556,920 |
63,216 |
275 |
| 2 |
92,659,784 |
48 |
314 |
| 3 |
92,407,736 |
24 |
245 |
| 4 |
92,616,912 |
24 |
276 |
| 5 |
92,416,128 |
24 |
305 |
3、ProtobufNet 性能测试
序列化测试代码
void ProtobufNetWrite()
{
var data = WriteDataTwo();
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
using var file = File.Create(path);
Serializer.Serialize(file, data);
}).Dump();
}
文件大小：7.71MB
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
712,168 |
163,512 |
170 |
| 2 |
6,760 |
-192 |
111 |
| 3 |
7,040 |
280 |
97 |
| 4 |
6,760 |
24 |
66 |
| 5 |
244,200 |
0 |
68 |
反序列化测试代码
void ProtobufNetRead()
{
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "test-data3.bin");
using var file = File.OpenRead(path);
Serializer.Deserialize<List<UserProtobuf>>(file);
}
).Dump();
}
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
29,485,888 |
1,084,240 |
113 |
| 2 |
28,242,856 |
48 |
96 |
| 3 |
28,340,672 |
24 |
85 |
| 4 |
28,333,088 |
24 |
80 |
| 5 |
28,242,856 |
24 |
76 |
4、MessagePack-Net 性能测试
序列化测试代码
void MessagePackNetWrite()
{
var data = WriteDataThreee();
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
using var file = File.Create(path);
MessagePackSerializer.Serialize(file, data);
}).Dump();
}
文件大小：7.21MB
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
80,552 |
9,512 |
52 |
| 2 |
7,432 |
24 |
46 |
| 3 |
7,432 |
24 |
45 |
| 4 |
120,400 |
-1,072 |
46 |
| 5 |
7,432 |
24 |
48 |
反序列化测试代码
void MessagePackNetRead()
{
Measure(() =>
{
string path = Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.Desktop), "UserMessagePackData.bin");
byte[] bytes = File.ReadAllBytes(path);
MessagePackSerializer.Deserialize<List<UserMessagePack>>(bytes);
}).Dump();
}
测试结果
| 次数 |
分配内存 |
内存提高 |
耗时 |
| 1 |
35,804,728 |
24 |
82 |
| 2 |
35,804,728 |
24 |
65 |
| 3 |
35,804,728 |
24 |
56 |
| 4 |
35,804,728 |
32 |
66 |
| 5 |
35,806,248 |
848 |
80 |
结论
序列化性能测试结果
| 性能测试名称 |
分配内存平均数 (bytes) |
耗时平均数 (ms) |
文件大小 (MB) |
分配内存百分比 (%) |
耗时百分比 (%) |
文件大小百分比 (%) |
| Newtonsoft.Json |
1,494,489,872 |
2,855 |
14.3 |
100 |
100 |
100 |
| System.Text.Json |
1,429,784,099 |
2,678 |
14.3 |
95 |
93.8 |
100 |
| ProtobufNet |
195,385 |
102 |
7.71 |
0.013 |
3.5 |
53.9 |
| MessagePack-Net |
44,649 |
47 |
7.21 |
0.0029 |
1.6 |
50.4 |
反序列化性能测试结果
| 性能测试名称 |
分配内存平均数 (bytes) |
耗时平均数 (ms) |
分配内存百分比 (%) |
耗时百分比 (%) |
| Newtonsoft.Json |
92,531,496 |
283 |
100 |
100 |
| System.Text.Json |
42,807,420 |
152 |
46.2 |
54.7 |
| ProtobufNet |
28,529,072 |
90 |
30.8 |
31.8 |
| MessagePack-Net |
35,805,032 |
69 |
38.6 |
24.3 |
注：
1、 分配内存比例、耗时比例和文件大小比例都以 Newtonsoft.Json 的数值为基准，计算出的百分比表示在相比于 Newtonsoft.Json 的表现。
2、 分配内存平均数、耗时平均数是通过将给定的五次测试结果取平均值得出的。
3、 文件大小是由测试代码生成的文件大小，计算出的百分比表示在相比于 Newtonsoft.Json 的表现。
基于上述表格，我们可以得出以下结论：
-
内存分配：在内存分配方面，ProtobufNet 和 MessagePack-Net 显著优于 System.Text.Json 和 Newtonsoft.Json。它们的内存分配仅为 Newtonsoft.Json 的 0.01% 和 0.003%，这表明它们在处理大数据时的内存效率非常高。
-
耗时：在耗时方面，ProtobufNet 和 MessagePack-Net 也表现出超过其他两个库的性能。ProtobufNet 的耗时为 Newtonsoft.Json 的 3.6%，而 MessagePack-Net 的耗时仅为 2.1%。这意味着它们在处理大量数据时的速度非常快。
-
文件大小：在生成的文件大小方面，ProtobufNet 和 MessagePack-Net 的文件大小明显小于 System.Text.Json 和 Newtonsoft.Json。ProtobufNet 和 MessagePack-Net 的文件大小分别为 Newtonsoft.Json 文件大小的 53.9% 和 50.4%。这说明它们的序列化效率更高，能够生成更小的文件。
-
System.Text.Json vs Newtonsoft.Json：在比较这两个库时，System.Text.Json 在内存分配和耗时方面都稍微优于 Newtonsoft.Json，但差距不大。在文件大小方面，它们的表现相同。
综上所述，如果考虑内存分配、处理速度和文件大小，ProtobufNet 和 MessagePack-Net 的性能明显优于 System.Text.Json 和 Newtonsoft.Json。
5、总结
基于上面的数据，个人一些看法，虽然我们平常用的是Newtonsoft.Json,但了解一些其他一些比较好的库的使用可以扩展视野，本次测试的库虽然加入了写入文件这方面的因素，但对性能影响不是很大，本以为ProtobufNet已经是性能最好的了，但上面的测试结果，显然 MessagePack-Net 性能最好，还有一个意外发现，针对NetCore 6.0，新出的库System.Text.Json性能比Newtonsoft.Json好5%
作者 => 百宝门瞿佑明
原文地址：https://blog.baibaomen.com/深度比较常见库中序列化和反序列化性能的性能差/
经验首页