经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » JS/JS库/框架 » JSON » 查看文章
每秒解析千兆字节的 JSON 解析器开源了!
来源:w3xue  时间:2019/2/26 10:10:51  对本文有异议

1.jpg

近日,GitHub 开源了一 JSON 解析器 simdjson,通过与其他常用解析器的对比实验,结果显示,simdjson 的解析速度达到 2.2GB/s,远远秒杀其他解析器,在下文中,我们将为大家详细介绍 simdjson。以下全文为 simdjson 在 GitHub 上的文档。

JSON 文档在互联网上无处不在,服务器花费大量时间来解析这些文档。我们希望在进行完全验证(包括字符编码)的同时尽可能使用常用的 SIMD 指令来加速 JSON 的解析。

一些性能结果

相比最先进的解析器(如 RapidJSON),我们可能使用四分之一或更少的指令,也只有 sajson 的一半。据我们所知,simdjson 是第一个在商用处理器上以每秒千兆字节速度运行的完全验证 JSON 解析器。

2.jpg

在 Skylake 处理器上,各种解析器解析 twitter.json 文件的速度(以 GB/s 为单位)如下所示。

3.jpg

基本要求

  • 通过 Visual Studio 2017 或更高版本支持 Linux、macOS 以及 Windows 等平台;

  • 带有 AVX2 的处理器;

  • 支持最近的 C++ 编译器(例如,GNU GCC 或 LLVM CLANG 或 Visual Studio 2017),我们假设是 C++ 17,GNU GCC 7 或更高版本,或者 LLVM 的 clang 6 或更高版本;

  • 提供一些基准测试脚本,可以是 bash 和其他常用的实用命令程序,但是是可选的。

许可

代码采用 Apache License 2.0 许可。

在 Windows 下,我们使用 windows/dirent_portable.h 文件(在我们的库代码之外)构建了一些工具:基于自由的 MIT 许可。

代码示例

  1. #include "simdjson/jsonparser.h"
  2.  
  3. /...
  4.  
  5. const char * filename = ... //
  6.  
  7. // use whatever means you want to get a string of your JSON document
  8. std::string_view p = get_corpus(filename);
  9. ParsedJson pj;
  10. pj.allocateCapacity(p.size()); // allocate memory for parsing up to p.size() bytes
  11. bool is_ok = json_parse(p, pj); // do the parsing, return false on error
  12. // parsing is done!
  13. // You can safely delete the string content
  14. free((void*)p.data());
  15. // the ParsedJson document can be used here
  16. // js can be reused with other json_parse calls.

如果你不介意为每个新的 JSON 文档分配内存,也可以使用更简单的 API:

  1. #include "simdjson/jsonparser.h"
  2.  
  3. /...
  4.  
  5. const char * filename = ... //
  6. std::string_view p = get_corpus(filename);
  7. ParsedJson pj = build_parsed_json(p); // do the parsing
  8. // you no longer need p at this point, can do aligned_free((void*)p.data())
  9. if( ! pj.isValid() ) {
  10.  // something went wrong
  11. }

用法

简单的头文件

头文件可以看一下代码库的“singleheader”,用法可以看一下“amalgamation_demo.cpp”文件。这里不要求使用特定的构建系统:只需要将文件复制到项目中的路径中即可。然后,你就可以包含它们:

  1. #include <iostream>
  2. #include "simdjson.h"
  3. #include "simdjson.cpp"
  4. int main(int argc, char *argv[]) {
  5.  const char * filename = argv[1]; 
  6.  std::string_view p = get_corpus(filename);
  7.  ParsedJson pj = build_parsed_json(p); // do the parsing
  8.  if( ! pj.isValid() ) {
  9.  std::cout << "not valid" << std::endl;
  10.  } else {
  11.  std::cout << "valid" << std::endl;
  12.  }
  13.  return EXIT_SUCCESS;
  14. }

注意:在某些环境中,可能需要预编译 simdjson.cpp,而不是包含它。

在 Linux 或 macOS 等平台上使用旧版 Makefile

要求:最近的 clang(或 gcc)和 make。我们建议至少使用 GNU GCC/G ++ 7 或 LLVM clang 6,Linux 或 macOS 系统。

测试:

  1. make
  2. make test

运行基准测试:

  1. make parse
  2. ./parse jsonexamples/twitter.json

在 Linux 上,parse 命令提供了性能计数器的详细分析。

运行其他作为比较的基准测试(使用其他解析器):

  1. make benchmark

使用 Linux 或 macOS 等平台上的 CMake

要求:需要最新版本的 cmake,在 macOS 上,安装 cmake 的最简单方法可能是使用 brew。

  1. brew install cmake

你需要一个像 clang 或 gcc 这样的新版编译器。我们建议至少使用 GNU GCC/G ++ 7 或 LLVM clang 6。例如,你可以使用 brew 安装最新的编译器:

  1. brew install gcc@8

可选:你需要通过设置 CC 和 CXX 变量告诉 cmake 你希望使用哪个编译器。在 bash 中,你可以使用 export CC = gcc-7 和 export CXX = g+±7 等命令。

构建:在项目代码库中执行以下命令:

  1. mkdir build
  2. cd build
  3. cmake ..
  4. make
  5. make test

CMake 将会构建出一个库。默认情况下,它构建的是一个共享库(例如,http://xn--linuxlibsimdjson-uq9yb344c.so/)。

你可以构建一个静态库:

  1. mkdir buildstatic
  2. cd buildstatic
  3. cmake -DSIMDJSON_BUILD_STATIC=ON ..
  4. make 
  5. make test

在某些情况下,你可能希望指定编译器,尤其是当系统默认编译器太旧的情况下。你可以按以下步骤操作:

  1. brew install gcc@8
  2. mkdir build
  3. cd build
  4. export CXX=g++-8 CC=gcc-8
  5. cmake ..
  6. make
  7. make test

通过 Visual Studio 在 Windows 上使用 CMake

我们假设你拥有一台至少装有 Visual Studio 2017 的普通 Windows PC,并支持 AVX2 的 x64 处理器(2013 Haswell 或更高版本)。

  • 从 GitHub 获取 simdjson 代码,例如,使用 GitHub Desktop 克隆它。

  • 安装 CMake。在安装时,请确保可以从命令行使用 cmake。请选择最新版本的 cmake。

  • 在 simdjson 中创建一个子目录,例如 VisualStudio。

  • 在 shell 中转到这个新创建的目录。

  • 在 shell 中键入 cmake -DCMAKE_GENERATOR_PLATFORM=x64 …(或者,如果要构建 DLL,可以使用命令行 cmake -DCMAKE_GENERATOR_PLATFORM=x64 -DSIMDJSON_BUILD_STATIC=OFF …)。

  • 最后一个命令在新创建的目录(例如 simdjson.sln)中创建了一个 Visual Studio 解决方案文件。在 Visual Studio 中打开这个文件。你现在应该能够构建项目并运行测试。例如,在“Solution Explorer”窗口中,右键单击“ALL_BUILD”,并选择“Build”。要测试代码,仍然在 Solution Explorer 窗口中,选择 RUN_TESTS,再选择 Build。

工具

  • json2json mydoc.json 解析文档,构造模型,然后将结果输出到标准输出。

  • json2json -d mydoc.json 解析文档,构造模型,然后将模型输出到标准输出。格式在随附的文件 tape.md 中有描述。

  • minify mydoc.json 缩小 JSON 文档,将结果输出到标准输出。缩小意味着删除不必要的空格。

范围

我们提供了一个非常快的解析器。它根据各种规格对输入进行完全的验证。解析器会构建一个不可变(只读)的 DOM(文档对象模型),供后续访问。

为了简化工程,我们做了一些假设。

  • 支持 UTF-8(以及 ASCII),没有别的(没有 Latin,没有 UTF-16)。我们不认为这是一个真正的限制,因为我们不认为会有哪个严肃的应用程序需要在没有 ASCII 或 UTF-8 编码的情况下处理 JSON 数据。

  • 我们将字符串存储为以 NULL 作为终止符的 C 字符串。因此,我们假设字符串中不包含 NULL 字符。

  • 我们假设支持 AVX2,这在 AMD 和英特尔生产的所有最新主流 x86 处理器中都可用。不支持非 x86 处理器,尽管我们可以支持。我们计划支持 ARM 处理器。

  • 如果发生故障,我们只会报告故障,而不会指出问题的性质。

  • 在规范允许的情况下,我们允许对象内存在重复的 key。

  • 性能针对跨越几千字节到几兆字节的 JSON 文档进行了优化:解析很多小型 JSON 文档和一个大 JSON 文档的性能问题是不一样的。

我们的目标不是要提供通用的 JSON 库。像 RapidJSON 这样的库不仅提供了解析功能,它还可以用来生成 JSON,并提供了各种其他方便的功能。我们只解析文档。

特性

  • 不需改输入的字符串。(像 sajson 和 RapidJSON 这样的解析器使用输入字符串作为缓冲区。)

  • 将整数和浮点数解析为单独的类型,这样可以支持 [-9223372036854775808,9223372036854775808] 区间的 64 位整数,就像 Java 的 long 或 C/C++ 的 long long。在区分整数和浮点数的解析器中,并非所有解析器都支持 64 位整数。(例如,sajson 不支持包含大于或等于 2147483648 整数的 JSON 文件。FreeJSON 将长整数解析为浮点数。)当我们无法将整数表示为带符号的 64 位值时,我们就拒绝解析 JSON 文档。

  • 在解析过程中进行完整的 UTF-8 验证。(像 fastjson、gason 和 dropbox json11 这样的解析器不会进行 UTF-8 验证。)

  • 完全验证数字。(像 gason 和 ultranjson 这样的解析器会接受 [0e+] 这样的数字。)

  • 验证字符串内容中的未转义字符。(像 fastjson 和 ultrajson 这样的解析器接受字符串中未转义的换行符和制表符。)

架构

解析器分三个阶段:

  • 阶段 1,(查找标记)快速标识结构元素、字符串等。我们在这个阶段验证 UTF-8 编码。

  • 阶段 2,(结构构建)构建排序的“树”(物化为磁带),以方便访问数据。我们在这个阶段解析字符串和数字。

访问已解析的文档

以下是将解析后的 JSON 转储回字符串的代码示例:

  1. ParsedJson::iterator pjh(pj);
  2.  if (!pjh.isOk()) {
  3.  std::cerr << " Could not iterate parsed result. " << std::endl;
  4.  return EXIT_FAILURE;
  5.  }
  6.  compute_dump(pj);
  7.  //
  8.  // where compute_dump is :
  9.  
  10. void compute_dump(ParsedJson::iterator &pjh) {
  11.  if (pjh.is_object()) {
  12.  std::cout << "{";
  13.  if (pjh.down()) {
  14.  pjh.print(std::cout); // must be a string
  15.  std::cout << ":";
  16.  pjh.next();
  17.  compute_dump(pjh); // let us recurse
  18.  while (pjh.next()) {
  19.  std::cout << ",";
  20.  pjh.print(std::cout);
  21.  std::cout << ":";
  22.  pjh.next();
  23.  compute_dump(pjh); // let us recurse
  24.  }
  25.  pjh.up();
  26.  }
  27.  std::cout << "}";
  28.  } else if (pjh.is_array()) {
  29.  std::cout << "[";
  30.  if (pjh.down()) {
  31.  compute_dump(pjh); // let us recurse
  32.  while (pjh.next()) {
  33.  std::cout << ",";
  34.  compute_dump(pjh); // let us recurse
  35.  }
  36.  pjh.up();
  37.  }
  38.  std::cout << "]";
  39.  } else {
  40.  pjh.print(std::cout); // just print the lone value
  41.  }
  42. }

下面的函数将找出所有的 user.id 整数:

  1. void simdjson_traverse(std::vector<int64_t> &answer, ParsedJson::iterator &i) {
  2.  switch (i.get_type()) {
  3.  case '{':
  4.  if (i.down()) {
  5.  do {
  6.  bool founduser = equals(i.get_string(), "user");
  7.  i.next(); // move to value
  8.  if (i.is_object()) {
  9.  if (founduser && i.move_to_key("id")) {
  10.  if (i.is_integer()) {
  11.  answer.push_back(i.get_integer());
  12.  }
  13.  i.up();
  14.  }
  15.  simdjson_traverse(answer, i);
  16.  } else if (i.is_array()) {
  17.  simdjson_traverse(answer, i);
  18.  }
  19.  } while (i.next());
  20.  i.up();
  21.  }
  22.  break;
  23.  case '[':
  24.  if (i.down()) {
  25.  do {
  26.  if (i.is_object_or_array()) {
  27.  simdjson_traverse(answer, i);
  28.  }
  29.  } while (i.next());
  30.  i.up();
  31.  }
  32.  break;
  33.  case 'l':
  34.  case 'd':
  35.  case 'n':
  36.  case 't':
  37.  case 'f':
  38.  default:
  39.  break;
  40.  }
  41. }

深度比较

如果你想了解各种解析器如何验证给定的 JSON 文件:

  1. make allparserscheckfile
  2. ./allparserscheckfile myfile.json

性能比较:

  1. make parsingcompetition
  2. ./parsingcompetition myfile.json

更广泛的比较:

  1. make allparsingcompetition
  2. ./allparsingcompetition myfile.json


 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号