经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 数据库/运维 » MongoDB » 查看文章
表单生成器(Form Builder)之mongodb表单数据——整理数据 - du-blog
来源：cnblogs　　作者：du-blog　　时间：2019/11/8 15:40:36　　对本文有异议

　　在上篇笔记中，为车辆信息表、车辆耗损表以及车辆营收表插入了一些数据。之后便是查询了，重点也在查询……按照之前定好的数据结构，如果是查询mongodb document的最外层比较简单，但是我们的重点应该是FormItems表单项集合中的表单项，对他们进行查询、统计等。根据插入的数据，我写了一个查询：查询车辆信息中主键ID为1的车辆的所有耗损记录。分析一下因为所有的表（上面的三张表都放在FormInstace中）都在一个真实的表中，所以我们首先要确定FormId，之后是怎么确定是那辆车，车辆耗损表中有一个字段冗余着车辆信息（不清楚的可以翻一下前面的笔记），那么查询语句就出来了：

  1. db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

　　其实本来这个查询挺简单的，确定了表之后就是一个等值查询，但是现在却因为我们的结构问题用到了mongodb中的$elemMatch。这还是最简单的查询，之后要是有复杂的查询统计更是不敢想象（事实上也确实如此：现在的项目中对表单中的字典进行查询统计非常困难）……那么我们能不能将FormItems表单项集合中的字段拿到document的最外层，和之前的关系型数据一样，如下图：

　　答案是可以，mongodb有很多聚合管道，使用不同的组合可以帮我们实现上述效果，由于mongodb的版本不同以及语句的复杂程度，写了好几版本，下面一一列出。

　　第一版

  1. //    第一版：受限于下面的几个聚合管道，可以在3.4.4及以上使用
  2. //        $addFields         New in version 3.4.
  3. //        $arrayToObject     New in version 3.4.4.
  4. //        $replaceRoot     New in version 3.4.
  5. db.getCollection('FormInstace').aggregate([
  6.     {
  7.         $match: {
  8.             "FormItems.key": { $ne: null }
  9.         }
  10.     },
  11.     {
  12.         $addFields: {
  13.             FormValueObj: {
  14.                 $arrayToObject: {
  15.                     $map: {
  16.                         input: "$FormItems",
  17.                         as: "field",
  18.                         in: [ "$$field.key", "$$field.value" ]
  19.                     }
  20.                 }
  21.             }
  22.         }
  23.     },
  24.     {
  25.         $addFields: {
  26.             "FormValueObj._id": "$_id",
  27.             "FormValueObj.ExtendData":"$ExtendData",
  28.             "FormValueObj.CreateUserId": "$CreateUserId",
  29.             "FormValueObj.CreateUserName": "$CreateUserName",
  30.             "FormValueObj.CreateDate":"$CreateDate",
  31.             "FormValueObj.LastModifyDate":"$LastModifyDate",
  32.             "FormValueObj.FormId": "$FormId",
  33.             "FormValueObj.FormVersion":"$FormVersion"
  34.         }
  35.     },
  36.     {
  37.         $replaceRoot: {
  38.             newRoot: "$FormValueObj"
  39.         }
  40.     }
  41. ]);

　　看一下执行结果（用的是Robo 3T 1.2.1）

　　看到这样的执行结果还是很满意的，这不正是我们想要的嘛！但是当我调整上图中的数值时（修改为500），却报错了(⊙o⊙)…

　　我去这是什么情况，我都怀疑我的语句写的有问题了，可是为什么第一次没问题-_-||，我在另一台电脑中测试时（操作方式相同，只是版本不同，版本是1.3），还出现过“Cannot convert to an aggregation if ntoreturn is set”这样的错误，网上查到了这篇文章https://github.com/Studio3T/robomongo/issues/1529 （这里只是记录一下，有时间再看吧）。我还有另一个GUI，便试了一下：

　　至此我觉得语句应该没问题，最后的数据列是合并了所有表（逻辑上）中的所有字段和公共字段。

　　第二版

  1. //    第二版：受限于下面的几个聚合管道，可以在3.4.4及以上使用
  2. //        $addFields         New in version 3.4.
  3. //        $arrayToObject     New in version 3.4.4.
  4. //        $objectToArray     New in version 3.4.4.
  5. //        $concatArrays    New in version 3.2.
  6. //        $replaceRoot     New in version 3.4.
  7. db.getCollection('FormInstace').aggregate([
  8.     {
  9.         $match: {
  10.             "FormItems.key": { $ne: null }
  11.         }
  12.     },
  13.     {
  14.         $addFields: {
  15.             TempFormValueObj: {
  16.                 $arrayToObject: {
  17.                     $map: {
  18.                         input: "$FormItems",
  19.                         as: "field",
  20.                         in: [ "$$field.key", "$$field.value" ]
  21.                     }
  22.                 }
  23.             }
  24.         }
  25.     },
  26.     {
  27.         $addFields: {
  28.             TempFormValues: { 
  29.                 $objectToArray : "$TempFormValueObj"
  30.             }
  31.         }
  32.     },
  33.     {
  34.         $addFields:{
  35.             FormValueObj:{
  36.                 $arrayToObject:{
  37.                     $map:{
  38.                         input:{ 
  39.                            $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
  40.                         },
  41.                         as: "kv",
  42.                         in: ["$$kv.k","$$kv.v"]
  43.                     }
  44.                 }
  45.             }
  46.         }
  47.     },
  48.     {
  49.         $replaceRoot: {
  50.             newRoot: "$FormValueObj"
  51.         }
  52.     },
  53.     {
  54.         $project: {
  55.             FormItems:0,
  56.             TempFormValueObj:0,
  57.             TempFormValues:0
  58.         }
  59.     }
  60. ]);

　　在上一版中手动拼接了所有的公共字段，不是特别方便，这一版本中去掉了

　　第三版

  1. //    第三版：受限于下面的几个聚合管道，可以在3.6及以上使用
  2. //        $addFields         New in version 3.4.
  3. //        $arrayToObject     New in version 3.4.4.
  4. //        $replaceRoot     New in version 3.4.
  5. //        $mergeObjects     New in version 3.6.
  6. db.getCollection('FormInstace').aggregate([
  7.     {
  8.         $match: {
  9.             "FormItems.key": { $ne: null }
  10.         }
  11.     },
  12.     {
  13.         $addFields: {
  14.             FormValueObj: {
  15.                 $arrayToObject: {
  16.                     $map: {
  17.                         input: "$FormItems",
  18.                         as: "field",
  19.                         in: [ "$$field.key", "$$field.value" ]
  20.                     }
  21.                 }
  22.             }
  23.         }
  24.     },
  25.     {
  26.       $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
  27.     },
  28.     {
  29.         $project: {
  30.             FormItems:0,
  31.             FormValueObj:0
  32.         }
  33.     }
  34. ]);

　　这一版代码最精简，但是依赖的mongodb的版本比较高，要3.6+

　　现在我们整理完了数据，再看一下上面的查询，对比一下变化

　　就是在最后添加一个筛选管道，结果和最上面的结果是一样的都是58条。这里你可能会发现几个问题：

　　1、查询表单中的表单项都是硬编码的数字（例如“1572493552001”），可读性太差了；

　　2、查询时间有点长（图片中有执行时间）；

　　3、写一个简单的查询，这代码也太多了

　　……

　　对上面的问题，解释一下

　　1、在实际的界面中的筛选字段都是拖拉拽设计的，用户是感知不到的，“1572493552001”只是一个桥梁

　　2、查询全部的时间是有点长，好吧！不是有点是很长……如果业务需求需要获取所有的数据时，就不要用这种方式了，麻烦你换一种方式吧！我想说的是实际的场景中都是分页加载，这时时间还是可以接受的，下面是获取30条的截图，时间0.114s

　　3、代码有点多的问题，其实你可以将上面整理数据的代码作为筛选的前置条件，只要是查询都添加这段代码；还有一种处理方式就是先创建一个视图

  1. db.createView("FormInstaceView","FormInstace",[
  2.     {
  3.         $match: {
  4.             "FormItems.key": { $ne: null }
  5.         }
  6.     },
  7.     {
  8.         $addFields: {
  9.             FormValueObj: {
  10.                 $arrayToObject: {
  11.                     $map: {
  12.                         input: "$FormItems",
  13.                         as: "field",
  14.                         in: [ "$$field.key", "$$field.value" ]
  15.                     }
  16.                 }
  17.             }
  18.         }
  19.     },
  20.     {
  21.       $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
  22.     },
  23.     {
  24.         $project: {
  25.             FormItems:0,
  26.             FormValueObj:0
  27.         }
  28.     }
  29. ]);

　　之后你就可以向下面一样查询了

　　结果和上面的没有什么区别，但是你不要将视图当作mongodb中的collection使用，这样是查不到数据的

  1. db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

　　这篇笔记还是够长的，一大推代码……就到这里了。

原文链接：http://www.cnblogs.com/du-blog/p/11820110.html

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

MongoDB热门文章

  • MongoDB 数组查询（$elemMatch）、更新操作(占位符$)详解
  • MongoDB 聚合分组取第一条记录的案例及实现
  • 利用“海底捞算法”在MongoDB中优雅地存储一棵树
  • 瞧一瞧！这儿实现了MongoDB的增量备份与还原（含部署代码）
  • MongoDB 安装
  • MongoDB Python官方驱动 PyMongo 的简单封装
  • 记一次Mongodb数据库查询之包含所有指定元素的数组或者都在指定元素的数组中 - du-blog
  • Java将日期类型Date时间戳转换为MongoDB的时间类型数据
  • MongoDB动态建表方案（官方原生驱动）
  • MongoDB的模糊查询操作(类关系型数据库的 like 和 not like)

    • MongoDB推荐文章

  • SpringBoot集成Mongodb文档数据库
  • 用Python脚本迁移MongoDB数据到金仓-kingbase数据库 - 惟-koko
  • 使用Docker搭建MongoDB 5.0版本副本集集群
  • MongoDB 中的事务
  • 【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
  • 【最佳实践】MongoDB导出导入数据
  • MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（8）-Ant Design Blazor前端框架搭建
  • 基于SqlSugar的开发框架循序渐进介绍（27）-- 基于MongoDB的数据库操作整合
  • .NET Core MongoDB数据仓储和工作单元模式实操
  • .NET Core MongoDB数据仓储和工作单元模式封装

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号