经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
 MongoDB

Mongodb分片 学习小结

前一篇 https: www.cnblogs.com/frx9527/p/mongodb.html 学会搭建复制集Replication之后,就可以学习分片Sharding了。 教程建议看官方文档:https: docs.mongodb.com/manual/  总结一...[2019/9/16]

Window 服务器安装MongoDB 设置外网可访问

1.下载MongoDB   www.mongodb.com/download-center#community 2.下一步下一步安装. 安装完成后配置环境变量   我的的默认安装,环境变量地址  C:\Program Files\MongoDB\Server\4.2...[2019/9/16]

python连接、操作mongodb数据库的方法实例详解

本文实例讲述了python连接、操作mongodb数据库的方法。分享给大家供大家参考,具体如下: 数据库连接 from pymongo import MongoClient import pandas as pd #建立MongoDB数据库连接 client = Mongo...[2019/9/11]

Python操作Mongodb数据库的方法小结

本文实例讲述了Python操作Mongodb数据库的方法。分享给大家供大家参考,具体如下: 一 导入 pymongo from pymongo import MongoClient 二 连接服务器 端口号 27017 连接MongoDB 连接MongoDB我...[2019/9/11]

Node.js使用MongoDB的ObjectId作为查询条件的方法

当往MongoDB中插入一条数据时,会自动生成ObjectId作为数据的主键。 那么如何通过ObjectId来做数据的唯一查询呢? 在MongoDB中插入一条数据 在MongoDB中插入一条如下结构的数据: { _id: 5d6a32389c825e24106624e4...[2019/9/10]

mongodb 启动 WARNING: soft rlimits too low, transparent_hugepage/enabled is 'always'. never

今天启动mongodb的时候,之前一直没注意,今天发现又warning,想整一整。 下面是告警 2019-09-05T12:00:55.271+0800 I CONTROL [initandlisten] 2019-09-05T12:00:55.271+0800 I CONTR...[2019/9/10]

MongoDB基础

MongoDB基础

MongoDB是一个以分布式数据库为核心的数据库。它将数据存储在类似json的bson文档中,具有高性能、容易部署、方便使用的特点。特别是为查询、索引和实时聚合提供了访问和分析数据的强大方法支持。目前MongoDB已经提供了十多种主流开发语言驱动的。 下载与安装 MongDB的安装很简...[2019/9/10]

Docker下搭建mongodb副本集

背景 有需求需要对mongodb做一个容灾备份。根据官网,发现mongodb最新版本(4.0)已经抛弃了主从模式而采用副本集进行容灾。副本集的优势在于:”有自动故障转移和恢复特性,其任意节点都可以是主节点,并能实现读写分离,提供高负载“。官方建议副本集最低配置三个节点。关于副本集的原理...[2019/8/30]

MongoDB 中聚合统计计算--$SUM表达式

我们一般通过表达式$sum来计算总和。因为MongoDB的文档有数组字段,所以可以简单的将计算总和分成两种:1,统计符合条件的所有文档的某个字段的总和;2,统计每个文档的数组字段里面的各个数据值的和。这两种情况都可以通过$sum表达式来完成。以上两种情况的聚合统计,分别对应与聚合框架中的...[2019/8/26]

Mongodb最基础入门教程

  Mongodb最基础入门教程 如果想了解一下redis的入门教程,可以去看一下我的上一篇博客 Mongodb的安装大家可以参考一下其他博主的博客,这里我就不做介绍了。不过值得注意的是,在Linux版本中如果启动mongodb的时候出现下面这个错误(在wind...[2019/8/26]

MongoDB的一些高级语法

    MongoDB的一些高级语法 AND 和 OR操作 AND操作 OR操作 嵌入式文档 插入 查询 数组(Array)字段 插入 查询 聚合(Aggregation) 筛选...[2019/8/26]

谨慎 mongodb 关于数字操作可能导致类型及精度变化

1.问题描述 最近有一个需求,更新Mongo数据库中 原料 集合的某字段价格,更新后,程序报错了,说长度过长了,需要Truncation。 主要错误信息如下: FormatException: An error occurred while deserializing th...[2019/8/21]

在Ubuntu中安装了MongoDB后无法启动mongod的问题

今天准备学习MongoDB,没想到下载之后服务器端启动不了,记录一下问题和处理过程 一.安装 在Ubuntu中安装还是很简单,直接:sudo apt install mongodb 二.启动 启动MongoDB服务器端:输入mongod  (或者使用 sudo servi...[2019/8/15]

一个MongoDB索引走偏的案例及探究分析

接业务需求,有一个MongoDB的简单查询,太耗时了,执行了 70S 左右,严重影响用户的体验。。 查询代码主要如下: db.duoduologmodel.find({"Tags.SN": "QZ435698245"}) .projection({}) .sort({OPTim...[2019/8/15]

将 云数据库MongoDB(阿里云)物理备份文件下载恢复至本地自建数据库 遇到的5个问题

有时候我们可能需要将云上数据库下载到本地,下面是我们在操作MongoDB数据库时遇到的五个小问题。 其实现在RDS的 帮助文档 写的都比较详细了,大家在第一次操作时,可以细读一下,避免一些不必要的问题。   Problem 1 通过wget命令下载 云Mon...[2019/8/9]

MongoDB中的定时索引示例详解

MongoDB中存在一种索引,叫做TTL索引(time-to-live index,具有生命周期的索引),这种索引允许为每一个文档设置一个超时时间。一个文档达到预设置的老化程度后就会被删除。 数据到期对于某些类型的信息非常有用,例如机器生成的事件数据,日志和会话信息,这些信息只需要在数据库...[2019/8/2]

Mongo Document 校验

Mongo Datamodel Validation mongo insert,update document时候的校验规则 指定validation rules new collection db.createCollection(...,{validator:}) existing col...[2019/7/29]

海量数据的分页怎么破?

目录 一、背景 二、传统方案 三、改良做法 性能对比 四、完美的分页 小结 一、背景 ...[2019/7/29]

Mongodb的oplog详解

Oplog 是 MongoDB 实现复制集的关键数据结构,在复制集中 Primary 对数据库操作之后就会产生一个 Oplog 文档保存在 local.oplog.rs 集合中,Secondary 成员会拉取 Primary 的 Oplog 并重放相同的操作,从而达到 Secondary 成员与 ...[2019/7/25]

MongoDB 启动时关于 NUMA 警告 的分析----(To avoid performance problems)

 1. 需求描述 观察MongoDB的启动Log,会看到一个关于  NUMA 的警告 和 优化建议 2018-07-17T17:00:04.516+0800 I CONTROL [initandlisten] ** WARNING: You are runnin...[2019/7/23]

MongoDB的模糊查询操作(类关系型数据库的 like 和 not like)

1.作用与语法描述 作用: 正则表达式是使用指定字符串来描述、匹配一系列符合某个句法规则的字符串。许多程序设计语言都支持利用正则表达式进行字符串操作。MongoDB 使用 $regex 操作符来设置匹配字符串的正则表达式。 语法一 { <field...[2019/7/22]

python数据库-MongoDB的基本使用(54)

一、MongoDB 创建数据库 语法:MongoDB 创建数据库的语法格式如下: use DATABASE_NAME 如果数据库不存在,则创建数据库,否则切换到指定数据库。 > use Hero switched to db Hero > db Hero ...[2019/7/17]

python数据库-mongoDB的高级查询操作(55)

一、MongoDB索引   为什么使用索引?   假设有一本书,你想看第六章第六节讲的是什么,你会怎么做,一般人肯定去看目录,找到这一节对应的页数,然后翻到这一页。这就是目录索引,帮助读者快速找到想要的章节。在数据库中,我们也有索引,其目的当然和我们翻书一样,能帮助我们提高查询的效率。索引就...[2019/7/17]

python数据库-MongoDB的安装(53)

  一、NoSQL介绍 1、什么是NoSQL   NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL"。   NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称...[2019/7/16]

零售行业下MongoDB在产品目录系统、库存系统、个性推荐系统中的应用【转载】

Retail Reference Architecture Part 1: Building a Flexible, Searchable, Low-Latency Product Catalog Product catalog data management is a complex prob...[2019/7/11]

以实现MongoDB副本集状态的监控为例,看Telegraf系统中Exec输入插件如何编写部署

既有的Telegraf 关于MongoDB的输入插件很难实现对副本集节点状态的监控,副本集节点状态有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。现在我们尝试通过 Exec Input Plugin 来实现对MongoDB状态的的监控。 第一...[2019/7/4]

MongoDB 基本概念

MongoDB 基本概念

  MongoDB和关系型数据库的对应关系 关系数据库MongoDB 数据库   database 数据库   database 表格  table 集合  collection 行&n...[2019/6/29]

MongoDB 设置参数

  服务器配置文件分析 bin目录下的mongod.cfg是服务器的配置文件,文件中主要的配置参数: 1、数据库文件的存放位置     2、服务器日志文件的存放位置     3、默认的IP地址、端口号 ...[2019/6/28]

MongoDB 简介

  MongoDB 简介 MongoDB 是一个基于分布式文件存储的数据库,由 C++ 编写,旨在为 WEB 应用提供可扩展、高性能的数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库中功能最丰富、最像关系数据库的。在高负载的情况下,...[2019/6/28]

Windows下MongoDB的下载安装、环境配置

  下载MongoDB 1、进入MongoDB官网,Products -> 选择SOFTWARE下的MongoDB Server   2、选择下载最新版     3、选择对应的版本下载   &nb...[2019/6/28]

MongoDB 目录分析、基础命令、参数设置

  目录分析 1、整体目录 以msi默认的data、log路径安装,才会有data、log文件夹。     2、bin目录     3、log目录       ...[2019/6/28]

MongoDB 操作数据库

MongoDB 操作数据库

  1、show  dbs    显示所有数据库 MongoDB默认有4个数据库: admin   存储数据库管理员的信息 config    存储配置信息 local test  &n...[2019/6/28]

Mongodb 学习笔记(三) .net core SDK

 首先添加 Nuget包  MongoDB.Driver  创建一个Model。 public cla Student { public ObjectId _id { get; set; } public string name { get...[2019/6/27]

Mac 下用homebrew安装配置MongoDB

Mac 下用homebrew安装配置MongoDB

---恢复内容开始--- 1.首先安装homebrew,已有就跳过 /usr/bin/ruby -e "$(curl -fsSL https: raw.githubusercontent.com/Homebrew/install/master/install)" 2.下载安装m...[2019/6/24]

Mongodb 学习笔记(一)

   MongoDB 是一款开源、跨平台、分布式,具有大数据处理能力的文档存储数据库。在 2007 年由 MongoDB 软件公司开发完成,并实现全部代码源发展。目 前,该文档数据库被国内外众多知名网因所采纳,用于提高数据访问的处理速度 和大数据存储问题。  基本操作命令 ...[2019/6/21]

Mongodb 学习笔记(二) :索引

  Mongodb 是基于集合建立索引 (Index),索引的作用类似于传统关系型数据库,目的是为了提高查询速度 。 如果没有建立索引, Mongodb  在读取数据时必须扫描集合中的 所有文档记录。 这种全集合扫描效率是非常低的,尤其在处理大数据时,查询可能需要花费几十秒到几...[2019/6/21]

MongoDB的集群模式--Sharding(分片)

    分片是数据跨多台机器存储,MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 具有大型数据集或高吞吐量应用程序的数据库系统可能会挑战单个服务器的容量。例如,高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I /...[2019/6/21]

Mongodb介绍(非原创)

文章大纲 一、什么是nosql二、mongodb与mysql比较三、参考文章   一、什么是nosql 1. 简介 这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于...[2019/6/17]

MongoDB用户和密码登录

一、MongoDB中内置角色 角色 介绍 read 提供读取所有非系统的集合(数据库) readWrite 提供读写所有非系统的集合(数据库)和读取所有角色的所有权限 dbAdmin 提供执行管理任务的功能,例如与架构相关的任务,索引编制,收集统...[2019/6/13]

MongoDB的集群模式--Replica Set

MongoDB的集群模式--Replica Set

一、Replica Set 集群分为两种架构: 奇数个节点构成Replica Set,所有节点拥有数据集。最小架构: 1个Primary节点,2个Secondary节点 偶数个节点 + 一个仲裁节点 构成的Replica Set,节点拥有数据集,仲裁节点仅参与仲裁选举出Pri...[2019/6/12]

mongoDB看这篇就够了

写在前面 hello,小伙伴们,我是 pubdreamcc ,本篇文章依旧出至于我的 GitHub仓库 node学习教程 ,如果你觉得我写的还不错,欢迎给个 star ,小伙伴们的 star 是我持续更新的动力 ! node学习教程GitHub 安装 mongoDB 安装这里,我就不详细介...[2019/6/3]

MongoDB 读偏好设置中增加最大有效延迟时间的参数

在某些情况下,将读请求发送给副本集的备份节点是合理的,例如,单个服务器无法处理应用的读压力,就可以把查询请求路由到可复制集中的多台服务器上。现在绝大部分MongoDB驱动支持读偏好设置(read preference;或翻译为读取首选项),用来告诉驱动从特定的节点读取数据。 1.副本集读偏好 ...[2019/5/31]

MongoDB使用过程中的报错处理(持续更新)

1、连接池问题 com.mongodb.DBPortPool$SemaphoresOut Concurrent requests for database connection have exceeded limit 50#解决办法MongoDB默认的连接数一般不会低于50,先通过mon...[2019/5/23]

MongoDB 副本集丢失数据的测试

在MongoDB副本集的测试中发现了一个丢数据的案例。 1. 概要描述 测试场景为:一主一从一验证 测试案例   step1 :关闭从副本; step 2 ;向主副本中插入那条数据; step 3 :关闭主副本; step 4 :开启辅助副本,此...[2019/5/23]

大数据环境下mongoDB要加索引

mongodb在存储大数据时,对查询的字段需要添加索引,我测试的是阿里云30多万的数据量,不加索引查询已经到8秒,而添加索引之后是毫秒级! 为集合加索引 mongodb支持内嵌属性添加索引 db.agencyTotal.createIndex({"occurDate ":...[2019/5/20]

MongoDB 最近遇到的几个小问题

(1)连接数据库时报错 ERROR Topshelf.Hosts.ConsoleRunHost.Run 1 An exception occurred System.TimeoutException: A timeout occured after 30000ms selecting ...[2019/5/17]

MongoDB分片集群部署详解

MongoDB分片集群部署详解

 一、环境说明 1、我们prod环境MongoDB的集群架构是做的分片集群的部署,但是目前我们没有分片,即所有数据都在一个分片上,后期如果数量大,需要分配,集群随时可以分片,对业务方透明 2、各个角色的部署情况 角色 ...[2019/5/16]

MongoDB实现自动备份的全过程记录

MongoDB实现自动备份的全过程记录

前言 前段时间,个人小程序 因服务器磁盘空间被占满,导致MongoDB挂了。清理了一些无用的数据后,重启MongoDB,竟然无法启动,一番折腾(20分钟)后,总算修复了。这让我意识到:虽然是个人小项目,但也必须定期备份啊,否则数据丢了很尴尬的说。 碎碎念 我不是MongoDB高手,之所...[2019/5/15]

MongoDB 4.X 用户和角色权限管理总结

关于MongoDB的用户和角色权限的梳理一直不太清晰,仔细阅读了下官方文档,并对此做个总结。 默认情况下,MongoDB实例启动运行时是没有启用用户访问权限控制的,也就是说,在实例本机服务器上都可以随意登录实例进行各种操作,MongoDB不会对连接客户端进行用户验证,可以想象这是非常危险的。...[2019/5/6]

mongodb复制+分片集原理

mongodb复制+分片集原理

----------------------------------------复制集---------------------------------------- 一、复制集概述: Mongodb复制集(replica set)由一组Mongod实例(进程)组成,包含一个Primary...[2019/4/28]

354
2
记录数:157 页数:1/41234下一页尾页
加载更多