百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

全新版本MongoDB数据存储席卷物联网

itomcoil 2025-02-24 16:49 15 浏览

本文首先对物联网进行了模型抽象,着重和大家剖析了MongoDB解决方案,包括文档模型、高可用复制集、分片集群和Aggregation&MapReduce,最后分享了全新的MongoDB特性。

以下为内容整理:

MongoDB是文档型数据库,其核心的三大优势是灵活文档模型 、高可靠复制集、 高可扩展分片集群。在最新的 DB Engine Rank 的排名中,MongoDB 排在第4,是非关系型数据库领域的领头羊。

物联网模型抽象

物联网离我们越来越近,这主要得益于云计算和移动互联网技术的发展。物联网技术已经应用于智能家居、车联网等领域,我们进行模型抽象出物联网应用的共性,很多设备(Assets)通过智能的传感器采集很多数据并发到云端,这些设备不断的产生日志、数据、事件并发到云端,数据在云端进行存储计算后,会产生很多结果以接口的形式提供出去,方便我们开发更多的手机App和Web应用。

物联网存储需求

MongoDB 解决方案

文档模型

JSON 格式

JSON格式的好处:

  • 最接近真实对象模型,对开发人员友好。

  • Schema free,增加和删除字段非常灵活,直面灵活多变的需求,快速迭代。

  • 数组、内嵌文档支持,数据聚集,读写性能提升。

应用场景比如设备增加新特性;事件日志,数组+内嵌文档。

Schema free

随时动态增加字段如图。

  • 增加字段无需变更表结构。

  • 在MongoDB3.2版本推出了文档校验,使其兼备灵活和严禁的特性。

内嵌

使用MongoDB可以把所有的记录作为这个设备的元素,以数组的形式存储起来,还可以划分,把每分钟汇报按小时为单位聚合存储,这样可以达到更少的文档、更快的查询。

GridFS

MongoDB 单个文档不能超过16MB,更大的文档可以使用 GridFS 来存储,例如物联网里 OTA 升级文件、图片视频等的存储。

GridFS原理:

  • 文件内容分成多个文档存储在fs.chunks集合。

  • 文件元信息存储在fs.files集合。

功能支持

数据压缩

MongoDB3.0之后推出了新的存储引擎Wiredtiger,Wiredtiger存储引擎对数据的压缩支持非常好,用户原来自建的MongoDB使用 mmapv1,迁到云上后换成Wiredtiger,磁盘的容量通常能下降到原来的10%-30%。

MongoDB对索引的支持非常丰富,下面重点介绍物联网场景里经常被使用到的位置索引和TTL索引,位置索引可用于构建各种基于地理位置的应用,而 TTL 索引可以实现设备历史数据自动过期的功能。

位置索引

MongoDB的位置索引可以针对一个字段,MongoDB支持两种类型的位置索引字段,点和更灵活的位置,只要字段是这种数据结构,就可以建立位置索引。建立位置索引后,就可以使用MongoDB的near和geoWithin查询操作服务。

TTL 索引

因为后端的存储数据有限,只能存储最近的数据,我们可以让MongoDB支持让指定数据在某段时间后过期。

TTL索引有两种应用模式:指定某段时间后过期和指定时间戳过期。MongoDB对TTL索引的支持是有限制的,针对Date类型字段建索引。MongoDB在执行TTL索引时,后台过期逻辑每分钟执行一次。

高可用复制集

高可用复制集特性如下:

  • 自动故障检测,自动failover

  • 数据多副本存储,保证数据安全

  • 多节点可同时提供读服务

以三节点复制集为例,会有一个Primary和两个Secondary,复制集里的所有成员通过选举协议选出Primary,默认情况下,所有数据都是写到Primary且只能通过Primary写,读也是通过Primary来读。三节点数据存储三份,可以容忍两个副本失效,保证了数据的高可靠。当Primary挂掉后,另外两个Secondary会发起新选举,保证服务正常进行。

连接访问

MongoDB里面有Connection String URI,所有driver都支持Connection String URI方式连接,这个通用的连接串包含访问MongoDB的用户密码信息,可以指定多个节点的地址,可以指定鉴权数据库的信息。通过这种方式,只要在这个连接串里指定后端多个节点或指定 replicaSet 参数,正确连接复制集后,用户客户端连接到这个复制集后,会跟复制集的每一个成员建立一个心跳关系,会不断的监测后端复制集成员的变化情况,当后端出现主备切换时,driver 能自动感知。

WriteConcern

MongoDB通过WriteConcern保证数据高可靠,默认情况下,MongoDB 使用{w: 1}的 WriteConcern 级别,当数据写到 primary 就像客户端返回。对于非常重要的数据,可在写入时设置WriteConcern: { w: “majority”},就会写到后端复制集成员的大多数,再向客户端返回,保证数据在有节点宕机时也能不丢失。

ReadPreference

MongoDB通过ReadPreference实现读写分离,可以指定读写对象。

可扩展分片集群

可扩展分片集群可以实现海量数据存储、高并发写入,例如物联网里大量设备汇报的日志数据。

MongoDB为了实现分片集群,引入了两个新的组件mongos和Config Servers,Config Servers存储分片集群的元数据。首先配置好某个集合,按照某个key进行分片,接下来一条写请求就会到mongos上,mongos去Config Servers上查询路由表,把请求路由到后端的分片上,就实现了分片集群的功能。

shardKey

MongoDB支持范围分片,每一个范围在MongoDB的分片集群里成为一个Chunk,每一个Chunk就会分到后面的Shard上,优点是能很好的支持范围查询需求。

MongoDB支持Hash分片,针对Key先计算一次Hash值,再根据Hash值进行范围分片,优点是能均匀的将写请求分散到不同的分片。

选择集合的 shardKey 时并没有一个很完美的方案,需要用户根据数据分布特性、请求特性来选择最优的 shardKey,使用时应该尽量避免以下三个问题:

  • key 基数太小造成 jumbo chunk

  • 写入分布不均,造成热点

  • scatter/gather 查询影响效率

负载均衡

MongoDB在mongos中有balancer的任务,会周期性的扫描每个Shard当前负责的Chunk的数量,balancer根据shard持有的chunk数量自动负载均衡,balancer 运行时,要尽量主要如下2个问题。

  • 合理设置 balancer 窗口,避开业务访问高峰期

  • 备份时关闭 balancer,避免出现数据不一致的状态

数据分析

内建支持

Aggregation Pipeline支持很多的运算符,传统关系型数据库单表能做的Aggregation Pipeline都可以做;MongoDB支持MapReduce,可以在MongoDB的集合上写MapReduce的任务,数据分析后,又写回MongoDB。

外部框架

通过MongoDB Spark Connector,可直接在MongoDB数据集上运行 Spark ,与阿里云 E-MapReduce 完美结合。

MongoDB 云数据库

MongoDB云数据库从2015年底开始公测,2016年3月份正式商业化运营,目已在线上稳定运行超过半年时间,了解更多请访问
https://www.aliyun.com/product/mongodb

云数据库全链路监控

图为内部全链路监控视图,可以精确的看到云数据库的每一个客户端的每一个连接,可以看到上行下行的带宽,请求速率,丢包率等,这对于查找线上问题是非常方便的。

MongoDB 内核优化

更多深度技术内容,请关注云栖社区微信公众号:yunqiinsight。

相关推荐

selenium(WEB自动化工具)

定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7,8,9,10,11),MozillaF...

开发利器丨如何使用ELK设计微服务中的日志收集方案?

【摘要】微服务各个组件的相关实践会涉及到工具,本文将会介绍微服务日常开发的一些利器,这些工具帮助我们构建更加健壮的微服务系统,并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...

高并发系统设计:应对每秒数万QPS的架构策略

当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时,大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...

2025 年每个 JavaScript 开发者都应该了解的功能

大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...

JavaScript Array 对象

Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0,第二个索引值为1,以此类推。更多有...

Gemini 2.5编程全球霸榜,谷歌重回AI王座,神秘模型曝光,奥特曼迎战

刚刚,Gemini2.5Pro编程登顶,6美元性价比碾压Claude3.7Sonnet。不仅如此,谷歌还暗藏着更强的编程模型Dragontail,这次是要彻底翻盘了。谷歌,彻底打了一场漂亮的翻...

动力节点最新JavaScript教程(高级篇),深入学习JavaScript

JavaScript是一种运行在浏览器中的解释型编程语言,它的解释器被称为JavaScript引擎,是浏览器的一部分,JavaScript广泛用于浏览器客户端编程,通常JavaScript脚本是通过嵌...

一文看懂Kiro,其 Spec工作流秒杀Cursor,可移植至Claude Code

当Cursor的“即兴编程”开始拖累项目质量,AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维:需求-设计-任务三件套一次生成,文档与代码同步落地,复杂项目不...

「晚安·好梦」努力只能及格,拼命才能优秀

欢迎光临,浏览之前点击上面的音乐放松一下心情吧!喜欢的话给小编一个关注呀!Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...

JavaScript 中 some 与 every 方法的区别是什么?

大家好,很高兴又见面了,我是姜茶的编程笔记,我们一起学习前端相关领域技术,共同进步,也欢迎大家关注、点赞、收藏、转发,您的支持是我不断创作的动力在JavaScript中,Array.protot...

10个高效的Python爬虫框架,你用过几个?

小型爬虫需求,requests库+bs4库就能解决;大型爬虫数据,尤其涉及异步抓取、内容管理及后续扩展等功能时,就需要用到爬虫框架了。下面介绍了10个爬虫框架,大家可以学习使用!1.Scrapysc...

12个高效的Python爬虫框架,你用过几个?

实现爬虫技术的编程环境有很多种,Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫,为什么呢?因为Python确实很适合做爬虫,丰富的第三方库十分强大,简单几行代码便可实...

pip3 install pyspider报错问题解决

运行如下命令报错:>>>pip3installpyspider观察上面的报错问题,需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...

PySpider框架的使用

PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统,它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...

「机器学习」神经网络的激活函数、并通过python实现激活函数

神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下:左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。用数学式来表示感知机:上面这个数学式子可以被改写:...