百度360必应搜狗淘宝本站头条
0xalinux查看python版本信息python怎么改成中文python安装opencv库1到10的阶乘之和是多少
当前位置：网站首页 > 技术文章 > 正文

Bugsnag的MongoDB分片集群使用经验

itomcoil 2025-08-02 18:46 4 浏览

Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司，Bugsnag已经使用MongoDB存储超过TB级的文档数据。从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据。近日，Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验，并开源了几个他们常使用的脚本。

带标签的分片（Tag Aware Sharding）

带标签的分片是MongoDB 2.2版本中引入的新特性，此特性支持人为控制数据的分片方式，从而使数据存储到合适的分片节点上。具体的做法是通过对分片节点打tag标识，再将sharding key 按范围对应到这些标识上。在Bugsnag中，每个页面的加载都会涉及到用户集合，比如查询用户是否登录，当应用向主分片上写入大量数据时，所有的用户请求都可能因此变得很慢。为了解决这个问题，Bugsnag对大的分片中的所有分片集合添加了一个标签，这样用户集合就可以存储到一台小型机器上，接下来就可以在内存中直接存取用户数据。关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客。

空的数据块

在删除旧的数据时，分片中会出现空的数据块，这样会导致分片不平衡。平衡分片的算法仅仅只是调整分片中数据块的数量，忽略了数据块的大小。在MongoDB 2.6中，新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上，但是这个命令并不可以自动执行，所以Bugsnag编写了一个脚本，以依次检查数据块，并自动合并空的数据块。

大的数据块

大的数据块是指数据块的大小超过配置大小，Bugsnag编写了一个脚本用来发现并调整大数据块的大小。由于需要连接mongod和mongo实例，所以使用了MongoDB的Ruby接口Mongoid。脚本会将大的数据块分割，以保证集群中数据集合分布均衡。

孤立文档（Orphaned documents）

在正常情况下，系统中不会有孤立文档。不过，块迁移过程中的一些失败情况可能会留下孤立文档。孤立文档可以被安全删除，MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档。关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文。

MoveChunk目录

MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件，操作完成后，这些文件就可以被删除。Bugsnag使用定时任务来定期清空该目录，MongoDB也支持关闭此功能，读者可以自行测试。

监控分片环境

  1. Shell命令

  2. Mongostat Mongostat是MongoDB自带的状态检测工具，当MongoDB集群出现问题时，可以运行mongostat –discover来检查集群中各个mongos机器的性能指标。

作者最后总结到运行一个MongoDB分片集群并不难，但是在运行过程中也不时地会有一些小的问题出现。在Bugsnag的博客中有很多MongoDB的博文，读者可以自行学习。

相关推荐

python学习教程-第七节内容

函数（重点）基本概念Python函数的语法是编程中的核心概念之一，它允许你将代码块封装为可重复调用的单元。基本语法定义函数：示例参数类型位置参数（PositionalArguments）按参数定义...

Python排序90%人只会用sorted()?这7个高阶技巧让你代码效率翻倍

高效处理数据的关键，往往从掌握排序开始。排序操作在Python编程中的重要性常被低估——直到你面对一个杂乱无章的数据集。作为数据处理的核心操作之一，排序效率直接决定了程序性能和代码可读性。无论你正在清...

第四章:Python函数

4.1函数的定义与调用4.1.1理论知识函数是组织好的、可重复使用的代码块，用于执行特定的任务。它可以提高代码的复用性和可维护性。在Python中，定义函数使用def关键字，其基本语法如下：def...

ArcGIS 一个独立运行的Python程序编写和打包

写代码#coding=utf8#-*-coding:UTF-8-*-importarcpyfromarcpyimportenvimportosimportsys##########...

python入门到脱坑经典案例—计算三角形的面积

下面为大家详细讲解如何用Python计算三角形面积。我们会从最基础的数学公式开始，逐步深入编程实现，并涵盖多个实用版本。以下是完整的教学指南：1.数学原理回顾三角形面积公式：面积=(底边长度...

Python运算技巧:10种计算列表平方的高效方法

1.使用for循环此方法遍历列表中的每个数字，使用**运算符计算其平方，然后将结果添加到新的列表中。2.使用列表推导式此方法使用列表推导式，这是一种更简洁的方式，可以在现有列表的每个项目上执行操作...

墙裂推荐，5个学习Python编程最佳的开源库

学习Python少不了的就是项目，我在GitHUB上找了几个比较好的开源库，大家可以跟着去学习。1、learn-python3这个存储库一共有19本Jupyter笔记本。它涵盖了字符串和条件之类的基础...

使用Python玩转ftplib库:实现ftp文件传输自动化全攻略

大家好！在日常工作中都会使用到ftp功能，用于上传和下载文件等，本章主要介绍Python的标准库ftplib来实现FTP文件传输，帮助我们实现ftp自动化。一、ftplib库核心函数速查表1连接与登...

Python零基础入门学习23:常用第三方库之图像处理库Pillow

注：本文所有代码均经过Python3.7实际运行检验，保证其严谨性。本文约2000字，阅读时间约为4分钟。Pillow库的概述Pillow库是Python最好的图像处理库，可能是使用频率最高的图像处...

Python编程之BeautifulSoup库

#头条创作挑战赛#BeautifulSoup是一个可以从HTML或XML文件中快速提取数据的Python库。它能够通过转从入门到精通Python网络爬虫框架Scrapy38换器实...

Python3 新一代Http请求库Httpx使用(详情版)

我们经常使用Python语言的朋友们都清楚，requests是使用率非常高的HTTP库，甚至更早Python2中使用的是urllib、urllib2，也给我们提供了许多方便的功能。但是自从...

小白也可以玩的Python爬虫库，收藏一下

最近，微软开源了一个项目叫「playwright-python」，作为一个兴起项目，出现后受到了大家热烈的欢迎，那它到底是什么样的存在呢？今天为你介绍一下这个传说中的小白神器。Playwright是...

apscheduler，一个超厉害的 Python 库!

大家好，今天为大家分享一个超厉害的Python库-apscheduler。Github地址：https://github.com/agronholm/apschedulerAPSchedule...

给3D Slicer添加Python第三方插件库

对临床医生或医学影像算法研究人员来说，3DSlicer是不错的临床实践或科研工具。随着人工智能和深度学习技术的普及，python已经作为原型开发和验证的计算机编程语言。3DSlicer自带pyt...

Paramiko:一个非常实用的Python库

前言Python的Paramiko库，它是一个用于实现SSHv2协议的客户端和服务器的库。通过使用Paramiko，我们可以在Python程序中轻松地实现远程服务器的管理、文件传输等功能。特别做智能硬...

一周热门
最近发表
标签列表