钉钉企业级IM存储架构创新之道

2019-11-22 12:31 来源:InfoQ公众号 作者:于丽 点击: 评论:

A-A+

原标题:钉钉企业级IM存储架构创新之道

钉钉 (1)

声明:本文来自于微信公众号 InfoQ(ID:infoqchina),作者:小智,授权站长之家转载发布。

业界的 IM 产品在功能上同质化较高,而企业级的 IM 产品对于高可用、安全性又有更高的要求,如何打造具备差异化的产品,又在高可用、安全性、数据一致性等方面具备较高的品质,是企业级 IM 产品成功的关键。钉钉在过去短短几年时间里,用户数已破 2 亿,企业组织数破千万,钉钉是如何规划企业级 IM 产品的架构的?InfoQ 记者就此采访了钉钉 IM 服务端研发技术专家劲弩,劲弩也将在 ArchSummit 全球架构师峰会(北京站)2019 为我们带来《钉钉企业级 IM 存储的挑战与实践》的精彩分享,感兴趣的读者朋友可以多加关注。

1不同场景,架构不同

钉钉的技术栈继承自阿里巴巴集团。阿里有着”大中台,小前台“的组织战略,所以钉钉在大的框架上是复用集团的能力,包括集团的中间件、存储引擎、微服务框架等。在此之上,钉钉聚焦在核心能力的研发,比如:IM 核心系统、系统单元化、音视频通讯,弱网优化,图片收发极致体验等等。

钉钉作为 ToB 产品,业务场景跟 ToC 的 IM 产品有很大区别,架构上也各有侧重。

第一是万人群。在钉钉里,企业的组织关系映射到 IM 的群,产生了为数众多的超级大群。和 500 群人数上限相比,钉钉支持万人大群,大幅提升了群的触达人数。

如此数目繁多的万人群给 IM 系统的流量冲击巨大。在节假日,特别是元旦、春节或者双 11 这样的重大活动时期,管理层和员工在大群高频互动,流量洪峰瞬间流过 IM 系统,挑战着系统的极限。

为支撑好超级大群,我们做了以下多点的优化:

降低存储扩散量

最早 IM 使用写扩散模型,一万人的群发一条消息写一万次消息收件箱。优化为读扩散模型后,一条消息只需写一次消息收件箱,扩散量降低到万分之一。

智能限流

在节日场景下,一些大群的消息发送频率过高,可能超过系统整体容量,影响 IM 系统稳定性。如果对每个群设置较低的发送阈值,系统又没有完全发挥出容量,从而提供足够流畅的用户体验。针对这个问题,我们设计了一种智能限流的方法,当总体流量超过系统阈值时,自动根据当时情况对消息发送频率相对较高的大群进行限流。

万人群成员多级缓存

我们在客户端、服务端建立了群成员的多级缓存。

一方面增强了用户打开 at 列表、查看群成员列表的体验。因为群成员人数增大时,打开群成员列表的延迟提升明显,用户能感受到长达数十秒的卡顿。增加客户端缓存后,用户输入 @立刻响应成员列表,即使群里有几万个群成员。另一方面避免了大量群成员读写对 DB 的压力。如果压力直接打到 DB 层,万行记录的扩散量过大,很容易造成热点,影响系统稳定性。

【易采站长站编辑:秋军】

什么样的组织架构最适合私域流量?龙东平试验后说抓住这3点就 什么样的组织架构最适合私域流量?龙
声明:本文来自于微信公众号见实(ID:jianshishijie),作者:见实,授权站长之家转载发布。 蘑菇租房联合创始人龙东平在“见
淘宝新功能抄拼多多还“杀熟”,扒一扒那些坑你的会员套路 淘宝新功能抄拼多多还“杀熟”,扒一
声明:本文来自于微信公众号 运营研究社(ID:U_quan),作者:套路编辑社,授权站长之家转载发布。 最近,我发现淘宝在
贝壳视频刘飞:MCN3.0时代,如何与传统媒体“谈恋爱”? 贝壳视频刘飞:MCN3.0时代,如何与传统
声明:本文来自于微信公众号 德外 5 号(ID:dewaiwuhao),授权站长之家转载发布。 2019年的最后一个月初。晴冷的哈尔滨,最低
有超级用户,还能自发滚动起来,这些想法私域流量能实现! 有超级用户,还能自发滚动起来,这些
声明:本文来自于微信公众号见实(ID:jianshishijie),作者:见实,授权站长之家转载发布。 私域流量从最开始的饱受争议,到
桑达·皮猜:从产品经理到谷歌CEO有多远? 桑达·皮猜:从产品经理到谷歌CEO有多远
声明:本文来自于微信公众号 卫夕指北(ID:weixizhibei),作者:卫夕,授权站长之家转载发布。 今天卫夕和你讲一讲谷歌CEO桑
14步拆解“内容协作”:编辑部如何真正让用户贡献价值? 14步拆解“内容协作”:编辑部如何真正
声明:本文来自于微信公众号全媒派(ID:quanmeipai),作者:腾讯传媒,授权站长之家转载发布。 德国非盈利新闻组织Correcti发
“声讨灰黑产”涨粉100w,谁说深度内容没人看? “声讨灰黑产”涨粉100w,谁说深度内容
声明:本文来自于微信公众号 网易H5(ID:wangyih5),作者:蕉十五,授权站长之家转载发布。 有这么一位公众号作者,只靠自
靠“盗版”抖音连续霸榜17天,这款App都有哪些骚操作? 靠“盗版”抖音连续霸榜17天,这款Ap
声明:本文来自于微信公众号运营研究社(ID:U_quan),作者:套路编辑部,授权站长之家转载发布。 最近,有一个 App 引起了
分析完100万个小红书热搜词,我们终于找到了上热门的终极规律 分析完100万个小红书热搜词,我们终于
声明:本文来自于微信公众号 西瓜君(ID:xiguaxiaojun),作者:十一,授权站长之家转载发布。 “女生都把小红书当百度来用”
抖音初代红人张欣尧:走红3年,有过瓶颈,更想走上大荧幕 抖音初代红人张欣尧:走红3年,有过瓶
声明:本文来自于微信公众号新榜(ID:newrankcn),作者:小埋,授权站长之家转载发布。 上周六,张欣尧和粉丝们一起度过了