精易论坛

标题: 基于Facebook开源的 rocksdb 分布式数据库模块 [迭代] [打印本页]

作者: Buei 时间: 2023-9-21 18:24
标题: 基于Facebook开源的 rocksdb 分布式数据库模块 [迭代]

由于之前帖子内容太多,这里重新发布一篇,之前帖子地址--> 地址

什么是rocksdb?

RocksDB是一个持久的键值存储库，它是用C++编写的，适合在快速、低延迟的存储设备上存储数据。它是由Facebook数据库工程团队开发和维护。

LevelDB 有什么区别?

RocksDB和LevelDB都是基于LSM-Tree的嵌入式键值存储库，但RocksDB是在LevelDB的基础上进行了优化和增强

RocksDB可以支持多线程合并文件，而LevelDB是单线程
RocksDB可以根据需要开辟多个Memtable ，而LevelDB只有一个Memtable
RocksDB可支持多种压缩算法，而LevelDB只支持snappy
单线程模式下 LevelDB 可能稍微快一点,而在多线程下 RocksDB 就会发挥出它的优势了

rocksdb的优点

高性能：RocksDB 使用了很多优化技术，如多线程、高效的数据结构等，因此具有非常高的读写性能。
可扩展性：RocksDB 可以处理大规模的数据，并支持自动分片和负载均衡等功能，因此可以很好地应对高并发访问。
可靠性：RocksDB 支持 ACID 事务，保证数据的一致性和可靠性。
灵活性：RocksDB 支持多种数据格式，包括内存映射文件、纯内存等，让用户可以灵活选择适合自己的存储方式。
RocksDB在存储数据时是按照键的排序方式进行存储的，它并没有明确的容量限制，可以存储非常大的数据 [理论上无限制容量]。而类似MMKV框架限制容量的方式是使用了一种固定大小的映射文件，即在创建MMKV实例时就已经确定了最大容量，超过容量时就不能再写入数据[大概在 4GB 左右]

另一款开源 leveldb的帖子

下图为 rocksdb和leveldb 单/多线程写入对比
理论上在单线程下 RocksDB应该比levldb稍微略慢一点

图中可看到300W多线程写入RocksDB一瞬间完成

另外发布了一份火山版rocksdb

更新日志 2023/09/21 18:00 - V1.5 本次更新内容有点多

本次使用了C++ MT 模式编译
增加 Transaction事务类 (此事务支持在事务内创建迭代器,支持事务读取回滚操作)
增加 OptimisticTransactionDB_类
增加 TransactionDB类 (TransactionDB(PessimisticTransactionDB)和OptimisticTransactionDB，分别对应并发控制中的悲观锁和乐观锁)
增加 Merge 合并功能 (使用此命令前务必在 rocksdb_启动参数的合并模式选择合并模式)
修复压缩模式无效

修复关闭写前日志无效 (如果想完全启用内存模式,请将缓存调大关闭写前日志开启即可)

OptimisticTransactionDB，TransactionDB 对应的事务 [Transaction事务类]
...

以下为Facebook官方更新
-Please note 8.5.1 includes a fix for a persisted database corruption in an unlikely edge case. Upgrading to a version including this fix, like this one, is highly recommended!

Fixed a race condition in GenericRateLimiter that could cause it to stop granting requests
Fix a bug where iterator may return incorrect result for DeleteRange() users if there was an error reading from a file.
Fix a bug where if there is an error reading from offset 0 of a file from L1+ and that the file is not the first file in the sorted run, data can be lost in compaction and read/scan can return incorrect results.

https://wwqr.lanzouw.com/b09ivrlpc
密码:7l4b

作者: TLDream 时间: 2023-9-21 18:26

谢谢大佬分析

作者: lijuntao 时间: 2023-9-21 18:30
看看怎么样？

作者: shiminghao 时间: 2023-9-21 18:30
先看看怎么样吧

作者: 壮志豪情 时间: 2023-9-21 18:41
6666666666666666666

作者: 清风明月夜 时间: 2023-9-21 18:42
感觉很牛批的样子

作者: 无敌小马甲 时间: 2023-9-21 18:48
666666666666666666676

作者: huaidan2015 时间: 2023-9-21 18:50
本次更新内容有点多

作者: 深浩 时间: 2023-9-21 18:50
666666666666666

作者: 深圳梦 时间: 2023-9-21 18:55
支持开源~！感谢分享

作者: 飘零 时间: 2023-9-21 18:58
开源精神必须支持~

作者: jiang910615 时间: 2023-9-21 18:58
学习学习

作者: sinewtec 时间: 2023-9-21 18:58
开源精神必须支持~

作者: 轻风影 时间: 2023-9-21 19:10
这是什么玩意

作者: xjdgs 时间: 2023-9-21 20:03
学习学习

作者: 初晴雨后 时间: 2023-9-21 20:04
支持下。。。。

作者: zifeiyu 时间: 2023-9-21 20:11
6666666666666666666666666666

作者: q1512960733 时间: 2023-9-21 20:26
开源精神必须支持~

作者: xuejiaqi123b 时间: 2023-9-21 20:26

优秀

作者: 不苦小和尚 时间: 2023-9-21 20:29
速度快不错

作者: 文西哥 时间: 2023-9-21 20:45
大佬就是大佬，学习一下，谢谢大佬分享

作者: 阿仁同学 时间: 2023-9-21 22:00
666

作者: UnTa 时间: 2023-9-21 22:50
看看隐藏

作者: yy沫鱼 时间: 2023-9-21 22:54
基于Facebook开源的 rocksdb 分布式数据库模块

作者: 安陆华硕专卖 时间: 2023-9-21 23:00
支持开源~！感谢分享

作者: 临安 时间: 2023-9-21 23:01
楼主辛苦了，谢谢楼主，感谢楼主分享，楼主好人一生平安！！！

作者: TOPCEO 时间: 2023-9-21 23:13
查看详情

作者: 宫廷程序猿 时间: 2023-9-21 23:15
看看什么好东西

作者: Zangetsu 时间: 2023-9-21 23:37

作者: 果心豆腐酱 时间: 2023-9-22 01:41
只有键和值，是不是只能保存账号名和密码？账号名称信息呢？

作者: 285275928 时间: 2023-9-22 01:46
如果您要查看本帖隐藏内容请回复

作者: pipicool 时间: 2023-9-22 02:35
学习一下

作者: dashang 时间: 2023-9-22 03:26
支持开源~！感谢分享

作者: 查过 时间: 2023-9-22 06:41
感谢发布原创作品，精易因你更精彩！6666666666666

作者: 豆豆灰常开心 时间: 2023-9-22 06:46
感谢楼主分享！

作者: lvzhi_123 时间: 2023-9-22 07:34
感谢楼主分享

作者: 爱易编程 时间: 2023-9-22 08:31
压缩包密码是多少啊

作者: 一指温柔 时间: 2023-9-22 08:45
感谢分享

作者: 已注销609915 时间: 2023-9-22 08:57
提示: 作者被禁止或删除内容自动屏蔽

作者: 安哥 时间: 2023-9-22 08:59
压缩包密码是多少啊

作者: yangdoudou 时间: 2023-9-22 09:05
支持开源~！感谢分享

作者: 艺压当行人 时间: 2023-9-22 09:10
看看这个有什么优势

作者: dawang2014 时间: 2023-9-22 09:16
6666666666666

作者: qqmqqg 时间: 2023-9-22 09:50
66666666666666666666666666

作者: webmaster999 时间: 2023-9-22 09:59
支持开源~！感谢分享

作者: 光影魔术 时间: 2023-9-22 10:15
感谢分享

作者: 猪滴寳貝哝 时间: 2023-9-22 10:25
不错，很给力~精华之作！

作者: hdldjese 时间: 2023-9-22 10:35
这个要看看，哈哈

作者: yokie 时间: 2023-9-22 10:55
感谢发布原创作品，精易因你更精彩！

作者: 君九 时间: 2023-9-22 11:01
感谢分享

作者: xiaoniu1230 时间: 2023-9-22 11:04
感谢分享支持开源！

作者: 清风徐来2 时间: 2023-9-22 11:07
感谢分享

作者: hipxh 时间: 2023-9-22 11:12
支持开源~！感谢分享

作者: 老二天天干活 时间: 2023-9-22 11:13
感谢发布原创作品，精易因你更精彩！

作者: 不得了了 时间: 2023-9-22 11:35
学习学习

作者: gdhong 时间: 2023-9-22 12:24
谢谢分享！！

作者: caskywz 时间: 2023-9-22 12:33
谢谢分享！！

作者: 深爱者 时间: 2023-9-22 12:43
支持开源！感谢分享，论坛有你更精彩~

作者: 天雨时晴 时间: 2023-9-22 13:29
感谢分享!学习学习

作者: 浩蛋 时间: 2023-9-22 13:57

路过看看啊

作者: quary 时间: 2023-9-22 14:08
谢谢楼主分享！！！
好人一生平安！！！

作者: hhf4977 时间: 2023-9-22 14:29
666666666666

作者: mytiger 时间: 2023-9-22 15:04
感谢分享!

作者: dhcdly 时间: 2023-9-22 15:33
感谢发布原创作品，精易因你更精彩！

作者: 指尖流淌 时间: 2023-9-22 15:37
支持开源~！感谢分享

作者: xSerendipity 时间: 2023-9-22 15:46
感谢分享

作者: zili 时间: 2023-9-22 15:53
RE: 基于Facebook开源的 rocksdb 分布式数据库模块 [迭代] [修改]

作者: 冰炎by 时间: 2023-9-22 16:41
支持开源~！感谢分享

作者: onda 时间: 2023-9-22 17:31
钱来支持一下

作者: chr8828 时间: 2023-9-22 17:54

支持开源~！感谢分享

作者: wjswzj0 时间: 2023-9-22 18:02
支持开源~！感谢分享

作者: qq2230552100 时间: 2023-9-22 18:34

作者: zxaf2012 时间: 2023-9-22 19:27
查看查看 db

作者: wdk0122 时间: 2023-9-22 20:38
感谢开源

作者: findqgzs 时间: 2023-9-22 20:52
66666666666666666666666666666666

作者: zcjzcjzcjzcj 时间: 2023-9-22 21:42

6666666666666666666666666666666666

作者: qq85668684 时间: 2023-9-22 21:58
rocksdb和leveldb

作者: 夏亿 时间: 2023-9-22 22:19

感谢分享支持开源！

作者: haoyunlai 时间: 2023-9-22 22:23
支持开源，谢谢分享

作者: lao3 时间: 2023-9-22 22:26
cool guy

作者: cwgwww 时间: 2023-9-22 23:00
学习！感谢分享

作者: 小情缘 时间: 2023-9-22 23:10
支持开源，谢谢分享

作者: 蜗牛人生 时间: 2023-9-23 00:13
下载来看看咋样

作者: zjchxj 时间: 2023-9-23 00:33

作者: callng 时间: 2023-9-23 00:44
高技术啊

作者: wjc826194 时间: 2023-9-23 00:55
下来学习一下

作者: SD1228 时间: 2023-9-23 02:19
牛气冲天

作者: dlq663 时间: 2023-9-23 08:24

作者: 若筱涵 时间: 2023-9-23 08:29
太牛了，感谢分享

作者: asfor78 时间: 2023-9-23 08:58
感谢分享，很给力！~

作者: seaser 时间: 2023-9-23 09:02
感谢分享好像很牛的样子

作者: 冷渣渣 时间: 2023-9-23 10:03
外发布了一份火山版rocksdb

作者: faith0 时间: 2023-9-23 10:26
感谢分享，很给力！~

作者: Buei 时间: 2023-9-23 10:44
本帖最后由 Buei 于 2023-9-23 10:48 编辑

问题反馈/交流Q群

作者: qccyidai 时间: 2023-9-23 11:02
感谢分享

作者: denz2008 时间: 2023-9-23 11:43
太牛了，感谢分享

作者: zesdq 时间: 2023-9-23 13:09
感谢分享，很给力！~

作者: 396384183 时间: 2023-9-23 13:19
感谢分享！！！

作者: 该死dē蚊子 时间: 2023-9-23 13:51
看看有何惊艳之处。。

作者: 网络注册会员 时间: 2023-9-23 13:58
感谢分享

欢迎光临精易论坛 (https://125.confly.eu.org/)

Powered by Discuz! X3.4