Xline v0.7.0: 一个用于元数据管理的分布式KV存储

Xline是什么？我们为什么要做Xline？

Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。当部署在单个数据中心时，节点之间的延迟较低，因此不会对性能产生大的影响。

但是，当跨数据中心部署时，节点之间的延迟可能是几十或几百毫秒，此时 Raft 协议将成为性能瓶颈。Curp 协议就是为了解决这个问题而设计的。它可以在命令不冲突的情况下减少一个RTT，从而提高性能。因此，Xline旨在实现高性能的数据访问和跨数据中心场景下的强一致性。

V0.7.0版本有什么新功能？

v0.7.0新版本修复问题以及重构如下：

⭐ 新功能

[Feature]CURP WAL (Write-Ahead-Log) 实现：我们设计了一个 Write-Ahead-Log 来保存 curp 的日志条目。

[Feature]重复数据删除：使用RIFL论文中的exactly-once语义实现命令重复数据删除。

[Feature]：快照恢复 #630

[Feature]：维护服务器接口#543

[Feature]：支持使用 tls 运行 #328

️ 重构

[Refactor]：为自动更新lock lease添加会话结构#684

[Refactor]：启动流程#629

[Refactor]：重构speculative pool的GC #439

[Refactor]：新的命令执行逻辑：我们删除了cmd workers和相关的命令执行逻辑。现在，Xline 将使用串行执行（通过批处理）来防止锁争用。

[Refactor]：Garbage Collection：我们在dedup实现的基础上重构了garbage collection logic。

[Refactor]：客户端Proposal优化：我们重构了 curp 客户端，以使用 gRPC 流向集群发送提议。这降低了 gRPC 服务器的负载并提高了整体性能。

[Refactor]：冲突检测：我们删除了冲突检查的 mpmc。现在Xline将使用conflict pools（speculative pool和uncommitted pool）来检测命令冲突。

[Refactor]：Read Index：我们实现了 Raft 论文中的 Read Index 机制，用于只读命令。替换了之前的读取状态实现。

[Refactor]：xline-client 重构：我们为 xline-client crate 切换到更直观的用户界面。

[Refactor]：各种性能优化

错误修复

[Bug]：实现 ReadIndex #870

[etcdapi] [Bug]：重复revision #848

[Bug]：测试用例 curp::it server::shutdown_rpc_should_shutdown_the_cluster 失败 #774

[Bug]：Xline 在使用watch功能时会丢失事件#677

[Bug]：xlinectl 不会续订锁定密钥的lease #664

[Bug]：无法将新成员node4添加到三节点xline集群#661

[Refactor]：revision生成期间的只读命令#502

[Bug]：在读取状态期间执行时读取不同的值#501

[Bug]：sync txn 请求未按照子请求的顺序执行 #498

[Bug]：读取状态#497

[Bug]：revision生成#491、#848

[Bug]：单个 txn 中的请求不按顺序执行 #471

[Bug]：raw_curp中的batch_index最终会溢出#368

[Bug]：修复 GC 可能会破坏 CURP 持久性的问题 #159

️已知问题

在基准测试期间，如果集群处于高负载下，集群有时可能会由于重复数据删除机制而无法取得进展。

重大变化

etcd 兼容 API 现在将使用 2-RTT 操作来防止revision生成问题。

️ 贡献者

我们要感谢所有参与此版本发布的贡献者！

@themanforfree

@iGxnon

@Phoenix500526

@bsbds

相关链接

· Curp相关论文:

https://www.usenix.org/system/files/nsdi19-park.pdf

· Curp相关文章: 

https://medium.com/@datenlord/curp-revisit-the-consensus-protocol-384464be1600

往期推荐

1. Xline 0.7重构性能分析总述

2. Xline中区间树实现小结

3. Xline v0.6.1: 一个用于元数据管理的分布式KV存储

Xline于2023年6月加入CNCF 沙箱计划，是一个用于元数据管理的分布式KV存储。Xline项目以Rust语言写就。感谢每一位参与的社区伙伴对Xline的帮助和支持，也欢迎更多使用者和开发者参与体验和使用Xline。

GitHub链接：

https://github.com/xline-kv/Xline

Xline官网：www.xline.cloud

Xline Discord: 

https://discord.gg/XyFXGpSfvb