storage

Do Not Read: Raf Is a Useless and Valueless Failed Experiment

2026-05-11 · Zhang Yanpo (drdr.xp)

raf is an experimental Raft variant that does not persist currentTerm as a separate field. Instead, each election reserves a log index, and that index becomes the leader term.

Erasure-Code-擦除码-3-极限篇

2020-02-07 · Zhang Yanpo (drdr.xp)

没有人比我更懂EC(特辣脯口气): 从指令集和算法两个方向对擦除码实现深度优化, 硬核但不烧脑

Erasure-Code-擦除码-2-实现篇

2020-02-04 · Zhang Yanpo (drdr.xp)

本文介绍了如何在计算机有限的数字精度内实现高效的擦除码算法，并通过引入伽罗华域及模运算，详细阐述了从GF(2)扩展到GF(2⁸)并实现EC编码、解码的过程，最后还讨论了不同矩阵的适用性

Erasure-Code-擦除码-1-原理篇

2020-01-28 · Zhang Yanpo (drdr.xp)

擦除码(EC)通过增加校验块来保证分布式存储的可靠性，允许一定数量的数据块丢失也能恢复。文章以RAID-5、RAID-6为例，解释了k+1、k+2校验策略，并推广到更通用的k+m策略，将其类比为用k个系数定义曲线，并通过曲线上点坐标实现数据冗余

SlimTrie: 单机百亿文件的极致索引-实现篇

2019-03-12 · 李文博(wenbo), 吴义谱(pengsven), Zhang Yanpo (drdr.xp)

SlimTrie的代码级实现详解：通过Trie裁剪去除单分支节点将空间从O(n*k)降至O(n)，再用compacted array压缩存储，最终每条索引仅需约6字节（加4字节value共10字节）。实测内存开销约为B-Tree的13%，查询速度约为其2.6倍。

SlimTrie: 单机百亿文件的极致索引-设计篇

2018-07-30 · 李文博(wenbo), 吴义谱(pengsven), Zhang Yanpo (drdr.xp)

单机100TB存储如何索引百亿小文件？经典的hash map和B-Tree索引的内存开销为O(k*n)，无法全部放入内存。SlimTrie基于Trie裁剪和压缩，将空间复杂度降至O(n)，实现每条索引仅约10字节，在1GB内存中即可建立100TB数据量的索引。