tech

几个无理取闹的coding心得

2020-04-26 · Zhang Yanpo (drdr.xp)

来自一个莫得感情的coding万年户

掐指算算: 你的CDN多花了几百万?

2019-11-21 · Zhang Yanpo (drdr.xp)

本文分析了内容分发网络 (CDN) 的成本构成，以及 Zipf 定律对成本的影响。CDN 利用边缘机房缓存热门内容，降低回源成本。文章通过量化业务参数、拟合 Zipf 曲线、确定成本数据，找到了使存储和带宽成本总和最小的最佳边缘容量配置。最后，文章展望了 CDN 和源站未来更紧密的协作模式，以实现更高效的内容分发

互联网中对象访问频率的91分布

2019-10-30 · Zhang Yanpo (drdr.xp)

本文介绍了Zipf定律，该定律描述了互联网内容访问频率分布规律：少数热门内容占据了大部分流量。文章通过数学推导，得到Zipf模型公式，并解释了如何用多项式回归拟合访问日志数据，确定公式参数。最后，文章列举了该定律在缓存配置、日志分析等场景的应用

SlimTrie: 单机百亿文件的极致索引-实现篇

2019-03-12 · 李文博(wenbo), 吴义谱(pengsven), Zhang Yanpo (drdr.xp)

SlimTrie的代码级实现详解：通过Trie裁剪去除单分支节点将空间从O(n*k)降至O(n)，再用compacted array压缩存储，最终每条索引仅需约6字节（加4字节value共10字节）。实测内存开销约为B-Tree的13%，查询速度约为其2.6倍。

SlimTrie: 单机百亿文件的极致索引-设计篇

2018-07-30 · 李文博(wenbo), 吴义谱(pengsven), Zhang Yanpo (drdr.xp)

单机100TB存储如何索引百亿小文件？经典的hash map和B-Tree索引的内存开销为O(k*n)，无法全部放入内存。SlimTrie基于Trie裁剪和压缩，将空间复杂度降至O(n)，实现每条索引仅约10字节，在1GB内存中即可建立100TB数据量的索引。