最新文章

互联网中对象访问频率的91分布

4 分钟阅读

本文介绍了Zipf定律,该定律描述了互联网内容访问频率分布规律:少数热门内容占据了大部分流量。文章通过数学推导,得到Zipf模型公式,并解释了如何用多项式回归拟合访问日志数据,确定公式参数。最后,文章列举了该定律在缓存配置、日志分析等场景的应用

SlimTrie: 单机百亿文件的极致索引-实现篇

20 分钟阅读

Github: SlimTrie 上一篇 《SlimTrie 设计篇》 中,我们介绍了单机百亿文件的索引设计思路,今天我们来具体介绍下它代码级别的实现。文中我们要解决的问题是: 在一台通用的100TB的存储服务器的内存中, 索引100亿个...

SlimTrie: 单机百亿文件的极致索引-设计篇

15 分钟阅读

Github: SlimTrie 背景 当下信息社会每天都产生大量需要保存的数据,这些数据在刺激海量存储技术发展的同时也带来了新的挑战。比如,海量数据为存储系统增加了大量的小文件,这些小文件的元数据如何管理?如何控制定位某个文件的时间和空间开销? 随着对数据实时性要求...