懒咪学编程


自定义实现的布隆过滤器

时间:2020-08-17 16:31:39  来源:  作者:东方茄子  所属栏目:Java

自定义实现的布隆过滤器
布隆过滤器是一种检索一个元素是否在一个集合中的算法,它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率。
它能准确判

自定义实现的布隆过滤器

自定义实现的布隆过滤器

布隆过滤器是一种检索一个元素是否在一个集合中的算法,它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率。

它能准确判断一个元素不在集合中,大概率判断一个元素在集合中。

基本原理

布隆过滤器数据结构
布隆过滤器是一个 bit 向量或者说 bit 数组,长这样:

自定义实现的布隆过滤器

如果我们要映射一个值到布隆过滤器中,我们需要使用多个不同的哈希函数生成多个哈希值,并对每个生成的哈希值指向的 bit 位置 1,例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 0、3、6,则上图转变为:
自定义实现的布隆过滤器

Ok,我们现在再存一个值 “tencent”,如果哈希函数返回 2、3、7 的话,图继续变为:

自定义实现的布隆过滤器

值得注意的是,3 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位,因此它被覆盖了。现在我们如果想查询 “dianping” 这个值是否存在,哈希函数返回了 0、4、7三个值,结果我们发现 4 这个 bit 位上的值为 0,说明没有任何一个值映射到这个 bit 位上,因此我们可以很确定地说 “dianping” 这个值不存在。而当我们需要查询 “baidu” 这个值是否存在的话,那么哈希函数必然会返回 1、4、7,然后我们检查发现这三个 bit 位上的值均为 1,那么我们可以说 “baidu” 存在了么?答案是不可以,只能是 “baidu” 这个值可能存在。

这是为什么呢?答案跟简单,因为随着增加的值越来越多,被置为 1 的 bit 位也会越来越多,这样某个值 “taobao” 即使没有被存储过,但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ,那么程序还是会判断 “taobao” 这个值存在。

基本原理baidu来的,这个感觉最易懂 实现bloomFilter

基于Guava的hash算法实现bloomFilter

自定义实现的布隆过滤器

local:初始化的时候选择是基于本地的还是分布式的,默认trueputConsumerlocalfalse的时候需要初始化的时候实现,比如基于redisbitmap实现bit数组,命令:(SETBIT key offset value)。localtrue时默认初始化bitSet属性,并通过bitSet实现bit数组containPredicatelocalfalse的时候需要初始化的时候实现,比如基于redis的bitmap实现bit数组localtrue时默认初始化bitSet属性,并通过bitSet实现bit数组,命令:(GETBIT key offset)。localtrue时默认会从bitSet获取。 builder模式创建bloomFilter

自定义实现的布隆过滤器

测试

自定义实现的布隆过滤器

代码可以在Github上找到。
测试用例
本文来自chentiefeng的博客

原文地址:https://segmentfault.com/a/1190000021437588,作者:东方茄子

以上就是对自定义实现的布隆过滤器的相关介绍,希望对您学习有所帮助,感谢您关注懒咪IT学习网!

本文地址:https://c.lanmit.com/bianchengkaifa/Java/74707.html

 

推荐Java排行......