作者:labuladong
上篇文章算法题就像搭乐高:手把手带你拆解 lru 算法写了 lru 缓存淘汰算法的实现方法,本文来写另一个著名的缓存淘汰算法:lfu 算法。
从实现难度上来说,lfu 算法的难度大于 lru 算法,因为 lru 算法相当于把数据按照时间排序,这个需求借助链表很自然就能实现,你一直从链表头部加入元素的话,越靠近头部的元素就是新的数据,越靠近尾部的元素就是旧的数据,我们进行缓存淘汰的时候只要简单地将尾部的元素淘汰掉就行了。
而 lfu 算法相当于是淘汰访问频次最低的数据,如果访问频次最低的数据有多条,需要淘汰最旧的数据。把数据按照访问频次进行排序,而且频次还会不断变化,这可不容易实现。
所以说 lfu 算法要复杂很多,labuladong 进字节跳动的时候就被面试官问到了 lfu 算法。
话说回来,这种著名的算法的套路都是固定的,关键是由于逻辑较复杂,不容易写出漂亮且没有 bug 的代码。
那么本文 labuladong 就带你拆解 lfu 算法,自顶向下,逐步求精。
一、算法描述
要求你写一个类,接受一个capacity参数,实现get和put方法:
classlfucache{
//构造容量为capacity的缓存
publiclfucache(intcapacity){}
//在缓存中查询key
publicintget(intkey){}
//将key和val存入缓存
publicvoidput(intkey,intval){}
}
get(key)方法会去缓存中查询键key,如果key存在,则返回key对应的val,否则返回 -1。
put(key, value)方法插入或修改缓存。如果key已存在,则将它对应的值改为val;如果key不存在,则插入键值对(key, val)。
当缓存达到容量capacity时,则应该在插入新的键值对之前,删除使用频次(后文用freq表示)最低的键值对。如果freq最低的键值对有多个,则删除其中最旧的那个。
//构造一个容量为2的lfu缓存
lfucachecache=newlfucache(2);
//插入两对(key,val),对应的freq为1
cache.put(1,10);
cache.put(2,20);
//查询key为1对应的val
//返回10,同时键1对应的freq变为2
cache.get(1);
//容量已满,淘汰freq最小的键2
//插入键值对(3,30),对应的freq为1
cache.put(3,30);
//键2已经被淘汰删除,返回-1
cache.get(2);
二、思路分析
一定先从最简单的开始,根据 lfu 算法的逻辑,我们先列举出算法执行过程中的几个显而易见的事实:
1、调用get(key)方法时,要返回该key对应的val。
2、只要用get或者put方法访问一次某个key,该key的freq就要加一。
3、如果在容量满了的时候进行插入,则需要将freq最小的key删除,如果最小的freq对应多个key,则删除其中最旧的那一个。
好的,我们希望能够在 o(1) 的时间内解决这些需求,可以使用基本数据结构来逐个击破:
1、使用一个hashmap存储key到val的映射,就可以快速计算get(key)。
hashmapkeytoval;
2、使用一个hashmap存储key到freq的映射,就可以快速操作key对应的freq。
hashmapkeytofreq;
3、这个需求应该是 lfu 算法的核心,所以我们分开说。
3.1、首先,肯定是需要freq到key的映射,用来找到freq最小的key。
3.2、将freq最小的key删除,那你就得快速得到当前所有key最小的freq是多少。想要时间复杂度 o(1) 的话,肯定不能遍历一遍去找,那就用一个变量minfreq来记录当前最小的freq吧。
3.3、可能有多个key拥有相同的freq,所以freq对key是一对多的关系,即一个freq对应一个key的列表。
3.4、希望freq对应的key的列表是存在时序的,便于快速查找并删除最旧的key。
3.5、希望能够快速删除key列表中的任何一个key,因为如果频次为freq的某个key被访问,那么它的频次就会变成freq+1,就应该从freq对应的key列表中删除,加到freq+1对应的key的列表中。
hashmapfreqtokeys;
intminfreq=0;
介绍一下这个linkedhashset,它满足我们 3.3,3.4,3.5 这几个要求。你会发现普通的链表linkedlist能够满足 3.3,3.4 这两个要求,但是由于普通链表不能快速访问链表中的某一个节点,所以无法满足 3.5 的要求。
linkedhashset顾名思义,是链表和哈希集合的结合体。链表不能快速访问链表节点,但是插入元素具有时序;哈希集合中的元素无序,但是可以对元素进行快速的访问和删除。
那么,它俩结合起来就兼具了哈希集合和链表的特性,既可以在 o(1) 时间内访问或删除其中的元素,又可以保持插入的时序,高效实现 3.5 这个需求。
综上,我们可以写出 lfu 算法的基本数据结构:
classlfucache{
//key到val的映射,我们后文称为kv表
hashmapkeytoval;
//key到freq的映射,我们后文称为kf表
hashmapkeytofreq;
//freq到key列表的映射,我们后文称为fk表
hashmapfreqtokeys;
//记录最小的频次
intminfreq;
//记录lfu缓存的最大容量
intcap;
publiclfucache(intcapacity){
keytoval=newhashmap();
keytofreq=newhashmap();
freqtokeys=newhashmap();
this.cap=capacity;
this.minfreq=0;
}
publicintget(intkey){}
publicvoidput(intkey,intval){}
}
三、代码框架
lfu 的逻辑不难理解,但是写代码实现并不容易,因为你看我们要维护kv表,kf表,fk表三个映射,特别容易出错。对于这种情况,labuladong 教你三个技巧:
1、不要企图上来就实现算法的所有细节,而应该自顶向下,逐步求精,先写清楚主函数的逻辑框架,然后再一步步实现细节。
2、搞清楚映射关系,如果我们更新了某个key对应的freq,那么就要同步修改kf表和fk表,这样才不会出问题。
3、画图,画图,画图,重要的话说三遍,把逻辑比较复杂的部分用流程图画出来,然后根据图来写代码,可以极大减少出错的概率。
下面我们先来实现get(key)方法,逻辑很简单,返回key对应的val,然后增加key对应的freq:
publicintget(intkey){
if(!keytoval.containskey(key)){
return-1;
}
//增加key对应的freq
increasefreq(key);
returnkeytoval.get(key);
}
增加key对应的freq是 lfu 算法的核心,所以我们干脆直接抽象成一个函数increasefreq,这样get方法看起来就简洁清晰了对吧。
下面来实现put(key, val)方法,逻辑略微复杂,我们直接画个图来看:
这图就是随手画的,不是什么正规的程序流程图,但是算法逻辑一目了然,看图可以直接写出put方法的逻辑:
publicvoidput(intkey,intval){
if(this.cap<=0)return;
/*若key已存在,修改对应的val即可*/
if(keytoval.containskey(key)){
keytoval.put(key,val);
//key对应的freq加一
increasefreq(key);
return;
}
/*key不存在,需要插入*/
/*容量已满的话需要淘汰一个freq最小的key*/
if(this.cap<=keytoval.size()){
removeminfreqkey();
}
/*插入key和val,对应的freq为1*/
//插入kv表
keytoval.put(key,val);
//插入kf表
keytofreq.put(key,1);
//插入fk表
freqtokeys.putifabsent(1,newlinkedhashset());
freqtokeys.get(1).add(key);
//插入新key后最小的freq肯定是1
this.minfreq=1;
}
increasefreq和removeminfreqkey方法是 lfu 算法的核心,我们下面来看看怎么借助kv表,kf表,fk表这三个映射巧妙完成这两个函数。
四、lfu 核心逻辑
首先来实现removeminfreqkey函数:
privatevoidremoveminfreqkey(){
//freq最小的key列表
linkedhashsetkeylist=freqtokeys.get(this.minfreq);
//其中最先被插入的那个key就是该被淘汰的key
intdeletedkey=keylist.iterator().next();
/*更新fk表*/
keylist.remove(deletedkey);
if(keylist.isempty()){
freqtokeys.remove(this.minfreq);
//问:这里需要更新 minfreq 的值吗?
}
/*更新kv表*/
keytoval.remove(deletedkey);
/*更新kf表*/
keytofreq.remove(deletedkey);
}
删除某个键key肯定是要同时修改三个映射表的,借助minfreq参数可以从fk表中找到freq最小的keylist,根据时序,其中第一个元素就是要被淘汰的deletedkey,操作三个映射表删除这个key即可。
但是有个细节问题,如果keylist中只有一个元素,那么删除之后minfreq对应的key列表就为空了,也就是minfreq变量需要被更新。如何计算当前的minfreq是多少呢?
实际上没办法快速计算minfreq,只能线性遍历fk表或者kf表来计算,这样肯定不能保证 o(1) 的时间复杂度。
但是,其实这里没必要更新minfreq变量,因为你想想removeminfreqkey这个函数是在什么时候调用?在put方法中插入新key时可能调用。而你回头看put的代码,插入新key时一定会把minfreq更新成 1,所以说即便这里minfreq变了,我们也不需要管它。
下面来实现increasefreq函数:
privatevoidincreasefreq(intkey){
intfreq=keytofreq.get(key);
/*更新kf表*/
keytofreq.put(key,freq+1);
/*更新fk表*/
//将key从freq对应的列表中删除
freqtokeys.get(freq).remove(key);
//将key加入freq+1对应的列表中
freqtokeys.putifabsent(freq+1,newlinkedhashset());
freqtokeys.get(freq+1).add(key);
//如果freq对应的列表空了,移除这个freq
if(freqtokeys.get(freq).isempty()){
freqtokeys.remove(freq);
//如果这个freq恰好是minfreq,更新minfreq
if(freq==this.minfreq){
this.minfreq++;
}
}
}
更新某个key的freq肯定会涉及fk表和kf表,所以我们分别更新这两个表就行了。
和之前类似,当fk表中freq对应的列表被删空后,需要删除fk表中freq这个映射。如果这个freq恰好是minfreq,说明minfreq变量需要更新。
能不能快速找到当前的minfreq呢?这里是可以的,因为我们刚才把key的freq加了 1 嘛,所以minfreq也加 1 就行了。
至此,经过层层拆解,lfu 算法就完成了。
费浦安防二维码识别及产品解决方案
关于单片机C语言编程的常见问题解答
变频器开关电源维修七大步骤
Wind River赋予车载IVI娱乐系统软体Yocto架构优势
数字电视实现银联支付的时代已临近
一文读懂缓存淘汰算法:LFU 算法
温度冲击试验箱试验流程
2020年上百万个5G就业机会来了!vivo助力大学生从象牙塔迈向战场
MEMS开关:四大突破技术实现传统开关的革命
用于边缘计算的机器学习技术介绍
安盟信息法院信息系统勒索病毒防护方案
Tesla 超级充电站将大幅升级,充电时间缩短到5-10分钟
机器视觉的四大应用_机器视觉的基本原理
光伏汇流采集单元应用场景产品介绍
长江存储今年年底量产64层3D NAND,进一步缩短于国外厂商技术差距
ADAMS机械系统动力学自动分析软件
蚂蚁集团A股H股双双暂缓上市 蚂蚁集团重新上市或被推迟半年
如何设计安全的控制系统远程访问
浅谈GTM以及GTM的典型应用
荣耀8评测:华为荣耀8和荣耀8青春版对比评测,前辈与后辈之间的竞争你更青睐谁?