辽东地区金州复州:二级缓存的用处是什么？用什么数据能体现出来

CPU缓存（Cache Memoney）位于CPU与内存之间的临时存储器，它的容量比内存小但交换速度快。在缓存中的数据是内存中的一小部分，但这一小部分是短时间内CPU即将访问的，当CPU调用大量数据时，就可避开内存直接从缓存中调用，从而加快读取速度。由此可见，在CPU中加入缓存是一种高效的解决方案，这样整个内存储器（缓存+内存）就变成了既有缓存的高速度，又有内存的大容量的存储系统了。缓存对CPU的性能影响很大，主要是因为CPU的数据交换顺序和CPU与缓存间的带宽引起的。　

　　缓存的工作原理是当CPU要读取一个数据时，首先从缓存中查找，如果找到就立即读取并送给CPU处理；如果没有找到，就用相对慢的速度从内存中读取并送给CPU处理，同时把这个数据所在的数据块调入缓存中，可以使得以后对整块数据的读取都从缓存中进行，不必再调用内存。

　　正是这样的读取机制使CPU读取缓存的命中率非常高（大多数CPU可达90%左右），也就是说CPU下一次要读取的数据90%都在缓存中，只有大约10%需要从内存读取。这大大节省了CPU直接读取内存的时间，也使CPU读取数据时基本无需等待。总的来说，CPU读取数据的顺序是先缓存后内存。

　　最早先的CPU缓存是个整体的，而且容量很低，英特尔公司从Pentium时代开始把缓存进行了分类。当时集成在CPU内核中的缓存已不足以满足CPU的需求，而制造工艺上的限制又不能大幅度提高缓存的容量。因此出现了集成在与CPU同一块电路板上或主板上的缓存，此时就把 CPU内核集成的缓存称为一级缓存，而外部的称为二级缓存。一级缓存中还分数据缓存（Data Cache，D-Cache）和指令缓存（Instruction Cache，I-Cache）。二者分别用来存放数据和执行这些数据的指令，而且两者可以同时被CPU访问，减少了争用Cache所造成的冲突，提高了处理器效能。英特尔公司在推出Pentium 4处理器时，还新增了一种一级追踪缓存，容量为12KB.

　　随着CPU制造工艺的发展，二级缓存也能轻易的集成在CPU内核中，容量也在逐年提升。现在再用集成在CPU内部与否来定义一、二级缓存，已不确切。而且随着二级缓存被集成入CPU内核中，以往二级缓存与CPU大差距分频的情况也被改变，此时其以相同于主频的速度工作，可以为CPU提供更高的传输速度。

　　二级缓存是CPU性能表现的关键之一，在CPU核心不变化的情况下，增加二级缓存容量能使性能大幅度提高。而同一核心的CPU高低端之分往往也是在二级缓存上有差异，由此可见二级缓存对于CPU的重要性。

　　CPU在缓存中找到有用的数据被称为命中，当缓存中没有CPU所需的数据时（这时称为未命中），CPU才访问内存。从理论上讲，在一颗拥有二级缓存的CPU中，读取一级缓存的命中率为80%。也就是说CPU一级缓存中找到的有用数据占数据总量的80%，剩下的20%从二级缓存中读取。由于不能准确预测将要执行的数据，读取二级缓存的命中率也在80%左右（从二级缓存读到有用的数据占总数据的16%）。那么还有的数据就不得不从内存调用，但这已经是一个相当小的比例了。目前的较高端的CPU中，还会带有三级缓存，它是为读取二级缓存后未命中的数据设计的—种缓存，在拥有三级缓存的CPU中，只有约5%的数据需要从内存中调用，这进一步提高了CPU的效率。

　　为了保证CPU访问时有较高的命中率，缓存中的内容应该按一定的算法替换。一种较常用的算法是“最近最少使用算法”（LRU算法），它是将最近一段时间内最少被访问过的行淘汰出局。因此需要为每行设置一个计数器，LRU算法是把命中行的计数器清零，其他各行计数器加1。当需要替换时淘汰行计数器计数值最大的数据行出局。这是一种高效、科学的算法，其计数器清零过程可以把一些频繁调用后再不需要的数据淘汰出缓存，提高缓存的利用率。

　　CPU产品中，一级缓存的容量基本在4KB到18KB之间，二级缓存的容量则分为128KB、256KB、512KB、1MB等。一级缓存容量各产品之间相差不大，而二级缓存容量则是提高CPU性能的关键。二级缓存容量的提升是由CPU制造工艺所决定的，容量增大必然导致CPU内部晶体管数的增加，要在有限的CPU面积上集成更大的缓存，对制造工艺的要求也就越高。

二级缓存寓意级缓存一样，是用来储存CPU来不及处理的数据的，也可以用来储存访问频繁的变量，以提高程序运行速度。C++中在变量前加限定符register可以告诉编译器将变量保存在CPU缓存中。以下程序会体现出register变量的优势：

//start

#include <iostream>
#include <ctime>
using namespace std;

int main( )
{
long start,end;
register unsigned int a;
unsigned int delay,b;

start=clock();
for(delay=0;delay<50;++delay)
for(a=0;a<=64000000;++a);
end=clock();
cout<<"Time of register loop : "<<end-start<<'\n';

start=clock();
for(delay=0;delay<50;++delay)
for(b=0;b<=64000000;++b);
end=clock();
cout<<"Time of non-register loop : "<<end-start<<'\n';

return 0;
}

//end

运行后发现，使用了register的变量a循环完成时间只有b的一半！
如果用VC++编译此程序将看不到此差距，VC++忽略关键字register，会自动优化变量，使b起到register的工作效率。

没有CPU缓存前

我们可以形象地把CPU的运算单元想象成是一间坐落在城市中心的工厂，把内存看成是工厂设置在郊区的一间面积很大的仓库A。

工厂生产所需要的原材料每次都要花时间去远处的仓库A调运，而且到达仓库后，还要等待仓库准备好材料，中间浪费了不少时间。这就是CPU频率未变的情况下，CPU与内存的数据交换不同步的现象。

而突然有一天，由于资金短缺，仓库A从近郊区“搬到”了远郊区，这样原料和成品在工厂与仓库A之间的运输所花费的时间就更长了，工厂生产所需的原料供应不足，经常处于空运转的状态下。这就是说当CPU频率增加后，CPU与内存交换数据等待需时间会变得更长。

增加L1Cache

要解决CPU与内存交换数据不同步这个系统瓶颈问题，其中一个办法是在靠近工厂的市区设置一个小型的仓库B（L1Cache）。

平时把生产最迫切需要、用得最多的原材料（指令和数据）从仓库A（内存）调配到仓库B（L1Cache），这样工厂生产所需要的原材料就可以很快地调配过来，减少空运转的时间。当所需的原材料在仓库B中找不到（缓存未命中）时，仍然要到仓库A（内存）里调配，虽然无可避免地使工厂又进入空运转，或部分空运转（CPU等待若干个时钟周期），但这样毕竟使等待时间大大降低了。

小知识：缓存有一个“预读”功能，也就是可以通过一定的算法，猜测接下来所要的数据，并预先取入缓存。

再添L2Cache

随着CPU的频率提高，与内存之间交换数据不同步的现象更明显了，可以理解为仓库A（内存）搬离郊区，迁到更远的地方了。解决这一问题的一个更好的办法就是在城市的边缘再设立一个比仓库B大的仓库C，也就是我们说的二级缓存。

它的作用是把郊区之外的仓库A（内存）中最迫切用的材料（指令）运到仓库C，而工厂如果在仓库B中找不到所需的材料，就可以到仓库C中找，而不必老远跑到仓库A那里找，节省了不少时间。

通常情况下，L2包括L1所有的数据，另外还有一些附加的数据。换言之，L1与L2、L2与内存之间是子母关系，所以CPU缓存的出现更有效地解决了CPU空等待所造成的资源浪费问题

二级缓存在cpu中的作用就相当于内存在整个电脑中的作用一样,打个比方说,同频率的赛扬和奔4 ,别的参数都一样,就是二级缓存差了一半,价钱也就差了一半.