寄存器、Cache和内存中的数据都是掉电丢失的，这称为易失性存储器（Volatile Memory），与之相对的，硬盘是一种非易失性存储器（Non-volatile Memory）。
除了访问寄存器由程序指令直接控制之外，访问其它存储器都不是由指令直接控制的，有些是硬件自动完成的，有些是操作系统配合硬件完成的。
Cache从内存取数据时一次取一个Cache Line缓存起来，操作系统从硬盘取数据时一次取 几KB缓存起来，都是希望这些数据以后会被访问到。大多数程序的行为都具有局部性 （Locality）的特点：它们会花费大量的时间反复执行一小段代码（例如循环），或者反 复访问一个很小的地址范围中的数据（例如访问一个数组）。所以预读缓存的办法是很有 效的：CPU取一条指令，我把它相邻的指令也都缓存起来，CPU很可能马上就会取 到；CPU访问一个数据，我把它相邻的数据也都缓存起来，CPU很可能马上就会访问到。 设想有两台计算机，一台有32KB的Cache，另一台没有Cache，而内存都是512MB的， 硬盘都是100GB的，虽然多出来32KB的Cache和内存、硬盘的容量相比微不足道，但由 于局部性原理，有Cache的计算机明显会快很多。高速存储器即使容量只能做得很小也能 显著提升计算机的性能，这就是Memory Hierarchy的意义所在。
寄存器即L1缓存：
用与cpu相同材质制造，与cpu一样快，因而cpu访问它无延时，典型容量是：在32位cpu中为32*32，在64位cpu中为64*64，在两种情况下容量均<1KB。
高速缓存即L2缓存：
主要由硬件控制高速缓存的存取，内存中有高速缓存行按照0~64字节为行0，64~127为行1......最常用的高速缓存行放置在cpu内部或者非常接近cpu的高速缓存中。当某个程序需要读一个存储字时，高速缓存硬件检查所需要的高速缓存行是否在高速缓存中。如果是，则称为高速缓存命中，缓存满足了请求，就不需要通过总线把访问请求送往主存(内存)，这毕竟是慢的。高速缓存的命中通常需要两个时钟周期。高速缓存未命中，就必须访问内存，这需要付出大量的时间代价。由于高速缓存价格昂贵，所以其大小有限，有些机器具有两级甚至三级高速缓存，每一级高速缓存比前一级慢但是容量大。
缓存在计算机科学的许多领域中起着重要的作用，并不仅仅只是RAM（随机存取存储器）的缓存行。只要存在大量的资源可以划分为小的部分，那么这些资源中的某些部分肯定会比其他部分更频繁地得到使用。此时用缓存可以带来性能上的提升。一个典型的例子就是操作系统一直在使用缓存，比如，多数操作系统在内存中保留频繁使用的文件（的一部分），以避免从磁盘中重复地调用这些文件，类似的/root/a/b/c/d/e/f/a.txt的长路径名转换成该文件所在的磁盘地址的结果然后放入缓存，可以避免重复寻找地址，还有一个web页面的url地址转换为网络地址(IP)地址后，这个转换结果也可以缓存起来供将来使用。
缓存是一个好方法，在现代cpu中设计了两个缓存，再看图3中的两种cpu设计。第一级缓存称为L1总是在CPU中，通常用来将已经解码的指令调入cpu的执行引擎，对那些频繁使用的数据自，多少芯片还会按照第二L1缓存 。。。另外往往设计有二级缓存L2，用来存放近来经常使用的内存字。L1与L2的差别在于对cpu对L1的访问无时间延迟，而对L2的访问则有1-2个时钟周期（即1-2ns）的延迟。
内存：
再往下一层是主存，此乃存储器系统的主力，主存通常称为随机访问存储RAM，就是我们通常所说的内存，容量一直在不断攀升，所有不能再高速缓存中找到的，都会到主存中找，主存是易失性存储，断电后数据全部消失。
除了主存RAM之外，许多计算机已经在使用少量的非易失性随机访问存储如ROM（Read Only Memory，ROM），在电源切断之后，非易失性存储的内容并不会丢失，ROM只读存储器在工厂中就被编程完毕，然后再也不能修改。ROM速度快且便宜，在有些计算机中，用于启动计算机的引导加载模块就存放在ROM中，另外一些I/O卡也采用ROM处理底层设备的控制。
EEPROM（Electrically Erasable PROM，电可擦除可编程ROM）和闪存（flash memory）也是非易失性的，但是与ROM相反，他们可以擦除和重写。不过重写时花费的时间比写入RAM要多。在便携式电子设备中，闪存通常作为存储媒介。闪存是数码相机中的胶卷，是便携式音译播放器的磁盘，还应用于固态硬盘。闪存在速度上介于RAM和磁盘之间，但与磁盘不同的是，闪存擦除的次数过多，就被磨损了。
还有一类存储器就是CMOS，它是易失性的，许多计算机利用CMOS存储器来保持当前时间和日期。CMOS存储器和递增时间的电路由一小块电池驱动，所以，即使计算机没有加电，时间也仍然可以正确地更新，除此之外CMOS还可以保存配置的参数，比如，哪一个是启动磁盘等，之所以采用CMOS是因为它耗电非常少，一块工厂原装电池往往能使用若干年，但是当电池失效时，相关的配置和时间等都将丢失。
磁盘：