#cache memory

In today’s fast-paced digital world, computers have become an essential part of our daily lives. Whether you’re browsing the internet, streaming videos, or working on a document, you probably expect your computer to respond instantly. But have you ever wondered what makes your computer so quick? A key factor behind this is something called cache memory. If you’re not familiar with cache memory,…

Computer Memory?, it’s Types, Characteristics, Advantage and Disadvantage.

Memory refers to the storage capacity of a computer that is used to hold data and instructions for the CPU to access and execute. Memory is often referred to as “Random Access Memory” (RAM) and is a key component of a computer’s performance. It allows a computer to store and quickly retrieve information that is currently being used or was recently used. Without memory, a computer would have to…

How to make faster memories

While computer processor's speed has increased esponentially in the last 30 years, reaching millions of clock cycles per second, the same can't be said for memories. In fact, the access time of DRAM volatile memories is one or two order of magnitudes slower than the clock cycle time.

From gameprogrammingpatterns.com

Clock cycle: the time that a processor spends to fetch an instruction from memory, decode it and execute it.

There are multiple types of memories. A distinction can be made between volatile memories, that lose their data when the computer is turned off, and permanent memories.RAM ( or Random Access Memories) are volatile, while ROM is permanent.

SRAM (Static Ram) is the fastest type of memory, but also the most expensive one: it's 5000$/GB to make.

DRAM implements the main memory of most computers. It's a compromise between price, dimensions and speed.

The computer's hard disk is made of ROM, and that's where the data are saved when you turn it off. ROMs only cost between $0.40 and $0.05, but they are also extremely slow, allowing less than 1 GB per second transfer times.

Here's the thing: having a really fast processor is going to be useless if it has to wait for several cycles to load and store data in memory.

Caching

One part of the solution is introducing a cache: a small-sized, fast memory (SRAM), where we can put the data the processor uses most often, or is more likely to use next.

There are at least three levels of memory: the cache, the main memory, and the hard disk. When the processor requests a piece of data, the cache is the first place to search. If it's there, a cache hit occurs. Otherwise, it's a cache miss, and it goes down a level to look for the data in the main memory. If it's still not found, it's time to look for it in the hard disk.

Since cache capacity is largely inferior to main memory, the computer engeneer has to decide which subset of the main memory should be stored on cache. When a cache miss occurs, it must replace the old data with the new one. The two most common strategies are LRU (Last Recently Used), and random replacement. This decision is based on the principles of temporal and spatial locality, which state that the processor is probably going to reuse data that it has just used, or it's going to use the data next to it.

Types of cache

A cache is subdivided into blocks and sets. Blocks are chunks of the main memory which usually comprise multiple words the size of an integer number. Sets are groups of blocks. Caches have a mapping function that associates every address of the main memory to a set in the cache. So, a memory address will always be put into the same set, but may be put in different blocks of that set.

A direct mapped cache has as many sets as it has blocks. This means that a chunk of memory will always be put in the same cache block. A fully associative cache has only one set, so a piece of data can be put in any block, regardless of its memory address. In a set associative memory, a set contains multiple blocks, and the cache contains multiple sets. The set associative memory is a compromise between the two other types.

The fully associative memory has a lower miss rate, but it's heavier to implement. Having larger blocks increases spatial locality, but it also increases the penalty in case of miss. Direct mapped cache is easy to implement, but it's too rigid, reducing temporal locality. At the end, the best course of action has to be valued case by case.

Your computer probably has many levels of caches, and more than one cache for CPU.

Memory Kya Hai और इसके प्रकार | Computer Memory in Hindi

Memory Kya Hai In Hindi – लगभग आप सभी ने Computer Memory का Name जरुर सुना होगा। पर क्या आप जानते हो कि Memory Kya Hai (What Is Computer Memory In Hindi), Memory कितने प्रकार की होती है, और Memory कैसे मापा जाता है? इन सब का सटीक जवाब शायद ही आप लोग जानते होंगे। Computer Memory Computer का वह भाग होती है जिसमें Computer का सारा Data Store होता है, बिना Memory के Computer को नहीं चलाया जा सकता…

Πρώτη οπτική «κρυφή» μνήμη Cache παγκόσμια!

Τη δημιούργησε το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης 21:33:30,05/23/2022 Σχηματική αναπαράσταση του πώς η πρώτη  οπτική «κρυφή» μνήμη μπορεί να επιτρέψει τη διασύνδεσή της, εξωτερικά του επεξεργαστή Η  πρώτη Οπτική «Κρυφή» Μνήμη (Cache memory) στον κόσμο, η οποία αποθηκεύει φως αντί για το ηλεκτρικό ρεύμα κι επιτυγχάνει την εγγραφή –  ανάγνωση λέξεων των  δεδομένων με τη μορφή φωτός…

The cache memory is one of the fastest memory. Though it is costlier than the main memory but more useful than the registers. The cache memory basically acts as a buffer between the main memory and the CPU. Moreover, it synchronizes with the speed of the CPU. Besides, it stores the data and instructions which the CPU uses more frequently so that it does not have to access the main memory again and again. Therefore the average time to access the main memory decreases.

It is placed between the main memory and the CPU. Moreover, for any data, the CPU first checks the cache and then the main memory.

Levels of Cache Memory

There can be various levels of cache memory, they are as follows:

Level 1 (L1) or Registers

It stores and accepts the data which is immediately stores in the CPU. For example instruction register, program counter, accumulator, address register, etc.

Level 2 (L2) or Cache Memory

It is the fastest memory that stores data temporarily for fast access by the CPU. Moreover, it has the fastest access time.

Read More

Level 3 (L3) or Main Memory

It is the main memory where the computer stores all the current data. It is a volatile memory which means that it loses data on power OFF.

Level 4 (L4) or Secondary Memory

It is slow in terms of access time. But, the data stays permanently in this memory.

Browse more Topics under Primary Memory

·         RAM

·         ROM

Types of Cache Memory

There are two types, as follows:

Primary Cache

It’s located on the processor chip always. Besides, its access time is comparable to the processor.

Secondary Cache

This memory is present between the primary cache and the main memory. Besides, we can also call it level 2 (L2) cache.

Basic Operations of Cache Memory

Its basic operations are as follows:

·         The CPU first checks any required data in the cache. Furthermore, it does not access the main memory if that data is present in the cache.

·         On the other hand, if the data is not present in the cache then it accesses the main memory.

·         The block of words that the CPU accesses currently is transferred from the main memory to the cache for quick access in the future.

·         The hit ratio defines the performance of the cache memory.

Cache Performance

The performance of the cache is in terms of the hit ratio.

The CPU searches the data in the cache when it requires writing or read any data from the main memory. In this case, two cases may occur as follows:

·         If the CPU finds that data in the cache, a cache hit occurs and it reads the data from the cache.

Read More

·         On the other hand, if it does not find that data in the cache, a cache miss occurs. Furthermore, during cache miss, the cache allows the entry of data and then reads data from the main memory.

·         Therefore, we can define the hit ratio as the number of hits divided by the sum of hits and misses.

hit ratio = hit / (hit + miss)

= number of hits/total accesses

Also, we can improve cache performance by:

·         using a higher cache block size.

·         higher associativity.

·         reducing the miss rate.

·         reducing the time to hit in the cache.

Advantages of Cache Memory

The advantages are as follows:

·         It is faster than the main memory.

Read More

·         The access time is quite less in comparison to the main memory.

·         The speed of accessing data increases hence, the CPU works faster.

·         Moreover, the performance of the CPU also becomes better.

·         The recent data stores in the cache and therefore, the outputs are faster.

Disadvantages of Cache Memory

The disadvantages are as follows:

·         It is quite expensive.

¿Qué es la memoria caché?

La definición de memoria caché en informática nos dice que es uno de los recursos con los que cuenta una CPU (Unidad Central de Procesamiento) para almacenar temporalmente datos recientemente procesados en una memoria auxiliar. Se trata de lo que se conoce como una memoria estática de acceso aleatorio (SRAM) muy rápida y colocada cerca de la CPU.

Así, pese a su pequeño tamaño, la memoria caché opera con mayor velocidad, dotando al microprocesador de un tiempo extra para acceder a los datos que se usan con más frecuencia.

¿Para qué sirve la memoria caché?

La principal función de la memoria caché es almacenar datos o instrucciones que la CPU va a necesitar en un futuro inmediato, de manera que se gana velocidad en la ejecución de procesos, evitando que la CPU tenga que esperar y aumentando así el rendimiento del equipo.

De manera que la memoria caché sirve para mejorar el rendimiento y velocidad de la CPU en la ejecución de las tareas cotidianas.

¿Cómo funciona la memoria caché?

El funcionamiento de la memoria caché es bastante sencillo; cuando iniciamos un proceso o programa en nuestro ordenador, este empieza a ejecutar una serie de instrucciones que son gestionadas por el procesador. Esa información se carga primero en la RAM y luego pasa al procesador, de manera que para agilizar este proceso, las instrucciones principales y las que más se utilizan se copian en la memoria caché, así el procesador podrá tener acceso inmediato a ellas y no tener que ir a buscar las originales almacenadas en la RAM.

Esto ahorra tiempo de procesamiento y hacer que el equipo sea más rápido a la hora de ejecutar ciertas instrucciones disponibles en la memoria caché. Por eso, la memoria caché es un elemento fundamental en los procesadores actuales.

Podemos decir que la memoria caché funciona como una memoria de instrucciones transitoria.

3 formas de almacenar datos en caché

Aunque las configuraciones de almacenamiento en la caché van evolucionando a medida que avanza y se desarrolla la tecnología actual, hay 3 configuraciones que se usan normalmente para almacenar datos en ella:

Memoria caché asignada directa: Se asigna una localización exacta a cada bloque en la memoria caché. Se trata de un caché mapeado directo, que funciona como una tabla con tres columnas, en la que el bloque de caché contiene los datos reales recuperados y almacenados, una etiqueta con toda o parte de la dirección de esos datos recuperados y un bit de bandera que muestra la presencia en la entrada de la fila de un bit de datos válido.

Mapeo de caché completamente asociativo: Funciona de forma similar al anterior, pero permite mapear un bloque de memoria en cualquier ubicación de caché en vez de en una ubicación de memoria caché previamente especificada.

Mapeo de caché asociativo: A medias de los otros dos, aquí cada bloque se mapea a un subconjunto de ubicaciones de caché.

Latencia, ancho de bus y la falta de cache

Hemos entendido que los datos fluyen desde el disco duro hasta el núcleo de procesamiento a través de todos los niveles de memoria. Donde primero busca el procesador la siguiente instrucción a procesar, es en la memoria caché, un sistema de calidad debería se saber ubicar correctamente los datos en función de su importancia para así reducir al máximo los tiempos de acceso a ellos, lo que se llama latencia.

La latencia es entonces, el tiempo que se tarda en acceder a los datos desde la memoria. Mientras más lejos y más lenta, mayor latencia y más tiempo tendrá que esperar la CPU su siguiente instrucción. Así cuando una instrucción no está situada en la memoria caché, el procesador debe buscarla directamente en la memoria RAM, a esto se le denomina falta de caché o caché miss, es entonces cuando se experimenta un PC más lento.

El ancho de bus también es de gran importancia para la velocidad, ya que éste marca la capacidad para transferir mayores bloques de datos desde la memoria a la CPU. Tanto CPU como memoria RAM son de 64 bits, pero la función de Dual Channel es capaz de doble esta capacidad a 128 bits para que la transferencia entre estos elementos tenga mayor capacidad.

AMAT son las siglas de Average Memory Access Time, o tiempo medio de acceso a memoria. Es una media por el hecho que no todas las instrucciones una CPU o una GPU tienen la misma latencia y dependen de la memoria de la misma manera. Pero al mismo tiempo nos sirve para medir el rendimiento de la caché de una CPU o una GPU.

Para calcular el AMAT de cualquier CPU o GPU se utiliza la siguiente fórmula:

AMAT = Hit Time + Miss Rate * Miss Penalty

Lo que nos interesa es que el AMAT sea bajo, ya que mide el tiempo de acceso de la CPU a los datos y por tanto la latencia a la hora de encontrar los datos. En cuanto a los diferentes valores de la fórmula AMAT para medir el rendimiento de la memoria caché estos son los siguientes:

El primer valor que es el Hit Time, que es el tiempo en que la CPU o la GPU tardará en encontrar el dato en la caché. En este caso es importante que la caché sea pequeña para que su recorrido se pueda realizar más rápido. Ya que cuanto más grande sea la caché entonces se tardará más en hacer el recorrido. Este es el motivo por el cual los niveles de caché más cercanos al núcleo tienen tamaños muy pequeños.

El segundo valor es el Miss Rate, que es el porcentaje de veces en los que los datos no se encuentran en la caché. Esto entra en contradicción con el Hit Rate, ya que la mejor manera de encontrar un dato en caché es aumentar la capacidad de almacenamiento de esta. La caché además ha de tener mecanismos para saber qué datos ha de conservar en su interior, para dar espacio a otros que van a tener un mayor acceso a corto plazo por parte de las CPU o las GPU.

El tercer valor es el Miss Penalty, este es el tiempo de latencia que se tarda en acceder a un dato si se encuentra en la memoria RAM y no en la caché. Esto supone un tiempo enorme en lo que a ciclos de reloj se refiere. Ya que como es obvió, en el caso de que el datos se encuentre en la RAM y no en la caché se ha de sumar el tiempo de búsqueda previó en la jerarquía de caches previa a la RAM.

What are CPU Registers? Difference between Cache and Register Explained.

What are CPU Registers? CPU Registers are temporary storage devices built inside a CPU (Processor). When you give any instructions to the CPU, it stores the instructions or data in the registers till the process is completed. A Register can hold Data, addresses, and Instructions. Also, Read: What is a CPU (Processor)? Types of Processor in a Computer. Difference Between Cache Memory and…