Speicherarchitekturen sind so konzipiert, dass sie die verschiedenen Anforderungen an die Speicherung von Programmen und Daten optimal erfüllen. Bei den daraus aufbauenden Speicherhierarchien geht es um die Zugriffszeiten, die Ausgliederung der Daten und die mittel- und langfristige Archivierung. Aus diesem Forderungskatalog hat sich eine Speicherhierarchie gebildet aus Primärspeicher, Sekundärspeicher und Tertiärspeicher.
Während in Primärspeichern, das ist der Hauptspeicher, die Daten gespeichert werden, mit denen der Prozessor aktiv arbeitet, lagert der Hauptspeicher die Daten, die nicht mehr für den aktiven Rechenvorgang benötigt werden oder die bereits berechnet wurden in den Sekundärspeicher aus. Der Hauptspeicher ist über einen I/O- Bus mit dem Sekundärspeicher verbunden.
Der Sekundärspeicher hat eine wesentlich höhere Speicherkapazität gegenüber dem Primärspeicher. Es ist ein permanenter Speicher, der die Daten langfristig speichern kann. Allerdings ist die Zugriffszeit langsamer. Als Sekundärspeicher dienen Festplatten ( HD), Solid State Drives (SDD), Flash-Speicher und optische Speicher wie Compact Discs ( CD), DVDs und Blu-Ray-Discs ( BD). Früher gab es als weitere Sekundärspeichermedien mechanische Speicher wie Lochkarte und Lochstreifen sowie Disketten als magnetische Speicher.