Ein Crashkurs zu Caching-Grundlagen

Caching ist ein äußerst wichtiges Konzept in jedem Computersystem. Es kommt im Detail der Hardware Ihres Computers und in riesigen verteilten Systemen auf der ganzen Welt ins Spiel. In diesem Artikel werden die grundlegenden Caching-Grundlagen einfach erklärt.

Dies ist der erste Teil der Caching Mastery Roadmap von SWE Quiz.

Dieser Artikel befasst sich mit den Grundlagen des Cachings, erörtert seinen Zweck, die damit verbundenen Kompromisse, verschiedene Arten von Caches und die Unterschiede zwischen serverseitigem und clientseitigem Caching.

Was ist Caching?

Beim Caching werden Kopien von Dateien an einem temporären Speicherort gespeichert, der als Cache bezeichnet wird. Auf den temporären Speicherort kann schneller zugegriffen werden als auf die darunter liegende langsamere Speicherschicht. Das Hauptziel des Caching besteht darin, die Leistung beim Datenabruf zu steigern, indem die Notwendigkeit verringert wird, auf die zugrunde liegende langsamere Speicherschicht zuzugreifen. Dabei geht es darum, eine Teilmenge der Daten – typischerweise die am häufigsten aufgerufenen oder wichtigsten Daten – in einem schnelleren Speichersystem zu speichern.

Warum es Caching gibt

Der Hauptgrund für das Caching ist die Verbesserung der Leistung. Wenn Daten zwischengespeichert werden, kann viel schneller auf sie zugegriffen werden, als sie aus dem Primärspeicher abzurufen. Diese Beschleunigung ist in vielen Anwendungen von entscheidender Bedeutung, vom Surfen im Internet, wo die Seitenladezeiten beschleunigt werden, bis hin zur Datenbankverwaltung, wo Abfrageantworten schneller werden.

Eine Analogie: Stellen Sie sich ein High-End-Restaurant namens Google.com vor, das viele Kunden empfängt, die Essen bestellen (Websuchen). Anstatt jedes Gericht von Grund auf zuzubereiten, hält der Koch die beliebtesten Gerichte (oder Suchanfragen), die er bestellt hat, im Ofen, dem Cache, bereit. Caching funktioniert ähnlich. Dabei handelt es sich um die Praxis, häufig aufgerufene Daten in einem zu speichern temporärer Haltebereich Cache genannt, näher an der Anforderungsstelle, um einen schnelleren Abruf zu ermöglichen. Stellen Sie es sich wie einen digitalen Ofen vor, der Kopien von Webseiten, Datenbankabfragen oder Anwendungsressourcen griffbereit bereithält.

Weitere Vorteile sind: schnellere Ladezeiten (Kunden erhalten ihre Seiten schneller), verbesserte Effizienz und geringere Belastung bei schwereren Prozessen (weniger Belastung des Servers).

Wenn eine Bestellung eingeht und das Lebensmittel bereits im Ofen ist, wird dies als a bezeichnet Cache-Treffer.

Wenn es nicht existiert, ist dies ein Cache-Fehler.

Ein System arbeitet effektiver, wenn die Häufigkeit von Cache-Treffern höher ist. Der Erfolg eines Caches wird durch die Cache-Trefferquote quantifiziert, die sich aus der Anzahl der Cache-Treffer geteilt durch die Gesamtzahl der Cache-Anfragen berechnet. Ein höheres Verhältnis signalisiert eine bessere Systemleistung.

Einige wichtige Punkte, die Sie beachten sollten:

• Cache-Systeme nehmen nur einen Teil des gesamten Datensatzes auf.
• Caching-Systeme gibt es normalerweise in Erinnerungwas viel schneller ist als Scheibe, wo Datenbanken gespeichert werden. Speicher ist teurer als Festplattenspeicher, daher sind Cache-Systeme normalerweise viel kleiner als Speichersysteme.
• Caching ist für stark frequentierte Websites und Anwendungen erforderlich.

Kompromisse beim Caching: Latenz vs. Konsistenz

Caching erfordert von Natur aus einen Kompromiss zwischen Latenz und Konsistenz. Erinnern Sie sich an die Kopien im Cache? Was passiert, wenn die Originaldaten aktualisiert werden? Hier entsteht der Kompromiss:

• Caching reduziert die Latenz indem ein schnellerer Zugriff auf Daten ermöglicht wird. Der Grad der Latenzreduzierung hängt von verschiedenen Faktoren ab, einschließlich der Cache-Größe und dem für den Datenabruf und -ersatz verwendeten Algorithmus.
• Caching verringert die Datenkonsistenz zwischen dem Cache und dem zugrunde liegenden Primärspeicher. Wenn sich Daten im Primärspeicher ändern, kann die zwischengespeicherte Kopie veraltet sein, was zu möglichen Diskrepanzen führen kann. Stellen Sie sich vor, Sie sehen die Schlagzeilen von gestern statt der aktuellen Nachrichten!

Die Bewältigung dieses Kompromisses erfordert Strategien wie die Cache-Invalidierung, bei der veraltete Daten im Cache entfernt oder aktualisiert werden, und die Auswahl geeigneter Caching-Algorithmen, die Geschwindigkeit und Aktualität der Daten in Einklang bringen.

Das Finden des Sweet Spots zwischen Latenz und Konsistenz hängt von den spezifischen Daten ab. Statische Inhalte wie Website-Bilder können für eine optimale Geschwindigkeit eine gewisse Veralterung tolerieren, während Finanztransaktionen Echtzeitgenauigkeit erfordern.

Verschiedene Arten von Caches

Die häufigsten Arten von Caches sind:

1. Seitencache: In Betriebssystemen wird Seiten-Caching zum Speichern von Speicherseiten verwendet. Diese Art von Cache hilft beim schnellen Abrufen von Speicherseiten und reduziert den Zeitaufwand für das Lesen oder Schreiben auf eine Festplatte. (Im Allgemeinen wird dies in Systemdesign-Interviews nicht so ausführlich behandelt, es sei denn, Sie führen ein Interview für ein datenbankbezogenes Team.)
2. Inhaltscache: Wird hauptsächlich in Webanwendungen zum Speichern von Webressourcen wie HTML-Seiten, Bildern, Videos und Skripten verwendet. Es verbessert die Benutzererfahrung, indem es die Ladezeiten für häufig aufgerufene Webinhalte verkürzt.
3. Datencache: Beim Daten-Caching, das in Datenbanksystemen üblich ist, werden Abfrageergebnisse oder häufig aufgerufene Datenbankdatensätze gespeichert. Es beschleunigt Datenbankabfragen, indem es redundante Datenabrufvorgänge vermeidet.
4. Abfrage-Cache: Speziell für Datenbanksysteme speichert ein Abfragecache die Ergebnismenge einer Abfrage. Nachfolgende identische Abfragen können direkt aus dem Cache bedient werden, wodurch die Antwortzeit der Abfrage erheblich verkürzt wird.

Caches gehen jedoch viel tiefer als nur diese. Sie können Caches nach Datentyp, Speicherort, Konsistenz und mehr kategorisieren.

Nach Datentyp:

• Inhaltscaches: Diese speichern statische Dateien wie Bilder, Videos, Skripte und Stylesheets, wodurch das Laden der Website beschleunigt und die Serverlast reduziert wird.
• Seiten-Caches: Diese enthalten ganze Webseiten, ermöglichen ein blitzschnelles Neuladen und sorgen dafür, dass sich das Surfen butterweich anfühlt.
• Datencaches: Diese speichern Datenbankabfragen und -ergebnisse und ermöglichen einen schnellen Datenzugriff innerhalb von Anwendungen, insbesondere für häufig verwendete Vorgänge.
• Abfrage-Caches: Diese erinnern sich an frühere Suchen und deren Ergebnisse, wodurch redundante Verarbeitung vermieden und die Sucheffizienz gesteigert wird.
• Objektcaches: Diese speichern komplexe Datenstrukturen wie Objekte und Entitäten und beschleunigen den Zugriff in Anwendungsframeworks und Programmiersprachen.

Nach Standort:

• Browser-Cache: Jeder Webbrowser verwaltet seinen eigenen Cache und speichert bestimmte Dateien für die Websites, die Sie häufig besuchen. Dies personalisiert Ihr Surferlebnis und beschleunigt wiederholte Besuche.
• Betriebssystem-Cache: Ihr Betriebssystem verfügt außerdem über einen Cache für häufig aufgerufene Dateien wie Systembibliotheken und Anwendungsdaten, wodurch die Gesamtleistung des Systems verbessert wird.
• Anwendungscache: Viele Anwendungen implementieren ihre eigenen internen Caches für spezifische Daten im Zusammenhang mit ihrer Funktionalität und optimieren so ihre Leistung weiter.
• Netzwerkcache: Router und andere Netzwerkgeräte können auch Daten zwischenspeichern, wodurch der Datenverkehr über größere Entfernungen minimiert und das Surfen im Internet für mehrere Benutzer beschleunigt wird.
• Content Delivery Network (CDN)-Cache: CDNs platzieren Server strategisch rund um den Globus, die jeweils mit einem Cache ausgestattet sind, um Inhalte näher an die Benutzer zu liefern und so die Latenz für geografisch unterschiedliche Zielgruppen deutlich zu reduzieren.
• L1-, L2- und L3-Caches: Hierbei handelt es sich um Ebenen des Cache-Speichers in der Architektur eines Computers, wobei L1 der schnellste und kleinste ist, gefolgt von den größeren und etwas langsameren L2- und L3-Caches. Sie werden zum Speichern von Daten und Anweisungen verwendet, die die CPU wahrscheinlich bald benötigen wird.

Nach Konsistenzmodell:

• Durchschreibcache: An den zwischengespeicherten Daten vorgenommene Aktualisierungen werden sofort in der Originalquelle widergespiegelt, wodurch die Konsistenz gewährleistet wird, die Schreibleistung jedoch etwas beeinträchtigt wird.
• Rückschreibcache: Aktualisierte Daten werden in regelmäßigen Abständen oder wenn der Cache seine Kapazität erreicht, in die Quelle zurückgeschrieben, was eine bessere Schreibleistung bietet, aber möglicherweise für kurze Zeit veraltete Daten im Cache belässt.
• No-Write-Cache: Dieser Cache liest nur Daten, verbessert die Leseleistung und vereinfacht Konsistenzprobleme, schränkt jedoch seinen Nutzen für Szenarien ein, die Aktualisierungen erfordern.

Andere einzigartige Caches:

• Opcode-Cache: Dieser Cache wird in virtuellen Maschinen und Just-in-Time-Compilern (JIT) verwendet und speichert kompilierten Maschinencode für häufig ausgeführte Anweisungen, wodurch die Prozessorleistung gesteigert wird.
• Befehlscache: In Prozessoren speichert dieser Cache kürzlich abgerufene Anweisungen, wodurch die Notwendigkeit verringert wird, sie erneut aus dem langsameren Speicher abzurufen, was die Geschwindigkeit der Befehlsausführung erhöht.
• Übersetzungs-Lookaside-Puffer (TLB): Dieser Cache beschleunigt die Adressübersetzung des virtuellen Speichers, einen entscheidenden Schritt beim Zugriff auf Daten im Speicher.

Serverseitiges vs. clientseitiges Caching

• Serverseitiges Caching: Dies geschieht auf dem Server, von dem die Daten stammen. Beispiele hierfür sind Datenbank-Caching und Webserver-Caching. Serverseitiges Caching kommt allen Benutzern zugute, die auf den Server zugreifen, da es die Serverlast reduziert und die Antwortzeiten verbessert.

• Clientseitiges Caching: Tritt auf der Clientseite auf, z. B. in einem Webbrowser oder in der Anwendung eines Benutzers. Es speichert Kopien von Dateien, auf die der Client (z. B. das Telefon des Benutzers) zugreift, wodurch die Notwendigkeit verringert wird, wiederholt dieselben Daten vom Server anzufordern. Diese Art des Cachings ist personalisiert und spezifisch für die Interaktion des Benutzers mit der Anwendung.

Sie haben Teil 1 der Caching-Grundlagen erfolgreich abgeschlossen.

Jetzt ist ein guter Zeitpunkt, Ihr Wissen zu testen.

Lesen Sie weiter zum nächsten Teil der Reihe: Caching-Richtlinien und Algorithmen einfach erklärt