jrollans.com is a Fediverse instance that uses the ActivityPub protocol. In other words, users at this host can communicate with people that use software like Mastodon, Pleroma, Friendica, etc. all around the world.
This server runs the snac software and there is no automatic sign-up process.
Wie viele Aufgaben kann ein Rechner gleichzeitig bearbeiten? Warum zeigt ein Prozess mehr als 100 Prozent CPU-Auslastung? Und weshalb kann ein Programm langsam sein, obwohl die CPU-Anzeige noch freie Kapazität meldet?
Um solche Beobachtungen einzuordnen, müssen drei Ebenen zusammen betrachtet werden: die Struktur der verfügbaren Prozessoren, die ausführbaren Threads der Programme und die Verteilung der Rechenzeit durch den Kernel. Linux stellt dafür unterschiedliche Informationen und Werkzeuge bereit.
Im Alltag bezeichnet „CPU“ häufig den gesamten Prozessorchip. In Linux-Ausgaben ist damit dagegen oft eine logische CPU gemeint: eine Ausführungseinheit, die der Kernel einzeln verwalten und für die Ausführung eines Threads auswählen kann.
Für die Hardwareübersicht sind deshalb mehrere Begriffe wichtig:
Begriff
Bedeutung
Sockel beziehungsweise Package
Einordnung eines Prozessorpakets in der erkannten Hardwaretopologie
Kern
Physische Recheneinheit innerhalb eines Prozessors
Logische CPU
Vom Betriebssystem einzeln verwaltete Ausführungseinheit
SMT
Technik, durch die ein physischer Kern mehrere Hardwarethreads bereitstellt
NUMA-Knoten
Einordnung von CPUs und Speicher nach ihrer Nähe und ihren Zugriffseigenschaften
Diese Beziehungen gehören zur CPU-Topologie. Sie lassen sich mit lscpu untersuchen.
Ein Prozessor mit acht Kernen und zwei Hardwarethreads pro Kern stellt Linux typischerweise 16 logische CPUs bereit.
Das bedeutet jedoch nicht, dass 16 voneinander unabhängige physische Kerne vorhanden sind. Die beiden Hardwarethreads eines Kerns teilen sich Ressourcen dieses Kerns. SMT kann vorhandene Ausführungsmöglichkeiten besser nutzen, verdoppelt aber nicht pauschal die Rechenleistung.
Bei Leistungsfragen ist deshalb nicht nur die Anzahl sichtbarer CPUs wichtig, sondern auch deren Beziehung zueinander.
Die CPU-Topologie beschreibt den Aufbau und die Beziehungen der Prozessoreinheiten eines Systems: Welche logischen CPUs gehören zu welchem Kern und Sockel, welche teilen sich Caches und welchen NUMA-Knoten sind sie zugeordnet? Unter Linux lässt sich diese Struktur mit
lscpuanzeigen.
Eine erste Übersicht liefert:
lscpuBesonders interessant sind die Angaben zu:
Eine tabellarische Zuordnung lässt sich beispielsweise so anzeigen:
lscpu -e=CPU,CORE,SOCKET,NODE,ONLINEDamit wird sichtbar, welche logischen CPUs zu welchen Kernen, Sockeln und NUMA-Knoten gehören und ob sie online sind. Die CPU-Nummer allein verrät diese Beziehungen nicht zuverlässig.
Innerhalb einer virtuellen Maschine zeigt lscpu hauptsächlich die vom Hypervisor bereitgestellte Konfiguration. Acht virtuelle CPUs sind daher kein Beleg für acht exklusiv zugewiesene physische Kerne des Hosts. Auch die dargestellte Sockel- und Kerntopologie kann von der tatsächlichen Hardware abweichen.
Ein Prozess bildet den Rahmen für ein laufendes Programm. Er besitzt unter anderem einen eigenen virtuellen Adressraum und verwaltet Ressourcen wie geöffnete Dateien.
Innerhalb eines Prozesses können ein oder mehrere Softwarethreads arbeiten. Threads desselben Prozesses teilen sich viele Ressourcen, besitzen aber jeweils einen eigenen Ausführungszustand und Stack.
Für die CPU-Zuteilung ist entscheidend: Linux plant die einzelnen Threads ein. Ein Prozess mit mehreren rechenbereiten Threads kann deshalb gleichzeitig auf mehreren logischen CPUs laufen.
Das Wort „Thread“ wird dabei in zwei Bedeutungen verwendet:
Begriff
Gemeint ist
Hardwarethread
Eine vom Prozessor bereitgestellte logische CPU, beispielsweise durch SMT
Softwarethread
Ein Ausführungsstrang innerhalb eines Prozesses
Viele Softwarethreads teilen sich die verfügbaren logischen CPUs. Es muss keine feste Eins-zu-eins-Zuordnung zwischen ihnen geben.
Ein einzelner Softwarethread kann zu einem Zeitpunkt nur auf einer logischen CPU ausgeführt werden. Er kann später auf eine andere CPU wechseln, nutzt aber nicht gleichzeitig mehrere CPUs für seine eigene Ausführung.
Der Scheduler ist der Teil des Kernels, der entscheidet, welcher ausführbare Thread auf welcher CPU laufen darf.
Dabei berücksichtigt Linux unter anderem:
Ein vorhandener Thread benötigt nicht ständig CPU-Zeit. Er kann beispielsweise schlafen, auf Daten warten oder auf eine Synchronisation mit anderen Threads angewiesen sein.
Dadurch können auf einem System sehr viele Prozesse und Threads existieren, obwohl nur wenige gleichzeitig rechnen.
Auf einer einzelnen logischen CPU wechseln sich ausführbare Threads ab. Durch diese zeitliche Aufteilung können mehrere Aufgaben gleichzeitig in Bearbeitung erscheinen.
Mit mehreren logischen CPUs können zusätzlich mehrere Threads tatsächlich parallel ausgeführt werden. Ob ein Programm davon profitiert, hängt davon ab, ob es seine Arbeit auf mehrere gleichzeitig ausführbare Threads verteilen kann.
Mehr CPUs beschleunigen daher nicht automatisch jedes Programm.
Eine zentrale Unterscheidung besteht zwischen Laufzeit und verbrauchter CPU-Zeit:
Messgröße
Bedeutung
Verstrichene Zeit
Zeit zwischen Start und Ende, einschließlich Wartezeiten
User-CPU-Zeit
Zeit für die Ausführung von Anwendungscode im Benutzermodus
System-CPU-Zeit
Zeit, in der der Kernel im Auftrag des Programms arbeitet
Gesamte CPU-Zeit
Summe aus User- und System-CPU-Zeit
Wartezeit wird dabei nicht einfach als CPU-Zeit des wartenden Prozesses gezählt. Ein Programm kann lange laufen, ohne entsprechend viel Rechenzeit zu verbrauchen.
Ein Programm läuft zehn Sekunden, benötigt aber insgesamt nur zwei Sekunden CPU-Zeit.
Während der übrigen Zeit hat es nicht selbst gerechnet. Es könnte beispielsweise auf Eingaben, Daten, andere Threads oder eine freie CPU gewartet haben. Aus der Zeitdifferenz allein lässt sich die genaue Ursache noch nicht bestimmen.
Auch das ist möglich: Mehrere Threads können parallel auf unterschiedlichen CPUs rechnen. Ihre CPU-Zeiten werden addiert.
35 Sekunden CPU-Zeit innerhalb von zehn Sekunden verstrichener Zeit entsprechen im Mittel der Nutzung von 3,5 logischen CPUs. Das ist eine Aussage über die aufsummierte Ausführungszeit, nicht über die erreichte Rechenleistung oder Effizienz.
Für einen Programmlauf lässt sich die Zeitmessung beispielsweise so aufrufen:
time -p meinprogrammEine beispielhafte Ausgabe:
real 10.00
user 1.70
sys 0.30Das bedeutet:
Die CPU-Zeit beträgt damit insgesamt zwei Sekunden.
Viele Shells besitzen eine eigene time-Funktion oder ein entsprechendes Schlüsselwort. Daneben kann ein eigenständiges Programm wie /usr/bin/time installiert sein. Umfang und Darstellung der Ausgabe können sich unterscheiden.
In der üblichen Darstellung vieler Prozessanzeigen entsprechen 100 Prozent der vollständigen zeitlichen Nutzung einer logischen CPU.
Ein Prozess mit mehreren aktiven Threads kann deshalb beispielsweise 250 Prozent erreichen. Das entspricht über das Messintervall ungefähr 2,5 vollständig genutzten logischen CPUs.
Die Bezugsgröße ist jedoch werkzeugabhängig. top kann die Prozessauslastung auch auf die Gesamtzahl der CPUs normieren. Dann verändert sich die Bedeutung der Prozentwerte.
Vor einem Vergleich sollte deshalb geklärt werden:
100 Prozent CPU bedeuten nicht, dass ein Programm die maximal mögliche Menge sinnvoller Arbeit erledigt. Unterschiedliche Programme können bei gleicher CPU-Zeit sehr unterschiedliche Arbeit leisten. Auch ist die Nutzung einer logischen SMT-CPU nicht gleichbedeutend mit einem exklusiv genutzten physischen Kern.
CPU-Auslastung beschreibt vor allem die zeitliche Belegung. Für die Leistungsbewertung muss zusätzlich betrachtet werden, wie viel Arbeit dabei tatsächlich fertig wird.
Eine laufende Übersicht bietet:
topInnerhalb von top schaltet die Taste H zwischen einer Prozessansicht und der Darstellung einzelner Threads um.
Für die Threads eines bestimmten Prozesses:
top -H -p 12341234 steht dabei für die PID des untersuchten Prozesses.
Diese Unterscheidung ist bei vermeintlich schlecht ausgelasteten Systemen hilfreich: Ein Prozess kann insgesamt nur ungefähr eine logische CPU nutzen, weil lediglich einer seiner Threads dauerhaft rechnet. Freie CPUs können diese einzelne Ausführung nicht automatisch aufteilen.
Eine Auslastungsübersicht pro logischer CPU liefert außerdem:
mpstat -P ALL 1Der Aufruf aktualisiert die Werte im Sekundenabstand. mpstat gehört zum Paket sysstat und ist nicht überall vorinstalliert.
Die Load Average wird beispielsweise von uptime und top angezeigt. Die drei Werte beziehen sich auf Zeiträume von einer, fünf und 15 Minuten.
Linux berücksichtigt dabei sowohl ausführbare Aufgaben als auch Aufgaben im nicht unterbrechbaren Wartezustand, häufig aufgrund von I/O. Die Load Average beschreibt deshalb nicht ausschließlich den Bedarf an CPU-Rechenzeit.
Das hat wichtige Folgen:
Eine Load von acht hat auf einem System mit zwei logischen CPUs eine andere Bedeutung als auf einem System mit 32. Trotzdem reicht auch dieser Vergleich allein nicht: Entscheidend ist, ob die Aufgaben rechnen wollen oder überwiegend auf etwas anderes warten.
Eine hohe Load bei niedriger CPU-Auslastung ist daher kein Widerspruch.
Linux bietet mehrere Möglichkeiten, die Verteilung von Rechenzeit zu beeinflussen. Sie beantworten unterschiedliche Fragen.
Mechanismus
Fragestellung
Nice-Wert
Wie soll ein Thread innerhalb der betreffenden normalen Scheduling-Regeln gegenüber anderen gewichtet werden?
CPU-Gewicht einer cgroup
Welchen relativen Anteil soll eine Prozessgruppe bei Konkurrenz erhalten?
CPU-Quote
Wie viel CPU-Zeit darf eine Gruppe innerhalb eines Zeitraums höchstens verbrauchen?
CPU-Affinität
Auf welchen logischen CPUs darf ein Thread laufen?
Diese Mechanismen sind nicht austauschbar. Insbesondere bedeutet eine höhere Priorität weder eine feste Reservierung noch eine garantierte Beschleunigung.
Für die üblichen Nice-basierten Scheduling-Regeln liegt der Wertebereich unter Linux zwischen −20 und +19:
Das ist keine Begrenzung auf einen bestimmten CPU-Prozentsatz. Ein weniger bevorzugter Thread kann weiterhin viel CPU-Zeit erhalten, wenn keine entsprechende Konkurrenz vorhanden ist. Außerdem beeinflussen Gruppenregeln und andere Scheduling-Klassen die tatsächliche Verteilung.
Ein cgroup-Gewicht beeinflusst den relativen Anteil konkurrierender Gruppen. Es setzt für sich genommen keine harte Obergrenze.
Sind andere Gruppen nicht aktiv, kann eine Gruppe daher mehr Rechenzeit nutzen, als ihr rechnerischer Anteil bei vollständiger Konkurrenz erwarten ließe.
Eine Quote begrenzt dagegen das CPU-Zeitbudget einer Gruppe pro Zeitraum. Ist dieses Budget verbraucht, kann die Gruppe bis zur nächsten Freigabe gedrosselt werden – auch wenn ansonsten CPUs frei wären.
Bei systemd beziehen sich Werte wie CPUQuota=100% auf die Zeitkapazität einer logischen CPU. Für eine Zeitkapazität von zwei CPUs kann beispielsweise CPUQuota=200% verwendet werden.
Das bedeutet nicht, dass die Gruppe exklusiv genau diesen CPUs zugeordnet wird. Die Quote begrenzt das zusammengezählte Zeitbudget, nicht die Auswahl der CPUs.
Die CPU-Affinität legt fest, auf welchen logischen CPUs ein Thread ausgeführt werden darf.
Die erlaubten CPUs eines Prozesses beziehungsweise seines Hauptthreads lassen sich beispielsweise anzeigen mit:
taskset -pc 1234Für alle vorhandenen Threads des Prozesses:
taskset -apc 1234Unter Linux ist die Affinität eine Eigenschaft des einzelnen Threads. Unterschiedliche Threads desselben Prozesses können deshalb unterschiedliche Zuordnungen besitzen.
Wichtig ist die Abgrenzung: Eine Affinität reserviert die ausgewählten CPUs nicht exklusiv. Andere dort zugelassene Threads können sie weiterhin verwenden.
Eine zu enge Bindung kann außerdem Kapazität ungenutzt lassen. Affinität ist daher kein allgemeiner Beschleunigungsschalter, sondern ein gezieltes Werkzeug zur Platzierung von Arbeit.
Auf NUMA-Systemen unterscheiden sich Speicherzugriffe je nach Nähe zwischen CPU und Speicher. Speicher eines nahen Knotens ist typischerweise günstiger erreichbar als weiter entfernter Speicher.
NUMA-Systeme (Non-Uniform Memory Access) sind Rechner, bei denen Prozessoren auf nahe gelegenen Arbeitsspeicher schneller zugreifen können als auf weiter entfernten. Sie kommen besonders in leistungsfähigen Servern zum Einsatz, um viele Prozessorkerne und große Speichermengen bereitzustellen.
Die CPU-Zuordnung allein beschreibt deshalb noch nicht die gesamte Ausführungssituation. Relevant ist auch, aus welchen NUMA-Knoten ein Prozess seinen Speicher bezieht.
Der cpuset-Controller von cgroups kann sowohl die erlaubten CPUs als auch die erlaubten Speicherknoten einschränken. Damit lassen sich Rechen- und Speicherplatzierung aufeinander abstimmen.
Das erklärt, warum zwei Programme trotz ähnlicher CPU-Auslastung unterschiedliche Laufzeiten haben können: Nicht jede Sekunde belegter CPU-Zeit führt unter unterschiedlichen Speicherbedingungen zum gleichen Arbeitsergebnis.
Bei Containern müssen sichtbare CPU-Topologie und tatsächlich verfügbares CPU-Zeitbudget unterschieden werden. Eine cgroup kann beispielsweise eine Quote vorgeben, die deutlich unter der Kapazität aller sichtbaren CPUs liegt. Freie CPUs des Hosts bedeuten dann nicht automatisch, dass der Container zusätzliche Rechenzeit erhalten darf.
In virtuellen Maschinen kommt eine weitere Ebene hinzu: Der Hypervisor muss die virtuellen CPUs auf dem Host einplanen.
Werkzeuge wie top oder mpstat können dafür Steal Time anzeigen. Sie kennzeichnet Zeit, in der eine virtuelle CPU aufgrund der Einplanung durch den Hypervisor nicht selbst laufen konnte. Hohe Steal-Werte können somit einen Teil der Verzögerung erklären, den eine reine Prozessbetrachtung innerhalb des Gasts nicht sichtbar macht.
Wenn ein Programm zu langsam arbeitet, hilft eine schrittweise Betrachtung:
lscpu klären, welche CPU-Struktur das System sieht.top oder mpstat prüfen, ob alle CPUs oder nur einzelne ausgelastet sind.Damit werden drei unterschiedliche Ursachen auseinandergehalten: fehlende Parallelität, fehlende Zuteilung von Rechenzeit und Wartezeiten außerhalb der eigentlichen Berechnung. Die genannten Werkzeuge betrachten jeweils einen Teil dieses Gesamtbilds.
Die CPU-Topologie beschreibt die verfügbaren Ausführungseinheiten und ihre Beziehungen. Prozesse stellen mit ihren Threads die ausführbare Arbeit bereit. Der Scheduler verteilt darauf die verfügbare Rechenzeit – innerhalb von Prioritäten, erlaubten CPUs und möglichen Gruppenlimits.
Für die Beurteilung eines Systems müssen deshalb Hardwarestruktur, Threadverhalten, Zeitverbrauch und Wartezustände zusammenpassen. Erst dann lässt sich sinnvoll entscheiden, ob mehr CPUs helfen, eine Anwendung stärker parallelisiert werden müsste oder eine Begrenzung beziehungsweise ein anderer Engpass die eigentliche Ursache ist.
Sudah terbiasa melihat kelakuan #meta sehari-hari buka tutup federasi #threads ke #fediverse tanpa ada jadwal yang jelas.
Tapi yang jelas, setiap lagi rame ada demo atau apa, pasti federasi mereka berhenti.
Last Week in the #ATmosphere:
- 20 million accounts on #Bluesky
- #Threads is taking the competition with Bluesky serious; Bluesky might be closer in size to Threads than thought
- experiments with visualising the firehose
- and a ton of links
Read at: https://fediversereport.com/last-week-in-the-atmosphere-2411-c/