Messanforderungen für flüssigkeitsgekühlte KI-Rechenzentren:

Die Rechenzentrumsbranche hat die Kühlung gelöst … jetzt kommt der schwierige Teil

von Julia Petz
Foto: © Vaisala

Die Rechenzentrumsbranche hat ihre Entscheidung für die Flüssigkeitskühlung getroffen. Vorreiter waren Anlagen, in denen KI-Workloads mit hoher Leistungsdichte laufen, und die großen Hardwarehersteller haben ihre jüngste KI-Prozessorhardware bereits konsequent darauf ausgelegt. Die Direct-to-Chip-Kühlung, bei der die Flüssigkeit über Kühlplatten (Cold Plates) unmittelbar an die Prozessoren herangeführt wird, gilt heute als Referenzarchitektur für jedes neue, auf KI optimierte Rechenzentrum. Die Frage ist also nicht mehr, ob sich die Flüssigkeitskühlung als Standard durchsetzen wird – das hat sie längst getan. Die eigentliche Frage lautet nun: Wie sehen genaue und zuverlässige Messungen in diesem neuen Szenario aus?

Neu ist die Idee der Flüssigkeitskühlung nicht. IBM leistete bereits in den 1960er-Jahren Pionierarbeit mit wassergekühlten Großrechnern, und in Supercomputern sowie Hochleistungsrechenclustern gehört die Technologie seither zum Standard. Für den Großteil der Rechenzentrumsbranche blieb sie jedoch ein Nischenthema – im Prinzip interessant, in der Praxis aber unnötig. Luft funktionierte gut genug, und wirtschaftlich rechtfertigte nichts die zusätzliche Komplexität eines Umstiegs. Diese Rechnung hat sich geändert, und zwar rasant. Auslöser war die künstliche Intelligenz: Als KI den Schritt von der Forschung zum großflächigen kommerziellen Einsatz vollzog, brachte sie Workloads mit sich, deren Wärmeentwicklung eine Größenordnung erreicht, der die Luftkühlung nicht mehr gewachsen ist.

Ein herkömmliches Serverrack nimmt zwischen 5 und 10 Kilowatt auf. Ein KI-Rack kann heute das Zehn- bis Zwanzigfache, ja sogar das Dreißigfache davon benötigen. Bei solchen Leistungsdichten stößt die Physik der Luftkühlung schlicht an ihre Grenzen: Die Wärmekapazität von Luft ist vergleichsweise gering, und um genügend Luft zur Wärmeabfuhr zu bewegen, wäre ein Ventilatorenergieaufwand nötig, der wirtschaftlich absurd wäre – und selbst dann würden die heißesten Bereiche des Chips nicht rechtzeitig erreicht. Flüssigkeit, deren volumenbezogene Wärmekapazität rund 3.500-mal höher ist als jene von Luft, ist der einzig gangbare Weg nach vorne.

Die Flüssigkeitskühlung löst das thermische Problem. Wie sich diese Systeme jedoch langfristig zuverlässig betreiben lassen, ist eine Frage, an der die Branche noch arbeitet – und ein Großteil dieser Arbeit betrifft die Messinfrastruktur, die einen zuverlässigen Betrieb überhaupt erst möglich macht.

Die thermische Entwicklung kennt nur eine Richtung

Um zu verstehen, wohin sich die messtechnische Herausforderung entwickelt, lohnt ein Blick darauf, in welchem Tempo sich die zugrunde liegende Hardware verändert.

Laut dem „2025 State of the Data Center Report“ von Afcom ist die durchschnittliche Rackdichte von 7 kW im Jahr 2021 auf heute 16 kW gestiegen, und 79 Prozent der Befragten aus der Branche erwarten, dass dieser Anstieg weitergeht. An der Spitze der Entwicklung soll Nvidias Rack-Plattform Kyber im Jahr 2027 auf 600 kW kommen, und Nvidia-CEO Jensen Huang deutete an, dass künftige Racks letztlich sogar ein volles Megawatt benötigen könnten. Ein einzelnes Gehäuse hätte damit einen so hohen Strombedarf wie vor einem Jahrzehnt noch ein ganzes kleines Rechenzentrum.

Die Kluft zwischen durchschnittlichen Installationen und jenen an der technologischen Spitze wächst mit jeder neuen Generation von KI-Hardware – und es ist die Spitze, die jene Infrastrukturanforderungen vorgibt, die früher oder später alle anderen ebenfalls erfüllen müssen.

Die Luftkühlung erreicht ihre praktische Grenze bei etwa 20 bis 30 kW pro Rack. Bei höheren Dichten macht allein der Energiebedarf der Ventilatoren eine reine Luftkühlung wirtschaftlich undurchführbar. Flüssigkeit mit ihren weit überlegenen thermischen Eigenschaften ist bei diesen Dichten keine Frage der Vorliebe mehr, sondern eine physikalische Notwendigkeit.

Aus einer Domäne werden zwei

Der Betrieb einer flüssigkeitsgekühlten Anlage ist keine bloße Fortschreibung des Betriebs einer luftgekühlten. Es handelt sich um ein grundlegend anderes betriebliches Umfeld, das neues Fachwissen in den Bereichen Energie-, Bau- und Maschinentechnik, Strömungsdynamik und Chemie sowie Messtechnik erfordert. Über all diese Disziplinen hinweg ist die Messung jene Ebene, die alle anderen erst steuerbar macht.

In einer klassischen luftgekühlten Anlage ist das Management kontrollierter Umgebungen gut verstanden: Temperatur, relative Luftfeuchte und Differenzdruck sind Parameter, hinter denen jahrzehntelange Branchenpraxis steht. Sie sind in Richtlinien wie jenen der Ashrae (American Society of Heating, Refrigerating and Air-Conditioning Engineers) standardisiert und werden von ausgereifter Sensortechnik erfasst. Betreiber wissen, was sie messen, warum sie es messen, wie die Werte in die Regelung einfließen und was die Zahlen bedeuten.

Die Flüssigkeitskühlung erweitert diese Domäne erheblich. Rohrleitungen mit Kaltwasser waren zwar schon immer Teil der Rechenzentrumsinfrastruktur, um Lüftungsgeräte und Fan-Wall-Einheiten mit gekühltem Wasser zu versorgen. Wird die Kühlung jedoch über Kühlmittelverteiler (CDUs) und Kühlplatten bis direkt an die Chips herangeführt, nehmen Umfang und Bedeutung der Flüssigkeitsmessung dramatisch zu. Zu den Parametern, die nun eine eigene Instrumentierung erfordern, zählen Temperatur, Druck, Durchfluss und Füllstand der Flüssigkeit, außerdem die Leckageerkennung sowie Indikatoren für den Zustand des Kühlmittels wie pH-Wert, Trübung, Leitfähigkeit und Brechungsindex. Jeder dieser Parameter bringt eigene Fehlerbilder mit sich, und alle müssen sorgfältig überwacht werden, um eine wirksame Leistung des Kühlkreislaufs und die erforderliche Qualität der Flüssigkeit sicherzustellen – und das in unmittelbarer Nähe von Hardware, die pro Quadratmeter Stellfläche Dutzende Millionen Euro wert sein kann.

Die Flüssigkeitskühlung übernimmt dort, wo der Luft die Kraft ausgeht, doch für alles Übrige bleibt das luftseitige Management unverzichtbar. Die Direct-to-Chip-Kühlung führt die Wärme der heißesten Komponenten ab, die Restwärme aller übrigen Bauteile wird jedoch weiterhin über Luft gekühlt. Je teurer die zu schützende Hardware pro Quadratmeter wird, desto höher fallen auch die Kosten eines Ausfalls aus – sei es durch Überhitzung, Kondensation oder ein Kühlmittelleck auf der Flüssigkeitsseite oder durch unzureichende Luftströmung auf der Luftseite. Für jedes Rack steht mehr auf dem Spiel, und entsprechend steigt der Wert der Gewissheit, dass die kontrollierten Umgebungen jederzeit genau so beschaffen sind, wie sie sein sollen. In flüssigkeitsgekühlten Umgebungen sind die Anforderungen an die Zuverlässigkeit und Belastbarkeit der Messungen daher noch kritischer als bisher.

Messungen in einer flüssigkeitsgekühlten Umgebung

Neben den flüssigkeitsseitigen Parametern müssen auch die Umgebungsbedingungen im Rechenzentrumssaal und in den kritischen Teilen des Kühlsystems aktiv gesteuert werden. Das Risiko konzentriert sich dabei auf den Taupunkt. Die Effizienz der Flüssigkeitskühlung beruht darauf, kalte Flüssigkeit zu den Kühlplatten zu bringen – kältere Rohrleitungen in einem klimatisierten Raum bergen jedoch ein Kondensationsrisiko. Sinkt die Oberflächentemperatur der Rohre unter den Taupunkt der Umgebungsluft, bildet sich Wasser. Das ist kein lästiges Wartungsthema, sondern ein potenzielles Störereignis, dessen Folgen jedes Wartungsbudget bei Weitem übersteigen. Gängige Praxis ist es, die Vorlauftemperatur des Kühlmittels mindestens 2 °C über dem gemessenen Taupunkt der Umgebung zu halten. Für diesen Abstand ist der Kühlmittelverteiler (CDU) zuständig – allerdings nur, wenn er den tatsächlichen Taupunkt laufend kennt.

Die messtechnische Herausforderung ist bei all diesen Parametern keineswegs exotisch, sie stützt sich auf bewährte Sensorphysik. Sie richtig anzuwenden – also zu wissen, wo und wie häufig gemessen werden muss und wie die Sensordaten in Regelentscheidungen einfließen –, erfordert jedoch ein gründliches Verständnis sowohl der Technologie als auch des Umfelds, in dem sie eingesetzt wird.

Dynamische Anlagen erfordern dynamische Messungen

KI-Workloads unterscheiden sich grundlegend von herkömmlichen Rechenzentrums-Workloads. KI-Trainingsjobs sind intensiv und verlaufen in Schüben: Ein Cluster wechselt innerhalb weniger Minuten vom Leerlauf in die volle Trainingslast und erzeugt dabei einen sprunghaften Anstieg der Wärmeabgabe, auf den das Kühlsystem in Echtzeit reagieren muss. Der Kühlmittelverteiler, der diesen Cluster versorgt, muss den Kühlkreislauf nicht mit mehreren Minuten Verzögerung, sondern unmittelbar und kontinuierlich regeln – und dabei sicherstellen, dass Vor- und Rücklauftemperaturen innerhalb der Grenzwerte liegen, Druck und Durchfluss stimmen und der Taupunkt der Umgebungsluft in der Nähe der kalten Verteiler auch dann in der Toleranz bleibt, wenn sich das System erwärmt.

Zuverlässige Messungen machen eine dynamische Regelung erst möglich. Ohne genaue Echtzeitdaten zu den kritischen Parametern der gesamten Anlage arbeiten die Regelsysteme mit verzögerten oder ungenauen Informationen – mit kaskadierenden Folgen: Ineffiziente Kühlung verschwendet Energie, unzureichende Kühlung gefährdet die Hardware, und Überkorrektur verschwendet beides. Jeder Prozentpunkt an Effizienzgewinn in einer Anlage mit Hunderten Kilowatt pro Rack schlägt sich direkt in Betriebskosten und CO₂-Bilanz nieder. Gerade dieser Zusammenhang zwischen Messqualität und Betriebsergebnis macht die richtige Instrumentierung zu einer unternehmerischen und nicht bloß zu einer technischen Entscheidung.

Was die nächste Generation erfordern wird

Die Richtung ist vorgezeichnet: mehr von allem, was schon heute herausfordernd ist. Die Rackdichten werden weiter steigen, und jeder Schritt in dieser Entwicklung bringt messtechnische Anforderungen mit sich, hinter denen noch keine jahrzehntelange Branchenpraxis steht. Zuverlässige Messungen bilden das Fundament, auf dem alles andere aufbaut. Sie ermöglichen es, Kühlsysteme präzise statt vorsichtshalber konservativ zu regeln und Energieeffizienzziele tatsächlich zu erreichen, statt sie bloß anzustreben. Sie geben Betreibern die Gewissheit, dass sowohl die Kühlinfrastruktur als auch die von ihr versorgte Rechenhardware innerhalb sicherer Parameter arbeiten. Und sie liefern jene Frühwarnung, die ein behebbares Problem von einem kostspieligen trennt. Ohne vertrauenswürdige Messungen arbeitet ein flüssigkeitsgekühltes Rechenzentrum auf Basis von Annahmen – und bei diesen Rackdichten sind Annahmen teuer. Die Branche ist noch dabei, ein Verständnis dafür zu entwickeln, wie rigorose Messtechnik in diesem Umfeld aussieht. Genau dort beginnt die eigentliche Arbeit der nächsten Phase.

Mehr zu „Die Rechenzentrumsbranche hat die Kühlung gelöst … jetzt kommt der schwierige Teil“ – jede Woche im Postfach

Der i-Magazin Newsletter für die Elektro- und Energiebranche:

✓ Neuheiten und Marktnews aus der Branche

✓ Kompakt zusammengefasst

✓ Kostenlos und jederzeit abbestellbar

Newsletter abonnieren

Weitere Informationen finden Sie unter www.vaisala.com.

Quelle: Vaisala

Ähnliche Artikel

Hinterlassen Sie einen Kommentar

* Zur Speicherung Ihres Namens und Ihrer E-Mailadresse klicken Sie bitte oben. Durch Absenden Ihres Kommentars stimmen Sie der möglichen Veröffentlichung zu.