Der Weg zum perfekten Monitoring-System für Strom und Umgebung im Rechenzentrum

01.10.21 09:45:00 MESZ

Die erdachte, aber oftmals in der Realität vorkommende Situation: Administrator Max Z. ist von seinem Rechenzentrumsleiter beauftragt worden, ein Lastenheft für eine Monitoring-Lösung zu Umgebung und Strom zu erstellen und am Markt zu sichten, was es für Lösungen gibt und welche in die engere Wahl gezogen werden können. Bei diesem Prozess schauen wir Max Z. über die Schulter und in seinen Kopf:

Mann, Mann, Mann, kann mich nicht erinnern, laut hier gerufen zu haben, aber jetzt hab‘ ich den Job an der Backe. Okay, hilft ja alles nichts, eine Monitoring-Lösung für unser Rechenzentrum muss also her. Bevor ich jetzt wild im Web recherchiere und von der Angebotsfülle sowie den zahlreichen Funktionen, Features und Benefits komplett erschlagen werde, bringen wir mal erst ein bisschen Systematik in die Sache: Am besten fange ich mit der Nutzen- und Funktionsseite an, was uns da am wichtigsten ist:

  • Wir wollen alle vitalen Stromdaten auf jeder Verteilungsebene und dazu Umgebungsbedingungen wie Temperatur, Feuchte und Differenzdruck permanent erfassen.
  • Das Monitoring-Tool soll zudem als Frühwarnsystem agieren, das uns bei kritischen Entwicklungen von Stromwerten und Umgebungsbedingungen warnt, damit wir Systemstörungen und Ausfällen vorbeugen können.
  • Weiteres Ziel ist es, damit energetische und thermische Schwachstellen in unserer Umgebung aufzuspüren, um Lasten besser verteilen und Energie einsparen zu können.
  • Die Datengrundlage soll auch dazu genutzt werden, um den PUE-Wert kontinuierlich zu bestimmen und zu evaluieren, so dass wir wissen, wie wir in puncto Energieeffizienz im Vergleich zu anderen Rechenzentren dastehen.
  • Aber noch viel wichtiger ist es uns, eigene Kennwerte zu entwickeln, mit der wir das Verhältnis zwischen IT-Performance, Energieverbrauch und CO2-Emission analysieren und somit belastbare Aussagen zum Reifegrad unseres Rechenzentrums im Hinblick auf Energieeffizienz und Nachhaltigkeit treffen können.

Konkrete Anforderungen an Monitoring-Lösung

Womit die ersten Einträge ins Lastenheft geschrieben wären. Jetzt müssen wir uns noch ein bisschen konkreter anschauen, was bei uns alles unter das Dach einer Monitoring-Lösung zu bringen ist: In unserem Rechenzentrum gibt es insgesamt zehn Rack-Korridore, wobei die Kaltgänge eingehaust sind. Die räumliche Stromverteilung zu den Racks erfolgt über die Decke mit einem Stromschienensystem in redundanter Auslegung. Über die Abgänge werden in den Racks jeweils ein A- und B-Versorgungsstrang über PDU-Stromleisten für die aktiven Geräte aufgebaut. Beim Monitoring der Stromwerte ist für uns ausschlaggebend, dass wir den Betrieb, vor allem einiger unternehmenskritischer IT-Geräte, individuell im Blick behalten können. Weiter interessiert uns die Gesamtlast per Rack sowie die Kontrolle der Leistungsabnahmen und Auslastungen von Verteilungen und Abgängen.

Für das Monitoring der Umgebungsbedingungen haben die eingekapselten Kaltgänge eine besondere Bedeutung: Hier ist die Überwachung des Kühlluftdrucks wichtig. Schließlich gilt es zu vermeiden, dass sich die Lüfter der im Standby-Betrieb befindlichen Server bei zu hohem Druck in Bewegung setzen, was zu Schäden an der Hardware führen kann. Auch auf die Luftfeuchte müssen wir ein Auge werfen, denn ist diese zu hoch, dann haben die Server die Kondensation zu regulieren, was mit einem höheren Energieverbrauch einhergeht. Überschreitet die Feuchte über einen längeren Zeitraum die für die Server spezifizierten Werte, dann kann dies eventuell sogar zu Korrosionen, Systemstörungen oder Ausfällen führen. Bei zu hoher Trockenheit hingehen könnten wir es im schlimmsten Fall mit Aufladungen oder Kurzschlüssen bei der IT-Hardware zu tun bekommen. Natürlich müssen wir auch innerhalb sowie außerhalb der eingehausten Gänge die Temperaturen kennen, damit wir wissen, wie effizient wir kühlen. Stellen wir dabei etwa zu niedrige Zulufttemperaturen fest, können wir nachregulieren, um zu hohe Lasten und Kosten bei der Kühlung zu vermeiden.

Wunschliste zu Installation und Sicherheit

Soweit zu den Funktionen. Da meine Kollegen und ich ja das ganze Monitoring-System installieren, einrichten, pflegen und gegebenenfalls erweitern müssen, gibt es noch ein paar weitere Punkte für meinen Wunschzettel: Wir haben schon ein bestehendes DCIM-System im Einsatz. Deshalb sollte die Verwaltung der Monitoring-Lösung dort auch integriert werden können. Was wir keinesfalls wollen, ist, mit Insellösungen und proprietären Management-Tools für Umgebung und Strom arbeiten zu müssen. Und bei der Installation lege ich als Techniker natürlich Wert darauf, dass ich nicht kilometerlang Kabel zu ziehen und womöglich Hunderte von Messmodulen und Sensoren einzeln zu konfigurieren habe. Der gesamte Einrichtungsaufwand sollte sich im Hinblick auf Arbeits- und Zeitaufwand in vernünftigen Grenzen halten. Das Gleiche gilt auch für die Systempflege und in Bezug auf Erweiterungen. Ein weiterer wichtiger Aspekt ist das Thema Sicherheit: Wie bei anderen Anwendungen auch brauchen wir Nutzer- und Zugriffsrechte, die wir individuell festlegen können. Die Datenkommunikation sollte verschlüsselt sein und wir brauchen natürlich Backup-Optionen, damit wir keine Datenverluste erleiden. Ideal wäre es, wenn sich das Monitoring-System, ähnlich wie unsere gesamte Infrastruktur, mit einer Art redundanten Sicherheitsreserve aufsetzen ließe, um die Daten auch bei kurzen Betriebsunterbrechungen oder bei geplanter oder ungeplanter Downtime erhalten zu können.

Was gibt es am Markt?

So, hier setzen wir jetzt mal ‘nen Haken dran, weil nun schon eine ziemlich umfangreiche Anforderungsliste zusammengekommen ist. Mit dieser im Hinterkopf werde ich nun die Angebote im Web sichten. Nach eingehender Online-Recherche, den ersten Gesprächen mit verschiedenen Anbietern sowie der Lektüre von Fachartikeln hält Max Z. fest:

Am Markt für Monitoring-Systeme tummeln sich so einige Hersteller und die Art der angebotenen Lösungen und Funktionsumfänge ist vielfältig. Vom Grunde her lässt sich sagen, dass sie für gewöhnlich aus einem hardware-, software- oder webbasierten Verwaltungssystem und Mess- beziehungsweise Sensormodulen bestehen, die entweder als eigenständige Einheiten oder etwa in PDU-Stromleisten integriert ihre Messtätigkeit ausführen. Je nach Anforderung und Wahl der Lösung lässt sich so eine punktuelle oder weitgreifende Monitoring-Struktur auf Raum-, Gebäude- oder Standortebene errichten. Bei vielen der am Markt befindlichen Lösungen sind die einzelnen Sensor- und Messmodule über eine Kupferkabelstrecke im Daisy Chain-Verfahren miteinander verbunden. Diese kommen besonders dort zum Einsatz, wo lokal eine überschaubare Anzahl an Monitoring-Modulen installiert werden soll. Zur Erfassung und Kontrolle von Strom- und Umgebungsparametern direkt im Rack werden Bussysteme angeboten. Die entsprechenden Messsensoren werden an eine jeweils im Schrank vorhandene Busschnittstelle angebunden und deren Signale dann quasi von Rack zu Rack bis zu einer zentralen Verwaltungseinheit durchgeschleift. Eine Besonderheit stellen funkbasierte Überwachungssysteme dar. Zwischen den einzelnen Funkmessmodulen besteht keine physische Verbindung, sondern diese kommunizieren per Funk miteinander und bilden ein vermaschtes Netzwerk. Als Datensammel- und Verteilungsinstanz dient zum Beispiel bei einer Lösung namens Packet Power, die über den Rechenzentrumsoptimierer Daxten zu beziehen ist, ein spezielles Gateway. Unter Nutzung eines dynamischen Funknetzwerks empfängt es die Daten von den Messmodulen und leitet diese per SNMP oder Modbus TCP/IP an eine systemeigene Management-Schnittstelle oder an eine beliebige BMS- oder DCIM-Anwendung weiter. Über die eben genannten Kommunikationspfade sowie über BACnet und weitere Protokolle kommunizieren auch die meisten der fest verdrahteten und Bus-Lösungen mit einem Datacenter- oder Gebäude-Management-System. Bevor aber die Daten fließen und analysiert werden können, ist Installationsarbeit angesagt.

Unterschiede bei der Inbetriebnahme und Einrichtung

Bei den kabelbasierten Systemen wird die „Gänseblümchenkette“ zunächst per Hand aufgefädelt, indem die einzelnen Sensormodule im oder am Rack über entsprechende Montagekits befestigt und schließlich Modul mit Modul per Kabelstrecke miteinander sowie am Anfang und Ende mit der zentralen Systemverwaltungseinheit verbunden wird. Sehr einfache Systeme bieten nur eine proprietäre Verwaltungsschnittstelle, über die für die Messmodule händisch eigene Kennungen und Zugriffsberechtigungen zu konfigurieren sind. Anspruchsvollere verkabelte Lösungen sowie auch die busbasierten Systeme gestatten es, die Module via TCP/IP zu adressieren und bieten auch die Möglichkeit, Zugriffsrechte per vorhandener Nutzerdatenbanken automatisch zuzuweisen. Besonders elegant scheinen sich Funksysteme implementieren zu lassen. Bei der eben erwähnten Packet Power-Lösung sollen die Funkmessmodule sich nach dem Einschalten automatisch selbst konfigurieren, in ein dediziertes Funknetzwerk einbuchen und eigenständig ihre Messtätigkeit aufnehmen. Das Funknetzwerk wird durch die vorhandenen Messmodule und Gateways gebildet. Alle Systemmodule im Funknetzwerk werden über ein zentrales Management-Tool erkannt, mit einer Kennung versehen und verwaltet. Nutzer- und Zugriffsrechte lassen sich individuell festlegen.

Verdrahten, verkabeln und funken

Vom Arbeits- und Zeitaufwand her macht es bei den kabelbasierten Lösungen einen großen Unterschied, ob Sensoren für Umgebungswerte oder Messmodule für Stromparameter installiert werden sollen. Konkret für die Rechenzentrumsumgebung von Max Z. bedeutet dies: Während die Umgebungssensoren für Temperatur, Druck und Feuchte relativ einfach an den Fronten der eingehausten Racks sowie and den Rückseiten der Racks zu platzieren oder per Halter zu montieren sind, muss bei den Strommessmodulen entweder eine Kabelverbindung zu geeigneten PDU-Stromleisten in den Racks hergestellt oder eine Messeinheit nachträglich in die Stromleisten integriert werden. Bei der individuellen Überwachung von produktiver Hardware, wie es in Max‘ Lastenheft steht, muss die Hardware entweder für ein Strom-Monitoring vorbereitet sein, was nur bei sehr wenigen Geräten im Bestand der Fall ist, oder es sind Energiezähler von Drittanbietern einzusetzen. Zur Abnahme der Stromwerte an den Stromschienen bei der räumlichen Verteilung sind Messmodule in die Abgangskästen und den Einspeisungen nachzurüsten, fest zu verdrahten und per Kommunikationskabel entlang der Schienen zu der zentralen Verwaltungseinheit zu führen. Ähnlich verhält es ich bei den Schaltschränken und Schalttafeln, die mit in das Stromüberwachungssystem eingebunden werden sollen. Hier sind die Kabelbäume mit den Stromwandlern auf den Leitern aufzusetzen und die entsprechende Datenkabel zu ziehen. Beides erfordert natürlich eine fachkundige Hand, längere geplante Downtime und das vorübergehende Risiko, den redundanten Stromversorgungspfad für die Dauer der Installationen nicht verfügbar zu haben.

Zeitsparender und mit weniger Verkabelungsaufwand lässt sich die Implementierung der funkgestützten Monitoring-Module vornehmen. Zum einen entfallen auf allen Verteilungsebenen die Verkabelungen zur Datenkommunikation, da diese ja per Funknetzwerk erfolgt. Zum anderen sind bei der Packet Power-Lösung vorkonfektionierte Stromkabel erhältlich, bei denen ein Funkmessmodul direkt schon integriert ist. Diese ersetzen dann die vorhandenen Netzkabel, mit denen Server, Netzwerkswitche und PDU-Stromleisten von Haus aus ausgestattet sind. Die Funkmessvorrichtungen können auch als vorkonfektionierte Kits in Einspeisekästen und Verteiler für ein- oder dreiphasigen Strom von zehn bis 2000 Ampere integriert werden. Die Erfassung der Stromwerte, wie etwa Volt, Ampere, Watt, Stromverbrauch, Frequenz, Leistungsfaktor, Scheinleistung oder Verbrauchsspitzen, lässt sich von der räumlichen Verteilungsebene über die Schienen bis auf jedes Rack sowie auf einzelne Geräte herunterbrechen.

Systemverwaltung und Optimierungsleitstand

Schön, denkt sich Max Z., jetzt sind wir also im Bilde, was wir bei der Implementierung auf uns zukommt. Jetzt wollen wir natürlich wissen, wie wir im Alltag mit den Systemen und Messdaten arbeiten können und wie uns das auf den Bildschirmen dargeboten wird. Ganz gleich ob Monitoring per Kabel, Bus oder Funk, alle Messdaten zu Strom und Umgebung werden in der Regel über Gateways oder zentrale Verwaltungseinheiten geroutet und in erster Instanz über ein systemeigenes, zumeist webbasiertes Verwaltungstool zur Verfügung gestellt. Hersteller- und systemabhängig erfolgt hier eine Aufbereitung der Daten, die entweder über tabellarische Ansichten, Dashboards oder über 3D-Ansichten erfolgen kann. Max Z. und seine Kollegen haben so Ist- und Trendreports zur Stromnutzung auf Gebäude-, Raum-, Rack- oder Geräteebene und zu Umgebungsparametern für jeden Raum, pro Rackreihe, Rack oder auch für die unterschiedlichen Ebenen und Höhenlagen in den einzelnen Schränken stets im Blick. Zudem lassen sich Verbrauchswerte für unternehmenskritische IT-Geräte, die Auslastung von Verteilungen und einzelnen Abgängen sowie Temperatur-, Druck- und Feuchtewerte an den Racks, Stromkosten und CO2-Emissionen ablesen. Wichtig ist auch, dass die jeweils genutzte Verwaltungsplattform die Vordefinierung von Schwellenwerten für kritische Strom- und Umgebungswerte bietet, so dass bei deren Überschreitung automatische Warnmeldungen per SNMP oder E-Mail ausgelöst werden. Bieten die Verwaltungstools der Monitoring-Lösungen, wie von Max Z. gewünscht, eine Integration in eine vorhandene DCIM-Lösung, stehen erweiterte Funktionen für die Nutzer- und Geräteverwaltung, Reporting-Features, zur Datenanalyse sowie zum Troubleshooting und für Optimierungsaktionen zur Verfügung.

Erweiterungen und Systempflege

Während sehr einfache Monitoring-Lösungen, die im Daisy-Chaining-Verfahren aufgesetzt werden, oftmals im Hinblick auf die Zahl der einzubindenden Messmodule sowie auf die damit zu überbrückende Gesamtstrecke eingeschränkt sind, entfallen in der Regel bei den performanteren Kupferkabel- IP-, Bus- und Funk-Systemen diese Limitierungen. Bei den physisch verbundenen Systemen können einzelne oder auch kombinierte Messmodule und Sensoren solange hinzugefügt werden, bis die in der Regel und abhängig vom Hersteller gebotenen 8, 16, oder 32 Anschlussports der zentralen Steuereinheit vollständig belegt sind. Theoretisch ohne Begrenzung sind die Lösungen über das Hinzufügen von neuen Steuereinheiten und Messmodulen skalierbar. Das Pendant zur zentralen Steuereinheit bildet bei den Funk-Systemen das Gateway, das je nach Ausführung die Daten von bis zu 30 oder 150 Funkmessmodulen erfasst und transferiert. Entsprechend kann durch das Hinzufügen zusätzlicher Gateway-Instanzen die Zahl der Monitoring-Module beliebig erweitert werden. Jede Gateway-Instanz benötigt nur zwei IP-Adressen, während bei den physisch verbundenen Systemen sehr oft eine IP-Adresse pro einzelnem Messmodul verwaltet werden muss. Offen zeigen sich die Funk-Systeme über einen optional erhältlichen Hub auch für die Integration von schon im Einsatz befindlichen Messmodulen von Drittanbietern, sofern diese über SNMP oder Modbus TCP kommunizieren. Die Aktualisierung und Systempflege der kabelbasierten und Bus-Lösungen erfolgt zumeist über die zentralen Steuereinheiten per Web oder Speichermedien. Beim Funksystem können die Upgrades bei allen Systemmodulen automatisch naturgemäß via Funk oder per Web über das Management-Tool eingespielt werden. 

Ausfallschutz und Datensicherheit

So wie die gesamte Rechenzentrumsumgebung, in der Max Z. arbeitet, redundant ausgelegt ist, besteht der Anspruch, dass der Betrieb des Monitoring-Systems ebenfalls ausreichend sicher vor Netzwerkstörungen oder Stromversorgungsunterbrechungen geschützt sein soll. Bei den leistungsstärkeren Kabel- und Bussystemen sind für gewöhnlich die zentralen Steuereinheiten mit einer redundanten Stromversorgung ausgestattet. Die erfassten Messdaten werden mit einem Zeitstempel versehen, protokolliert und entweder lokal, auf mehrere Speichermedien verteilt oder – falls zulässig – in einer gesicherten Cloud gespeichert. Ähnlich vollzieht sich die Sicherung der Daten bei einer funkgestützten Lösung, und der Ausfallschutz wird wie folgt hergestellt: Zusätzlich zu einer primären Gateway-Instanz lassen sich eine oder mehrere Backup-Gateways einrichten, die über einen anderen Stromversorgungspfad als das primäre Gateway-System versorgt werden. Die Gateways synchronisieren ihre Daten zyklisch in sehr kurzen zeitlichen Abständen miteinander. Sollte ein Gateway wegen einer Störung des Stromversorgungspfads oder Netzwerks ausfallen, bleiben alle Messdaten über die Backup-Instanzen erhalten. Lokal erhobene Daten an den Funkmessmodulen sind über eine Keep-Alive-Funktion im Falle einer Stromunterbrechung geschützt. Der Transfer der Messdaten kann beim Funksystem genauso wie bei physisch verbundenen Lösungen verschlüsselt erfolgen. Erwähnenswert ist hier noch, dass bei dem Packet Power-System das genutzte dynamische Funkfrequenzband (kein ZigBee oder WLAN) laut Hersteller über eine hohe Störfestigkeit verfügt und es zu keinen Interferenzen mit anderen Geräten im Rechenzentrum kommt.

Das Fazit vom Administrator Max Z.

Wie gezeigt gibt es viele Lösungen am Markt, die in Ansätzen, zu großen Teilen oder auch vollständig den eingangs in unserem Lastenheft formulierten Ansprüchen gerecht werden können. Gerade die performanteren Systeme überzeugen mit gut zu bewältigenden Installationen sowie vertretbaren Einrichtungsprozessen und sind nach angemessenem Arbeits- und Zeitaufwand startklar. Sie können uns das geben, was wir wollen und brauchen, nämlich valide Auskünfte über die Lastverteilung im Rechenzentrum und ob sich der Stromverbrauch und die Umgebungsbedingungen im grünen Bereich befinden. An den Schwellen zu den roten Bereichen erhalten wir Warnungen, etwa bei Unregelmäßigkeiten oder Überlastungen bei der Versorgung und Leistungsverdichtungen sowie bei ungünstigen Temperaturentwicklungen und weiteren kritischen Umgebungsbedingungen. Zu mehr Energieeffizienz können sie uns verhelfen, indem sie aufzeigen, über welchen Stromversorgungspfad und in welchen Racks Leistungsreserven vorhanden sind und wo ein optimales Wohlfühlklima herrscht, um weitere Hardware zu installieren. Zudem scheinen sie dazu imstande zu sein, für jede effizienzsteigernde Maßnahme, die wir ergreifen, konkret und auch mittelbar die Einsparungen an Energie und CO2 zu beziffern sowie entsprechende Kennwerte für Evaluierungen zu liefern – und das alles gefällt mir schon einmal ziemlich gut.

Persönlich finde ich ja auch eine funkgestützte Monitoring-Lösung aus drei Gründen ziemlich sexy: Erstens, weil sie offenbar das von uns geforderte Leistungsspektrum komplett abdecken kann. Zweitens könnte sie uns einiges an Arbeit und Mühen durch die einfache und kabelfreie Installation sowie die automatisch ausgeführte Selbstkonfiguration ihrer Messmodule ersparen. Und drittens gefällt mir, dass sie sinnvolle Funktionen für die Datensicherung und den Ausfallschutz sowie viele Leistungsreserven und Ausbauoptionen für künftige Erweiterungen bietet.

Um noch tiefer in diese Thematik einzutauchen und Informationen zu weiteren Best Practices zur Rechenzentrumsoptimierung zu erhalten, nehmen Sie doch bitte einfach über info.de@daxten.com oder +49 (0)30-8595 37-0 Kontakt zu uns auf.