"Der Think-Tank Leitmotiv hat die Information, die von Rechenzentrumsbetreibern in den Niederlanden im Rahmen der EED gemeldet wurden, erstmalig ausgewertet. Nach diesen Informationen, sind die gemeldeten Rechenzentrumsflächen nur zu einem Drittel mit IT gefüllt, zwei Drittel der verfügbaren elektrischen Anschlussleistung ist ungenutzt."
"Warum werden in Europa dennoch riesige neue Projekte für neue Rechenzentrumskapazität geplant?"
@thomasfricke der im Foto sichtbare Raum ist als modernes RZ nicht nutzbar und kann auch nicht dazu umgebaut werden. . Das erklärt eventuell auch die Leerstände bei gleichzeitiger ungedeckter Nachfrage
@thomasfricke Das ändert kaum was am Angebot im Markt, PUE 2, unzureichende Raumhöhe, Doppelboden mit Lastbegrenzung statt Beton und Kabelführung von oben, fehlende Trennung von Kaltgang und Warmgang und maximal 7 kW pro Rack (manchmal 10 kW) sowie kein Wasser im Rack zu bekommen.
Damit kann man einen Computerraum im Büro bestücken aber kein 2026er RZ am Markt.
Wer Anforderungen hat die mit sowas laufen ist bereits bei AWS.
Guck, hier im Bild ist ein Rechenzentrum von Global Switch, Henk Sneevlietweg 2, Amsterdam.
Das war mal eine IBM Selectric Schreibmaschinenfabrik in den 1960er Jahren und ist dann in ein RZ umgebaut worden. Es ist relativ typisch für Facilities, die Platz haben und die am Markt leicht zu kriegen sind.
Microsoft Azure war da mal drin, und auch Booking für eine Zeit lang. Wenn man da rein kommt, dann findet man Data Halls, die nicht klimatisch und elektrisch getrennt sind. Versucht man Failure Domains zu isolieren, um zu verstehen, welcher Fehler was weg reißt, dann stellt man fest, daß ein Fehler im Strom einem die Räume 3, 4 und 5 weg reißt, aber 2 und 3 klimatisch zusammen hängen und 5 und 1 auch.
Oder ähnlich – jedenfalls ist eine DR Planung von redundanten und unabhängigen Räumen innerhalb des einen Gebäudes aus bauhistorischen Gründen nicht machbar. Eine alte Schreibmaschinenfabrik ist kein modulares RZ.
Wir haben Doppelboden mit lachhaften Load-Limits. Wenn man fertig bestückte Racks rein rollen will mit 4x Dell oder HPE Blade Center drin, dann geht das nicht. Delivery Unit ist maximal ein einzelnes Bladecenter, das dann manuell bestückt und verkabelt werden muß.
Wenn Du da eine Delivery nimmst, brauchst Du eine komplette leere Data Hall als Staging zum Auspacken und Entmüllen, es ist komplett lächerlich.
Die Verkabelung muß dann manuell erfolgen und ist sehr fehlerbehaftet, weil sie vor Ort gemacht wird. Auch wenn man sich mit maßgeschneiderten und farbcodierten Kabeln behilft ist das notlos 3 Tage Arbeit statt 15 Minuten Rack in Position klicken.
Und Du hast dann Data Center Hands für 45 Euro die Stunde, die 2/3 der Zeit mit dem Handhaben von Verpackungsmüll beschäftigt sind, statt die Rechner zu betüddeln.
Die Delivery kommt vom Laster – mehr paßt in diesen nicht rein, aus Gewichtsgründen.
Und trifft dann von der Laderampe auf eine 1 Meter hohe Schwelle zum Basis-Boden des RZ, die von einem Lift mit Schneckengetriebe überwunden wird. Ein Bladecenter 1m anzuheben dauert eine Minute, und ist für die gesamte Delivery hier die Drum gewesen, also das bestimmende Taktelement, das den Durchsatz für die Delivery bestimmt hat.
Das ist keine ungewöhnliche Konfiguration für ein umgebautes Gebäude, ich habe das in verschiedenen RZ'en gesehen, als Folge der Umrüstung (Einbau Doppelboden).
Das ist Data 4 Marcoussis, eine moderne Facility mit mehreren modernen Data Halls. Es sind Neubauten, geeignet für OCP, also Betonboden mit faktisch unbeschränkter Kapazität, ordentlich Power, Räumen mit freier Kühlung und inzwischen auch mit Räumen mit Wasserkühlung.
Auch hier war Azure drin (eine ganze Halle), Facebook und eine neu gebaute Halle war noch nicht designiert, sodaß wir uns da mal OCP in freier Wildbahn angesehen haben.
OCP hat Rechner ohne Frontblenden mit quadratischem Querschnitt für besseren Airflow, bis zu 35ºC Air-In, alle Anschlüsse auf der Frontseite, und Stromzuführung mit Bus-Bars auf der Rückseite zum Einklicken. Das sind Designs, die bis zu 50% mehr Effizienz haben als ein normales Bladecenter, aber sie brauchen Raum und Rack als System, das aufeinander abgestimmt ist, sonst sind die Vorteile nicht zu realisieren.
In einer Global Switch Facility sind diese Designs ein Fehlschlag.
OCP Data Center mit dekommissionierter Facebook Technik 1. Generation.
Das ist alles freigekühlt, Luft und ohne GPU, also reine CPU und Plattensetups.
Freiliegende Busbars (DC 12V, DC 48V) mit Snap in für die Computes, zentrale per-Rack Netzteile. Weil weniger als 50V ist nur funktionale Isolation notwendig.
Plattenserver, der kleine Teil vorn ist der Server, der Rest ist Plattentray.
Zwei Ex-Facebook-Racks, Vorderseite, nicht voll bestückt. Man sieht die jeweils zentralen Netzteile – weil 1. Generation noch mehrere pro Rack und 12V DC statt eines in der Mitte und 48V DC. Über den Netzteilen dann die Computes.
Betonboden, auf dem man voll beladene Racks ohne Probleme rum rollen kann.
Racks werden voll bestückt beim Hersteller (zB QCT in Aachen) und dann per Laster mit zwei Tacticals als Sicherheitseskorte angeliefert), vom Laster gerollt und sind dann binnen 15 Minuten betriebsbereit.
Das sind dann gerne mal 14 kW oder 21 kW Aircooled.
Heute ist alles mit GPU und daher > 100 kW per Rack, und alles mit Wasser im Rack.
Web.de 2005: 50x DL360 sind 50 Cores, 50 GBit/s Nets und das sind dann bummelig 2 Rack (eines und ein bischen, um genau zu sein, wenn man nicht thermische und elektrische Constraints hat).
Aber in 2015 bei Syseleven.de sind 2 Höheneinheiten dann 48 Cores, und 2x 10 GBit/s oder 2x 25 GBit/s Netz. Man hat also 2 Racks auf 2 HU komprimiert.
In 2025 ist das dann eine halbe Blade (100 Cores, und 100 GBIt/s Netz pro Blade).
Schon ohne GPU haben wir eine enorme Steigerung der Density als Folge der Steigerung der Transistoranzahl pro Chip, von > 40 nm Strukturen auf 2-3 nm Strukturen und neu, 3D Strukturen auf dem Chip statt flächig zu arbeiten.
Und wir haben das Problem nicht zu wissen, was wir mit so viel Transistoren machen sollen:
Schon eine 2015er Karre ist durch eine Java oder PHP-Anwendung nicht zu nutzen, wir MÜSSEN also zwingend virtualisieren oder containern.
Mit GPU wird das alles noch schlimmer mit der Density: Wir gehen von 10 kW pro Rack auf > 100 kW pro Rack und spätestens ab 14-21 kW muß dann Wasser sind Rack.
Das ist alles binnen 20 Jahren passiert.
60 Jahre alte Gebäude von 1960 sollen jetzt also solche Hardware beherbergen.
Das geht nicht.
Die meisten RZ am Markt stehen groß leer, weil sie für Hyperscaler-Hardware ungeeignet sind, der Betrieb konventioneller Hardware in ihnen nicht kosteneffektiv am Markt machbar ist, und der PUE und die Zuverlässigkeit Dreck sind.
Die Erkenntnisse des Eingangsartikels erscheinen mir logisch und zwingend, der Root Cause wird aber nicht offengelegt.
Diese bestehenden Facilities sind für zeitgemäße, zuverlässige und energieeffiziente Designs nicht geeignet und Umbau ist teurer als Neubau.
Leute, ihr solltet nicht Eure Erfahrungen mit Büro-Consumerhardware oder RZ-Hardware von 2005 oder 2015 auf aktuelle Designs anwenden, denn das funktioniert nicht.
RZ-Betrieb und Anforderungen haben sich in den letzten 10 Jahren radikal gewandelt, und DAS IST GENAU DER GRUND FÜR DIE LEERSTÄNDE bei gleichzeitig Knappheit am Markt.
Und ich meine nicht nur technische Anforderungen auf Grund der Technik, die da rein gestellt wird. Die Global Switch Ex-IBM Selectric-Schreibmaschinenfabrik hat einen PUE, der nach EU-Recht bald unzulässig ist und nicht mehr betrieben werden darf.
@isotopp Wir bekommen hier um die Ecke anscheinend ein neues DC, weil sich alte Anlagen nicht mehr rentieren und SH im Vergleich direkten Zugang zu vielen MW Strom hat.
Man rechnet mit einer Verdoppelung des gesamten Stromverbrauchs für ganz Schleswig-Holstein
Und wenn ich mir ansehen, wie groß bzw klein das DC werden soll... dann wird auch klar, warum die alten Räumlichkeiten nicht mehr aufgerüstet werden. Da stellste dann tatsächlich lieber was Neues hin und bittest Tennet das dazugehörige Umspannwerk ein bisschen aufzupeppen.
Alleine die Umrüstung auf Wasser etc steht ja in keinem Verhältnis. Ich habe mein letztes DC bei meinem Job im NOC für einen ISP um 2003 herum gesehen. Da wurde nur mit Luft gekühlt und ein "kleiner Raum", der zum MiniDC umfunktioniert wurde... da standen die Schränke teils quer. 🫣
2003 war halt Kaltgang/Warmgang noch brandneu – web.de hat das in deren 4. Zelle erstmal so deployed und so bis zu 21 kW luftgekühlt im Rack geschafft.
Die meisten Facilities zu der Zeit hatten keinen geordneten Airflow.
Eine Facility von Booking in Slough in 2009 hatte freistehende Racks, keine Luftrichtung (Racks standen quer) und erlaubte 5 kW bis 7 kW pro Rack. Da stellst Du dann ein HPE C7000 Enclosure rein und hast fertig wenn das Rack kniehoch voll ist.
@thomasfricke Meines Wissens hängt genau davon die letztendliche Genehmigung ab. Es ist ein fortgeschrittener Plan aber noch nicht vollends durchgewunken
@nocci@thomasfricke@isotopp@algorithmwatch@indra_jungblut ...und nachdem die ersten Subventionen geflossen sind, wird nachverhandelt: "...wäre doch schade, wenn die schöne Investition nun vergeudet wäre...könndn wir bitte nochmal über unsere Zusage reden?"
