Ökad användning av artificiell intelligens och andra energikrävande arbetsbelastningar, tillsammans med lagkrav på minskad energiförbrukning, driver en långsam men stadig övergång till vätskekylning i datacenter.
I dag använder 22 procent av datacentren vätskekylning, enligt IDC-analytikern Sean Graham. Ett decennium av tillväxt förväntas: Den globala marknaden för vätskekylning av datacenter uppskattades till 2 miljarder dollar 2022 och förväntas växa med en genomsnittlig årlig tillväxttakt på 15 procent mellan 2023 och 2032, enligt Global Market Insights.
Anledningarna till det ökade intresset är bland annat följande:
- Datacenter är energislukare: Enligt International Energy Agency (IEA) förväntas datacenters elförbrukning i USA öka från cirka 200 TWh år 2022, vilket motsvarar cirka 4 procent av landets elförbrukning, till nästan 260 TWh år 2026, då den kommer att stå för 6 procent av den totala elförbrukningen.
- Kylning står för en betydande del av energianvändningen: Enligt IEA står kylbehovet för 40 procent av elförbrukningen i ett datacenter.
- It står för en större del av förbrukningen: Enligt Uptime Institute är 33 procent av ägarna och operatörerna av datacenter mycket angelägna om att förbättra energieffektiviteten för anläggningsutrustningen – mer än någon annan fråga. Eftersom hållbarhet blir en allt viktigare fråga kommer andelen företag som implementerar ett hållbarhetsprogram för datacenterinfrastruktur att öka från cirka 5 procent 2022 till 75 procent 2027, förutspår Gartner.
- Serverrackens densitet har ökat: Även om ett typiskt serverrack är på mellan 4 och 10 kilowatt kan densiteten i högpresterande miljöer vara så hög som 20 till 30 kilowatt, enligt McKinsey. Densiteten är också viktig för edge computing, där utrymmet är begränsat.
Gränser för luftkylning
Luftkylning börjar nå sina gränser när man kommer över 20 kilowatt per rack. Typiska luftkylningssystem ligger på 15 till 20 kilowatt, och radbaserad kylning med containment går upp till 30 kilowatt. Vätskekylning stöder rackdensiteter på 20 kilowatt och uppåt, enligt IDC:s Graham.
Cirka 25 procent av alla datacenter hade rack på 20 kilowatt eller mer år 2022 – och 5 procent hade rack med en densitet på över 50 kilowatt, enligt Uptime Institute. Och ju större datacentret är, desto mer sannolikt är det att rackens effekt ökar.
Vissa datacenteroperatörer kan inte använda täta rack eftersom de inte kan kyla dem med luft, säger Zachary Smith, styrelseledamot i Sustainable and Scalable Infrastructure Association och tidigare global chef för edge-infrastrukturtjänster på Equinix. Istället skulle de fördela samma arbetsbelastning över flera rack, säger han.
I takt med att AI-arbetsbelastningarna ökar skapar detta verkliga problem. I synnerhet generativ AI har utvecklats extremt snabbt och medfört snabba förändringar i branschen.
– Och datacenter är byggda som infrastruktur som håller i årtionden, säger Smith.
– Så du har en missmatchning. Cyklerna för datacenterindustrin kontra databehandlingssidan är inte synkroniserade.
En annan utmaning som AI skapar är att AI-arbetsbelastningar kräver snabb förflyttning av mycket data, vilket leder till försök att konsolidera datorkraften.
– Datacentren måste därför bli mer kompakta, säger Smith.
Hybridkylning kommer sannolikt att dominera
Att byta ut ett helt datacenter är naturligtvis mycket kostsamt – och oftast onödigt. Det finns fortfarande många arbetsbelastningar som klarar sig utmärkt med luftkylning. Därför kommer de flesta datacenter som använder vätskekylning inom en snar framtid förmodligen att göra det på ett hybridiserat sätt.
Detta gäller särskilt för anläggningar med flera hyresgäster, säger Smith.
– Även om du skulle bygga ett helt nytt datacenter i dag, om du befinner dig i en miljö med flera hyresgäster som Equinix och Digital Realty, kan du inte diktera vad dina kunder ska ta in. Så du måste verkligen förbereda dig för en mångfald av densiteter och tekniker.
Datacenter med en hyresgäst, till exempel de som drivs av hyperscalers eller stora företag, kan diktera sin egen infrastruktur, säger han.
Men datacenter har vanligtvis lång livslängd. Företagen vill inte riva ut dyr utrustning innan den har nått slutet av sin livscykel. Det innebär att de flesta datacenteroperatörer kommer att ha en praktisk inställning till vätskekylning, snarare än en puristisk, säger Smith.
I dag kyls de flesta datacenter med luft, en hierarki av fläktar som flyttar luft över enskilda chipp, runt servrar och, så småningom, ut ur hela byggnaden. Det är ett högljutt, kostsamt och ineffektivt system. Vätskor kan överföra värme mer effektivt än luft, säger Smith.
– Det är därför du har en kylare i din bil med någon form av vätska för att flytta värme. Det är mer effektivt.
Vätskekylning i bakdörren
Det finns flera sätt att komplettera ett befintligt luftkylt datacenter med vätskekylning. Ett av de enklaste sätten är att installera värmeväxlare på baksidan av enskilda serverrack. En kondensorenhet på baksidan av racken levererar den kalla vätskan och avlägsnar den varma vätskan.
– Det ersätter dörren på baksidan. Du rör inte servrarna, säger Smith.
En mer avancerad version kan ersätta kylaggregatet för en hel bur eller rad med serverrack.
– Då kan man leda vätska till alla rack, säger han.
– Detta kräver inte att hela byggnaden uppgraderas, bara ett rack eller en bur. En hyresgäst kan vara vätskekyld med värmeväxlare i bakdörren, och nästa hyresgäst kan vara helt luftkyld.
Detta tillvägagångssätt skapar minst störningar för it-miljön, säger han.
Enligt IDC:s Graham kan värmeväxlare med bakdörrar hantera rackdensiteter på 20 till 80 kilowatt per rack.
– Värmeväxlare med bakdörr är utmärkta produkter för eftermontering av befintliga datacenter för arbetsbelastningar med hög densitet, säger han.
Det här är den teknik för vätskekylning som Graham ser oftast, och den största utmaningen är den extra rördragning som krävs.
– Det är den perfekta lösningen för att kyla datacenterrack utan att göra några ändringar av servrarna. Det är det som gör den så tilltalande för dem som implementerar rack med hög densitet. Det krävs visserligen nya rörledningar, men sett till den relativa arbetsinsatsen är det den väg som ger minst motstånd.
Vätskekylning direkt till chippet
Direkt-till-chippet-kylsystem är ännu mer effektiva, enligt Graham, och kan hantera rackdensiteter från 50 till 100 kilowatt.
Denna metod för vätskekylning för vätskan hela vägen in i den enskilda servern, men den kräver ändringar i datorhårdvaran och är komplicerad att installera och underhålla.
– Man tar bort kylflänsen och sätter en platta på den, och plattan matas av en vätskemekanism, säger Smith.
Vätskan kan förbli en vätska, eller så kan den omvandlas till ånga. Det senare kallas för ett tvåfassystem.
Olika vätskor har olika kokpunkter, säger Smith. I ett enfassystem pumpas vätskan genom en slinga för att avlägsna värmen från servrarna. I ett tvåfassystem rör sig vätskan av sig själv.
– Gas rör sig snabbare än vätska, vilket skapar ett självreglerande tryck, säger Smith.
– Om du har en läcka kommer den inte att flöda åt andra hållet, och den förbrukar mindre energi eftersom du inte behöver köra pumpar.
Och den heta ångan kan användas dubbelt för att generera energi, för uppvärmning eller för andra ändamål i byggnaden, säger han.
Kylning genom nedsänkning
En annan metod för vätskekylning är nedsänkningskylning.
– Då tar man datorn och sänker ned den i ett kärl med vätska, en icke-ledande vätska som olja, säger Smith.
– Det ser ut som en fritös. Man lägger en server i en fritös.
De specifika vätskor som används är sådana som leder värme men inte är brandfarliga, tillägger han.
– Det här blev populärt med kryptogrävare. Men det är väldigt tungt – många datacenter är inte avsedda att hantera så mycket vikt.
Det finns också ett problem med vad man ska göra om det uppstår en läcka, säger han.
– Och hur kopplar man in nätverkskabeln? Och var ska strömbrytaren sitta? Alla möjliga andra saker gör det till en nischtillämpning just nu.
Det finns många möjligheter för tillverkarna att tänka om när det gäller formfaktorn för helt nedsänkta enheter.
– Kanske kan de se ut som Nintendo-kassetter som är inkapslade i vätska, men man ser aldrig vätskan, säger Smith.
– Det finns nya formfaktorutformningar som är helt nedsänkta utan oljefat som sitter runt omkring.
Enligt IDC:s Graham är nedsänkt kylning den mest effektiva av de tre metoderna, och klarar av densiteter från 50 till 250 kilowatt per rack.
För helt nya, helt vätskekylda datacenter kan all infrastruktur för luftkylning elimineras, vilket sparar utrymme och pengar, säger Joe Capes, vd på Liquid Stack, en leverantör av vätskekylning. I en hybridlösning kan kylsystemen användas i en ny zon med hög densitet eller i en moduluppbyggnad, säger han. Fördelen är tre gånger så hög beräkningsdensitet på samma utrymme.
Maxim Serezhin, grundare och vd på Standard Power, ett colocation-företag, säger att vätskekylning nu är en viktig differentieringsfaktor på marknaden för hans företag. Standard Power använder teknik från Liquid Stack, säger han, för både immersion och direkt-till-chippet-kylning.
Bland de kunder som använder vätskekylning finns de som arbetar med AI, high-performance computing, krypto och andra dataintensiva arbetsbelastningar, säger han.
– Vi hjälper dem att välja den vätskekylningsteknik som bäst passar deras behov.
Hinder för införande
Det finns fortfarande några betydande hinder för införandet av vätskekylning, där bristen på standarder är ett av de främsta, utöver oro för säkerheten och brist på utbildning.
– Det finns många möjligheter här för standarder, och det är vad vi arbetar med på Sustainable and Scalable Infrastructure Association, säger Smith.
Till exempel kan en viss kemikalie vara tillåten för kylning av datacenter i USA, men inte i Tyskland. Och olika leverantörer kan ha kopplingar i olika storlekar och med olika mekanismer.
– Alla kan sätta in vad de vill i datacenter, säger Smith.
– Det finns inga standarder för form, storlek, formfaktor eller var kablarna ska placeras. Det finns ingen standard som servertillverkarna kan ansluta sig till på ett effektivt sätt.
Samma sak gäller för vätskekylning, säger han.
– Är den på vänster eller höger sida? Går den att fästa eller skruva fast?
Istället finns det flera inkompatibla leverantörslösningar, säger han. Branschen behöver en gemensam uppsättning standarder för att påskynda utbyggnaden av vätskekylning.
Det är inte det enda hindret. Ett annat är bristen på utbildad datacenterpersonal som kan hantera tekniken.
– Ur ett datacenteroperatörsperspektiv är den stora frågan inte ”Har vi stöd för vätskekylning?” utan ”Är vi bekväma med den operativa sidan?”, säger Smith.
– Hur ser regelverket ut där du befinner dig? Hur kommunicerar ni med kunderna om vilka typer av vätskor ni tillåter? Vad händer om den går sönder – är det din SLA eller deras SLA?
En annan fråga är det fysiska utrymmet, säger Holger Mueller, analytiker på Constellation Research.
– Traditionellt sett har man rader med servrar som står öppna på framsidan, och alla viktiga saker finns på baksidan, där man kan installera infrastruktur och kyla, säger han.
– Men utrymmet där var inte anpassat för att sätta in ytterligare ett kylsystem.
Under havsytan
Vissa företag har experimenterat med full nedsänkning. Bokstavligen full nedsänkning – i havet. Eftersom mer än hälften av världens befolkning bor inom 120 mil från en kust kan det potentiellt revolutionera branschen att placera datacenter under vatten.
År 2018 sänkte Microsoft ett helt datacenter 117 meter ner i havet utanför Skottlands kust. Två år senare drog Microsoft upp datacentret igen och upptäckte att servrarna under vattnet var åtta gånger mer tillförlitliga än de på land, möjligen på grund av att atmosfären i datacentret var fylld med kväve snarare än luft och det inte fanns några människor där som kunde stöta till saker och rubba komponenter.
Sedan dess har det dock inte kommit några ytterligare nyheter från Microsoft i ämnet, möjligen på grund av de logistiska utmaningarna med att placera ett datacenter under vatten.
Andra företag, däribland Subsea Cloud och det kinesiska företaget Highlander, har också gett sig in i leken. Subsea planerade att ha sina första kommersiella datacenter igång i slutet av 2022, men i oktober i år hade man fortfarande inte sänkt ner några rack.
Highlander öppnade däremot sitt första kommersiella undervattensdatacenter på Hainan i slutet av 2022, med China Telecom som en av sina första kunder.
Problemet med datacenter under vatten, säger Smith, är att människor måste kunna ta sig in i dem för att byta ut utrustning.
– Så det har inte varit så populärt. Oavsett om datacentret ligger under havet eller uppe i rymden – eller till och med bara i Wisconsin – har vi som bransch inte några bra mekanismer för att effektivt installera och ta bort utrustning.
