Storage

Ik ben in de voorbije jaren ongeveer primair verantwoordelijk geweest voor de storage van de Universiteit Twente. Ik kan wel zeggen dat het een uitdagende klus is geweest. Vooral centrale storage is cruciaal voor een organisatie. Je moet in zo'n geval niet vragen wat er van afhankelijk is. Het antwoord is veel korter als er gevraagd wordt wat er niet van afhankelijk is.

Centrale storage

Bij centrale storage denkt men bijna altijd gelijk aan een Storage Attached Network (SAN). Anders dan bij Network Attached Storage (NAS) is duidelijk dat het netwerk de kern van het geheel is. Aan dat netwerk hangen de servers en de storage apparatuur. In de praktijk wordt echter niet het netwerk met SAN aangeduidt, maar de storage apparatuur die er aan hangt. Laat ik die conventie maar blijven hanteren.

Van oudsher is een SAN een rack met daarin een controller, die eventueel redundant is uitgevoerd, en een aantal rekken met harde (en tegenwoordig steeds meer solid state) schijven. Als netwerk naar de servers wordt veelvuldig gebruik gemaakt van Fiber Channel. Dat is geoptimaliseerd voor SAN-gebruik. Het is zelfs zo dat er een speciaal dialect van SCSI op gesproken wordt om de latency tussen de server en de disk, die van oudsher in zo'n omgeving ook allemaal SCSI spraken, zo klein mogelijk te houden. Hoe snel je server en disk ook zijn, het kost extra tijd om de data te converteren en heen en weer te sturen tussen server en disk. Tijdens een recent traject hebben we uitgerekend dat de maximale lengte van de glasvezel circa 40 km is om nog een redelijke latency te kunnen krijgen zonder allerlei truuks uit te hoeven halen op de servers.

Redundantie

Natuurlijk wil je voorkomen dat bij een kapotte schijf gelijk al je servers onderuit gaan. Als je lokale storage gebruikt, gaat alleen die ene server onderuit. Bij centrale storage gaat wel wat meer onderuit. Gelukkig kennen we iets als RAID en dat wordt natuurlijk in de storage systemen geïmplementeerd. Vaak zelfs met dubbele redundantie zodat er twee schijven in een groep uit kunnen vallen zonder dat dit voor problemen zorgt.

Ondanks de, vaak, redundante controllers kan nog steeds een heel rack uitvallen. Om dat op te lossen wordt vaak gebruik gemaakt van replicatie. Iets wat op het ene systeem wordt geschreven, wordt direct naar de andere gekopieerd. Als dan een systeem uitvalt, hebben we de gegevens nog en met wat configuratiewerk is dat in te zetten voor dezelfde servers. Automatisch omschakelen wordt vaak niet ondersteund omdat dit niet echt in het SCSI-protocol aanwezig was.

IP SAN

Naast Fiber Channel gebaseerde SAN's zijn ook de SAN's die gebaseerd zijn op IP in opkomst. IP kent een aantal manieren om redundantie in te bouwen op de netwerklaag. Als de systemen dat vervolgens ook snappen, is automatische omschakeling te realiseren.

IP bood echter nog meer voordelen. Internet is gebaseerd op IP (of IP op internet). Iedereen weet dat internet een zeer robuust netwerk is en die robuustheid wilde men ook in het SAN netwerk (pleonasme; waarom ik met SAN dus het systeem en niet het netwerk bedoel) hebben.

Vervolgens blijkt dat IP nog veel meer voordelen biedt boven Fiber Channel, dat gebaseerd is op een point-to- point protocol. In plaats van een enkele verbinding te maken tussen een server en een SAN, kun je veel meer gaan doen, zoals bijvoorbeeld gebruik te maken van multicast.

CEPH

Samen met onze partner Polyware is IAF momenteel bezig met het testen van een nieuw storage systeem gebaseerd op CEPH. We hebben momenteel een netwerk met drie servers en proberen daarvan alle mogelijke opties uit om te zien in hoeverre dat in te zetten is voor de eigen systemen van IAF of zelfs die van onze klanten. Bij dat laatste denken we in eerste instantie aan gebruikers van onze Virtual Private Systems (VPS), maar dedicated fysieke servers worden uiteindelijk ook hierbij betrokken.

Het voordeel bij VM's is dat ze dan heel gemakkelijk verhuisd kunnen worden van de ene fysieke server naar de andere. Of zelfs daar opgestart kunnen worden als de hardware van de oorspronkelijke server defect raakt. Het verhuizen doen we nu ook al, maar dat kost relatief veel tijd omdat ook de inhoud van de complete schijven gekopieerd moet worden.

Het voordeel voor de fysieke servers is dat vervanging kan zonder dat de applicatie voor klanten lang onbruikbaar is. Waar in het verleden vervanging vaak uitgesteld werd omdat men opzag tegen het gedoe met het kopieren van alle data, kan nu volstaan worden met het installeren van de applicatie en het configureren ervan. De gegevens staan op het SAN.

Disclaimer

Dit artikel is eerder gepubliceerd als een officiële Achterkrant voor Internet Access Facilities.