Hier nun endlich einmal ein kleiner Einblick in das Ice Cube Lab (ICL) – das Gebäude in dem ich normalerweise nicht arbeite, aber immer aufsuchen muss, wenn etwas physisch kaputt geht.
Das Erdgeschoss ist durchaus langweilig, so dass man nach dem Treppensteigen zunächst in den Kontrollraum gelangt. Dieser ist ganz einfach mit vier Arbeitsplatzrechnern ausgestattet, von denen aus der Detektor gesteuert werden kann. Bevor man durch eine der beiden Türen den Serverraum betritt, sollte man zunächst einen anti-statik Laborkittel überwerfen um Entladungen in Richtung Rechnerinfrastruktur zu vermeiden. Wenn man das Licht zunächst nicht anschaltet, ist der Raum vom Blinken der Rechner erleuchtet, insbesondere der sogenannten DOMHubs. Diese sind direkt mit den DOMs (digital optical module) im Eis verbunden und beziehen ihre Daten über ein nicht gerade überschaubares Patchpanel. Jedes der roten Kabel trägt Daten von vier DOMs, womit es also 1371 Kabel geben müsste – ich habe aber nicht nachgezählt. Je 15 von ihnen Enden in einem DOMHub, womit ein solcher genau einen String des Detektors repräsentiert.
Zusammen mit den IceTop DOMHubs macht das 97 Hubs, die sich auf 12 Racks verteilen. Im Gegensatz dazu ist die restliche Infrastruktur sehr überschaubar in 5 weiteren Racks verstaut. Für die Datennahme und Archivierung sind etwa 10 Server verantwortlich. Die Onlinefilterung und Kalibrierung übernehmen etwa 30 weitere Maschinen.
Alle Racks im ICL sind mit USVs ausgestattet, um Stromschwankungen und kurze Stromausfälle zu überbrücken. Die Server können damit durchaus mehr als eine Stunde versorgt werden. Da aber alle ~5400 DOMs ebenfalls aus dem ICL mit Strom versorgt werden, halten die Hub-Racks nur ein paar Minuten durch. Längere Stromausfälle verursachen also zum einen Lücken in der Datennahme, führen aber auch zu unterkühlten DOMs. Wenn dieser Zustand zu lange anhält, steigt die Gefahr, dass DOMs verloren gehen. Zum Glück zeigte sich unser kleines Kraftwerk bisher recht zuverlässig.
Here is – eventually – a small glimpse into the Ice Cube Lab (ICL) – the building I’m usually not working in, but that I have to go to in case something breaks physically.
The ground floor is quite boring, so the first thing to see after climbing the stairs is the control room. It is simply equipped with four workstations, that can be used to operate the detector. Before passing through one of the two doors to the server room, one should take an EST jacket in order to prevent static going towards the It-infrastructure. If you keep the light off for a moment, the room is illuminated by the blinking of the servers, especially by the so called DOMHubs. Those are directly connected to the DOMs (digital optical module) in the ice and receive there data via a not very small patch panel. Every single one of the red cables carries the data of four DOMs, which would lead to a number of 1371 cables – however, I did not count them. Every DOMHub is connected with 15 cables, so that each of them represents one string of the detector.
Together with the IceTop DOMHubs this adds up to 97 Hubs, that are distributed over 12 racks. In contrast to that the rest of the infrastructure is pretty small and fits into 5 additional racks. For data acquisition and archiving there are 10 servers. Online filtering and calibration is done by some 30 additional machines.
All racks in ICL contain UPSes that are able to compensate for fluctuations in the power grid and small power outages. The servers are able to run on a UPS for several hours. Since all of the ~5400 DOMs are powered from the DOMHub racks as well, those UPSes will only last for a few minutes. Power outages that last for longer hence will cause gaps in data taking, but might also lead to DOMs cooling down. If this goes on for to long the risk increases that DOMs will be lost forever. Luckily our small power plant was quite reliable so far.