Zentrale Datenhaltung bei DESY

Diese Dokumentation behandelt zurzeit primär die Datenhaltung im Office-Umfeld und wird künftig noch um Informationen bzgl. der Datenhaltung für die Nutzung im wissenschaftlichen Umfeld ergänzt werden.

Am DESY werden verschiedene Möglichkeiten zur zentralen Speicherung dienstlicher Daten angeboten. Diese Art der zentralen Datenhaltung sollte grundsätzlich bevorzugt werden, da damit in der Regel eine Datensicherung („Backup“) und damit die Möglichkeit zur Datenwiederherstellung („Restore“) einhergeht. Nähere Informationen zu den Datensicherungs- und ggf. Wiederherstellungsmöglichkeiten finden Sie in dieser Dokumentation unten im Text im jeweiligen Abschnitt.
Dies ist im Falle der Nutzung lokaler Medien wie Festplatten etwa von Desktop- und Notebook-Rechnern, externen Festplatten, DVDs, USB-Sticks, etc. in der Regel nicht der Fall.

Im Folgenden werden die unterschiedlichen Möglichkeiten zur zentralen Datenhaltung bei DESY aufgeführt und skizziert, für welche Anwendungsfälle sie primär vorgesehen sind.

Weiterführende Informationen / Support

Ausführlichere Informationen zu einigen der unten genannten Möglichkeiten der zentralen Datenhaltung bei DESY finden Sie auf folgender Webseite: https://it.desy.de/dienste/speicherdienste.

Sofern Sie Ihre Bedarfe nicht oder nur suboptimal in den folgenden Ausführungen abgedeckt sehen oder im Zweifel sind, wie Sie oder Ihre Gruppe vorgehen sollten, nutzen Sie bitte unser Beratungsangebot und nehmen Kontakt mit uns ueber das UCO (uco@desy.de, Tel: 5005) auf - wir finden eine passende Lösung.

Übersicht der Zugriffsmöglichkeiten

Im Folgenden ist eine kurze tabellarische Übersicht dargestellt um zu skizzieren, von welchem Betriebssystem auf welche Möglichkeiten zur Datenhaltung zugegriffen werden kann. Soweit vorhanden sind die "+" jeweils mit einem Verweis auf eine entsprechende Anleitung hinterlegt.

  • ( + ) Zugriff ist möglich und von DESY IT unterstützt
  • ( o ) Zugriff ist möglich, kann aber nicht von DESY IT unterstützt werden
  • ( - ) Zugriff ist nicht möglich
  SMB / CIFS* AFS dCache Cloud
Windows + + + *** +
Linux + ** + + +
MacOS + + + +
Android o - - +
iOS - - - +

* Primär verwendet für den Zugriff auf die Windows Netzwerklaufwerke H:, N: und S:
** Der Zugriff auf das S:-Laufwerk ist aus technischen Gr
ünden nur mit Einschränkungen möglich
*** Nur lesender Zugriff
erlaubt

+
Benutzer-eigenes Heimatverzeichnis (Home Directory)

Zweck

Das sog. "Home Directory" (Heimatverzeichnis) - auf DESY-Windows-Maschinen das H:-Laufwerk, auf Linux-Rechnern das AFS Verzeichnis /afs/desy.de/user/<AccountAnfangsbuchstabe>/<account> - ist zur Speicherung dienstlicher, persönlicher Daten des Account-Inhabers vorgesehen. Daher kann dort nur der/die Account-Inhaber/in schreiben und lesen. Ausgenommen davon sind lediglich die zum Austausch gedachten Unterverzeichnisse /<Gruppe> bzw. /public, auf die nur Gruppen-Mitglieder bzw. DESYaner/innen lesenden Zugriff haben.

Bitte beachten Sie, dass das public-Verzeichnis im AFS-Dateisystem aufgrund der umfassenderen Konzeption des AFS weltweit lesbar ist.

Hinweis: Auf Ubuntu Desktop Rechnern ist das Standard-Heimatverzeichnis lokal (daher in der Regel ohne Backup!) unter /home/<account> zu finden, das AFS Heimatverzeichnis muss auf diesen Rechnern über den o.g. AFS-Pfad explizit angesprochen werden.

Datensicherung

Alle Daten des Home Directories gelangen in das DESY-Backup und können dort in der Regel vom Benutzer selbst wiederhergstellt werden. Andernfalls können Daten über eine Anfrage des jeweils zuständigen Gruppenadministrators restauriert werden.

Quota

Insbesondere sollen folgende Daten nicht in das Benutzer-eigene Heimatverzeichnis:

  • Daten, die dauerhaft für die ganze Gruppe relevant sind
  • Massendaten wie Simulations- und Messdaten
  • Nicht-dienstliche Musik-, Photo- und Video-Dateien
  • leicht wieder (via Internet) beziehbare Daten
     

Aus diesen Gründen ist der Speicherplatz im Home Directory Mengenmäßig begrenzt auf anfangs 8 GB. Bei Bedarf kann die sogenannte Quota des Home Directories über Anfrage des zuständigen Gruppenadministrators bei begründetem Bedarf begrenzt erhöht werden.

Wiederherstellen von Daten im AFS Home

Informationen zur Sicherung und Wiederherstellung von Daten im AFS Heimat Verzeichnis finden Sie auf folgender Webseite: Wiederherstellen von Daten im AFS Home Directory

Wiederherstellen von Daten im Windows Home

Informationen zur Sicherung und Wiederherstellung von Daten im Windows Heimat Verzeichnis finden Sie auf folgender Webseite: Wiederherstellen von Daten im Windows Home Directory

Gruppenverzeichnis

Zweck

Das Gruppenverzeichnis - auf DESY-Windows-Maschinen das N:-Laufwerk - ist für Gruppen-weit relevante Daten vorgesehen. Die Organisation des Gruppenlaufwerkes obliegt dem sogenannten Gruppenadministrator entsprechend der in der jeweiligen Gruppe benötigten Strukturen.

Datensicherung

Alle Daten des Gruppenverzeichnisses gelangen in das DESY-Backup und können bei Bedarf restauriert werden.

Quota

Der Speicherplatz im Gruppenlaufwerk ist vergleichsweise dynamisch und kann bei begründetem Bedarf auf bis zu mehreren 100 GB erhöht werden.

XXL-Verzeichnis

Zweck

Das Home Directory kann um ein sog. XXL-Verzeichnis erweitert werden, in dem größere Mengen von temporären, persönlichen Daten abgelegt werden können.

Datensicherung

Die Daten im XXL-Verzeichnis werden nicht täglich gesichert, angestrebt ist ein wöchentliches Backup.

Quota

200 GB sind je nach Umstand im Benutzer-eigenen XXL-Verzeichnis machbar.

DESY Cloud

Zweck

DESY-IT betreibt eine Cloudspeicher-Lösung (z.Zt. noch im Pilotbetrieb) auf Basis von ownCloud und dCache. Der DESY Cloud-Speicher ist vorgesehen, um Daten zwischen Cloud, mobilen und stationären Geräten zu synchronisieren sowie Daten mit Kollegen innerhalb und außerhalb des DESY-Intranets zu teilen.

Datensicherung

Es gibt derzeit kein reguläres TSM-Backup der in der DESY Cloud gespeicherten Daten. Wenn Daten gelöscht wurden, findet man sie im "Gelöschte Dateien/Deleted Files/Trashbin"-Ordner, wo sie 180 Tage liegen, bevor sie endgültig gelöscht werden. Selbstverständlich hat IT eine Desaster-Recovery-Prozedur, die es ermöglicht  das ganze System nach katastophalen Fehlern wiederherzustellen, es ist jedoch nicht möglich individuelle Datensätze wiederherzustellen.

Quota

Für die Speicherung von Daten in der DESY Cloud ist keine Quota festgelegt. Es ist vorgesehen, über ein Berichtswesen den Gruppenleitern über die Platzverwendung zu informieren.

dCache

Zweck

Der dCache ist das Datenspeicher- und -managementsystem insbesondere für Mess-, Simulations- und Analysedaten.

Datensicherung

Daten können je nach Anforderung einmalig oder mit zwei oder mehreren Replikas auf Disk-Storage angelegt werden. Ebenfalls ist es möglich, Replika der Daten auf Band zu sichern.

Quota

Datenhaltung bis in den PB-Bereich ist möglich. 

Zentrale Rechen-Cluster bei DESY

BIRD/NAF

Empfehlungen für die zentralen Rechen-Cluster NAF und BIRD können die Empfehlungen auf folgenden Webseite nachgelesen werden:
https://naf-wiki.desy.de/NafStorage
https://naf-wiki.desy.de/DustLifecycle

Maxwell

Empfehlungen für die zentrale Datenhaltung bei Nutzung des Maxwell Clusters sind zu finden auf folgender Webseite (Login mit DESY Account und Passwort erforderlich):
https://confluence.desy.de/pages/viewpage.action?pageId=24807333