URL: https://it.desy.de/dienste/uco/dokumentation/datenhaltung/@@siteview
Breadcrumb Navigation
Zentrale Datenhaltung bei DESY
Diese Dokumentation behandelt zurzeit primär die Datenhaltung im Office-Umfeld und wird künftig noch um Informationen bzgl. der Datenhaltung für die Nutzung im wissenschaftlichen Umfeld ergänzt werden.
Am DESY werden verschiedene Möglichkeiten zur zentralen Speicherung dienstlicher Daten angeboten. Diese Art der zentralen Datenhaltung sollte grundsätzlich bevorzugt werden, da damit in der Regel eine Datensicherung („Backup“) und damit die Möglichkeit zur Datenwiederherstellung („Restore“) einhergeht. Nähere Informationen zu den Datensicherungs- und ggf. Wiederherstellungsmöglichkeiten finden Sie in dieser Dokumentation unten im Text im jeweiligen Abschnitt.
Dies ist im Falle der Nutzung lokaler Medien wie Festplatten etwa von Desktop- und Notebook-Rechnern, externen Festplatten, DVDs, USB-Sticks, etc. in der Regel nicht der Fall.
Im Folgenden werden die unterschiedlichen Möglichkeiten zur zentralen Datenhaltung bei DESY aufgeführt und skizziert, für welche Anwendungsfälle sie primär vorgesehen sind.
Weiterführende Informationen / Support
Ausführlichere Informationen zu einigen der unten genannten Möglichkeiten der zentralen Datenhaltung bei DESY finden Sie auf folgender Webseite: https://it.desy.de/dienste/speicherdienste.
Sofern Sie Ihre Bedarfe nicht oder nur suboptimal in den folgenden Ausführungen abgedeckt sehen oder im Zweifel sind, wie Sie oder Ihre Gruppe vorgehen sollten, nutzen Sie bitte unser Beratungsangebot und nehmen Kontakt mit uns ueber das UCO (uco@desy.de, Tel: 5005) auf - wir finden eine passende Lösung.
Übersicht der Zugriffsmöglichkeiten
Im Folgenden ist eine kurze tabellarische Übersicht dargestellt um zu skizzieren, von welchem Betriebssystem auf welche Möglichkeiten zur Datenhaltung zugegriffen werden kann. Soweit vorhanden sind die "+" jeweils mit einem Verweis auf eine entsprechende Anleitung hinterlegt.
- ( + ) Zugriff ist möglich und von DESY IT unterstützt
- ( o ) Zugriff ist möglich, kann aber nicht von DESY IT unterstützt werden
- ( - ) Zugriff ist nicht möglich
| SMB / CIFS* | AFS | dCache | Sync & Share | |
| Windows | + | + | + *** | + |
| Linux | + ** | + | + | + |
| macOS | + | + | + | + |
| Android | o | - | - | + |
| iOS | - | - | - | + |
* Primär verwendet für den Zugriff auf die Windows Netzwerklaufwerke H:, N: und S:
** Der Zugriff auf das S:-Laufwerk ist aus technischen Gründen nur mit Einschränkungen möglich
*** Nur lesender Zugriff erlaubt
Benutzer-eigenes Heimatverzeichnis (Home Directory)
Zweck
Das sog. "Home Directory" (Heimatverzeichnis) - auf DESY-Windows-Maschinen das H:-Laufwerk, auf Linux-Rechnern das AFS Verzeichnis /afs/desy.de/user/<AccountAnfangsbuchstabe>/<account> - ist zur Speicherung dienstlicher, persönlicher Daten des Account-Inhabers vorgesehen. Daher kann dort nur der/die Account-Inhaber/in schreiben und lesen. Ausgenommen davon sind lediglich die zum Austausch gedachten Unterverzeichnisse /<Gruppe> bzw. /public, auf die nur Gruppen-Mitglieder bzw. DESYaner/innen lesenden Zugriff haben.
Bitte beachten Sie, dass das public-Verzeichnis im AFS-Dateisystem aufgrund der umfassenderen Konzeption des AFS weltweit lesbar ist.
Hinweis: Auf Ubuntu Desktop Rechnern ist das Standard-Heimatverzeichnis lokal (daher in der Regel ohne Backup!) unter /home/<account> zu finden, das AFS Heimatverzeichnis muss auf diesen Rechnern über den o.g. AFS-Pfad explizit angesprochen werden.
Datensicherung
Alle Daten des Home Directories gelangen in das DESY-Backup und können dort in der Regel vom Benutzer selbst wiederhergstellt werden. Andernfalls können Daten über eine Anfrage des jeweils zuständigen Gruppenadministrators restauriert werden.
Quota
Insbesondere sollen folgende Daten nicht in das Benutzer-eigene Heimatverzeichnis:
- Daten, die dauerhaft für die ganze Gruppe relevant sind
- Massendaten wie Simulations- und Messdaten
- Nicht-dienstliche Musik-, Photo- und Video-Dateien
-
leicht wieder (via Internet) beziehbare Daten
Aus diesen Gründen ist der Speicherplatz im Home Directory Mengenmäßig begrenzt auf anfangs 8 GB. Bei Bedarf kann die sogenannte Quota des Home Directories über Anfrage des zuständigen Gruppenadministrators bei begründetem Bedarf begrenzt erhöht werden.
Wiederherstellen von Daten im AFS Home
Informationen zur Sicherung und Wiederherstellung von Daten im AFS Heimat Verzeichnis finden Sie auf folgender Webseite: Wiederherstellen von Daten im AFS Home Directory
Wiederherstellen von Daten im Windows Home
Informationen zur Sicherung und Wiederherstellung von Daten im Windows Heimat Verzeichnis finden Sie auf folgender Webseite: Wiederherstellen von Daten im Windows Home Directory
Gruppenverzeichnis
Zweck
Das Gruppenverzeichnis - auf DESY-Windows-Maschinen das N:-Laufwerk - ist für Gruppen-weit relevante Daten vorgesehen. Die Organisation des Gruppenlaufwerkes obliegt dem sogenannten Gruppenadministrator entsprechend der in der jeweiligen Gruppe benötigten Strukturen.
Datensicherung
Alle Daten des Gruppenverzeichnisses gelangen in das DESY-Backup und können bei Bedarf restauriert werden.
Quota
Der Speicherplatz im Gruppenlaufwerk ist vergleichsweise dynamisch und kann bei begründetem Bedarf auf bis zu mehreren 100 GB erhöht werden.
XXL-Verzeichnis
Zweck
Das Home Directory kann um ein sog. XXL-Verzeichnis erweitert werden, in dem größere Mengen von temporären, persönlichen Daten abgelegt werden können.
Datensicherung
Die Daten im XXL-Verzeichnis werden nicht täglich gesichert, angestrebt ist ein wöchentliches Backup.
Quota
200 GB sind je nach Umstand im Benutzer-eigenen XXL-Verzeichnis machbar.
DESY Sync & Share
Zweck
DESY-IT betreibt einen Speicherdienst auf Basis von Nextcloud und dCache namens "DESY Sync & Share". Dieser Dienst ist vorgesehen, um Daten zwischen dem zentralen Speicher, mobilen und stationären Geräten zu synchronisieren sowie Daten mit KollegInnen innerhalb und außerhalb des DESY-Intranets zu teilen.
Datensicherung
Es gibt kein reguläres TSM-Backup der gespeicherten Daten. Wenn Daten gelöscht wurden, findet man sie im "Gelöschte Dateien/Deleted Files/Trashbin"-Ordner, wo sie 180 Tage verbleiben, bevor sie endgültig gelöscht werden. Selbstverständlich hat IT eine Desaster-Recovery-Prozedur, die es ermöglicht, das ganze System nach katastophalen Fehlern wiederherzustellen.
Quota
Für die Speicherung von Daten im DESY Sync & Share ist keine Quota festgelegt. Es ist vorgesehen, über ein Berichtswesen über die Platzverwendung zu informieren.
dCache
Zweck
Der dCache ist das Datenspeicher- und -managementsystem insbesondere für Mess-, Simulations- und Analysedaten.
Datensicherung
Daten können je nach Anforderung einmalig oder mit zwei oder mehreren Replikas auf Disk-Storage angelegt werden. Ebenfalls ist es möglich, Replika der Daten auf Band zu sichern.
Quota
Datenhaltung bis in den PB-Bereich ist möglich.
Zentrale Rechen-Cluster bei DESY
BIRD/NAF
Empfehlungen für die zentralen Rechen-Cluster NAF und BIRD können die Empfehlungen auf folgenden Webseite nachgelesen werden:
https://naf-wiki.desy.de/NafStorage
https://naf-wiki.desy.de/DustLifecycle
Maxwell
Empfehlungen für die zentrale Datenhaltung bei Nutzung des Maxwell Clusters sind zu finden auf folgender Webseite (Login mit DESY Account und Passwort erforderlich):
https://confluence.desy.de/pages/viewpage.action?pageId=24807333
UCO Hamburg
| Telefon: | +49 (0)40 8998 5005 |
| E-Mail: | UCO Hamburg |
| Standort: | 2b / 131d |
| Link: |
https://it.desy.de/dienste/uco
|
