Statusbericht über die D-Grid Kerninfrastruktur II /2012

06. März 2013 

Der vorliegende Bericht basiert auf dem siebten Statusbericht über die D-Grid Kern Infrastruktur vom 16. Oktober 2012. Mit Beginn des Jahres 2011 kam es zu organisatorischen und inhaltlichen Umstrukturierungsmaßnahmen im Kontext der 2. Projektphase des D-Grid Integrationsprojektes (DGI-2). Weitere Informationen hierzu finden sich online unter (http://dgi-2.d-grid.de/).
Der vorliegende Statusbericht gliedert sich wie folgt:

  • Bericht aus dem D-Grid-Integrationsprojekt (Kapitel 1)
  • Informationen zu den Sonderinvestitionen der Jahre 2006-2008 (Kapitel 2)
  • Nutzungsstatistiken der D-Grid Infrastruktur für das zweite Halbjahr 2012 (Kapitel 3)

Kapitel 1 wurde vom Projektbüro des D-Grid Integrationsprojekts beigetragen.

 

Statusbericht DGI-2

Allgemeines

Das Projekt DGI-2 teilte sich in seiner zweiten Phase in drei Themenbereiche: das Projektbüro, die Dienstleistungen und die Anpassungen und Integration in EGI. In jedem Themenbereich gab es einzelne Arbeitspakete, die von einer oder mehreren Einrichtungen bearbeitet werden.
Sämtliche Arbeiten werden alleinverantwortlich von den beteiligten Einrichtungen durchgeführt.
Projektpartner vom 1. Januar 2011 bis 31. Dezember 2012 waren:

  • Bayerische Akademie der Wissenschaften, Leibniz-Rechenzentrum, Garching bei München
  • Deutsches Elektronen-Synchrotron (DESY), Hamburg
  • Forschungszentrum Jülich GmbH
  • Karlsruher Institut für Technologie
  • Regionales Rechenzentrum für Niedersachsen , Leibniz Universität Hannover
  • Verein zur Förderung eines Deutschen Forschungsnetzes e. V., Berlin.


Die Projektwebseite befindet sich auch nach Projektende unter http://dgi-2.d-grid.de/.
Der Berichtszeitraum umfasst die Monate Juli bis Dezember 2012.

Projektbüro

Das Projektbüro organisiert und koordiniert die Verwaltung des Projektes und ist verantwortlich für Fragen der Nachhaltigkeit und für die Außendarstellung des Projektes.

AP 1.1: Projektleitung

Partner im AP 1.1: KIT

  • Organisation der monatlichen DGI-2-Videokonferenzen auf Leitungsebene.
  • Koordination des Zusammenspiels mit NGI-DE, EGI.eu und dem EGI-InSPIRE-Projekt.
  • Erstellung der regelmäßigen projektweiten Berichte
  • Ansprechpartner für den Ombudsmann der D-Grid GmbH - keine Vorkommnisse.
  • Zusammenstellung und Verbreitung der Information über den Übergang von D-Grid auf NGI-DE (verteilt an alle D-Grid-Beteiligten per E-Mail am 16. November 2013 unter dem Namen „Dokument zum Ende des DGI-2-Projektes und der Zukunft der zentralen Grid-Dienste“ und online auf der Startseite unter http://dgi-2.d-grid.de/).
  • Vertretung des Projektes im D-Grid-Beirat

AP 1.2: Nachhaltigkeit

Partner im AP 1.2: KIT, BADW-LRZ

  • Austausch auf europäischer Ebene zu Sustainability – durch KIT und LRZ
  • Erarbeitung eines Geschäftsplan für Grid-Infrastruktur-Dienste in Deutschland durch das KIT
  • Ein Austausch mit anderen Grid-Initiativen in Europa findet statt.
  • Diskussion mit den Projektpartnern und Erstellung der Dokumentation für den Übergang von D-Grid auf NGI-DE („Dokument zum Ende des DGI-2-Projektes und der Zukunft der zentralen Grid-Dienste“, online auf der Startseite unter http://dgi-2.d-grid.de/).

AP 1.3: Dissemination

Partner im AP 1.3: KIT

  • Um die Notwendigkeit der Grid-Infrastrukturdienste als e-Infrastruktur für die Wissenschaft deutlich zu machen, stellt das DGI-2 die Verzeichnisse der Publikationslisten der wissenschaftlichen Veröffentlichungen bereit, die D-Grid ermöglicht hat: http://dgi-2.d-grid.de/publikationen.php
  • Pflege der DGI-2-Website unter http://dgi-2.d-grid.de/ und Bereitstellung der Adresse http://www.d-grid.de/ mit Weiterleitungen zu den Webseiten der D-Grid-Initiative.

DGI-2-Dienstleistung

Ziele dieses Projektteils sind die Bereitstellung und der stabile Produktionsbetrieb der durch die Benutzer nachgefragten Dienste, der zentralen Dienste für den Betrieb der Grid Infrastruktur, der Dienste für Ressourcenbetreiber und des Supports für Benutzer und Ressourcenbetreiber.

AP 2.1: VO-Service-Infrastruktur

Partner im AP 2.1: FZJ, DESY und KIT (ungefördert)

  • Bereitstellung von VOMS- und VOMRS-Servern.
  • Betrieb der VO- und Nutzerdienste: Betrieb, Überwachung und Wartung des VOMRS-Servers.
  • Betrieb einer zweiten Virtuellen Maschine mit VOMRS zum Testen von Konfigurationen und zum Testen neuer VOMRS-Versionen.

AP 2.2: Helpdesk-Infrastruktur

Partner im AP 2.2: KIT

  • Bereitstellung und Weiterentwicklung des Helpdesk-Portals
    http://helpdesk.ngi-de.eu/.
  • Anbindung von Supportgruppen der Communities, der Kompetenzzentren und der Ressourcenanbieter sowie die Integration der Supportprozesse und Bearbeitung der Tickets.

AP 2.3: Zentrale Middleware-Infrastruktur

Partner im AP 2.3: DESY, FZJ, KIT, BADW-LRZ

  • Sicherung des Betriebes der Middleware-Dienste.
    • Betrieb und Wartung der zentralen UNICORE-Dienste: Service Registry, Workflow service mit Service Orchestrator und Common Information Provider
    • Upgrade der zentralen Registry auf die Version 6.5
    • Erweiterung und Betrieb der Middleware-Infrastruktur unter Einsatz von Virtualisierung und Cloud-Techniken.
    • Update auf aktuelle Releases. Für die meisten Services werden EMI-2-Releases eingesetzt.
    • Betrieb der zentralen Dienste WebMDS, MDS, RFT und MyProxy für die Globus-Middleware
    • Evaluation von GridFTP, MyProxy, RLS und GSI-OpenSSH
  • Bearbeitung von Anfragen des Helpdesk.

AP 2.4: Zentrale Monitoring-Infrastruktur

Partner im AP 2.4: BADW-LRZ, KIT

  • Betrieb der Monitoring-Infrastruktur (WebMDS , D-MON, BDII, UNICORE CIS, Nagios).
  • Im Bereichszeitraum wurde die Konfiguration der Inca-Monitoring-Infrastruktur aktualisiert sowie zusätzliche Tests entwickelt.
  • Bearbeitung von Anfragen des Helpdesk.

AP 2.5: Zentrale Accounting-Infrastruktur

Partner im AP 2.5: RRZN

  • Bereitstellung der Hardware zum Betrieb des Accounting-Servers.
  • Überwachung des ordnungsgemäßen Betriebs des D-Grid-Accountings.

AP 2.6: Dienste für Ressourcen-Anbieter

Partner im AP 2.6: FZJ

  • Bereitstellung der Hardware zum Betrieb von GRRS, der XML-GRRS-Datenbank, der MySQL-GRRS-Datenbank und von dgridmap.
  • Betrieb des D-Grid-weiten zentralen GRRS-Servers.
  • Betrieb einer MySQL-Datenbank, die eine Kopie einer Teilmenge der GRRS-Datenbank enthält und ständig aktualisiert wird.
  • Betrieb einer D-GRDL-fähigen XML-Datenbank der GRRS-Daten sowie ständige Aktualisierung.
  • Einrichten von Zugängen zu den GRRS-Datenbanken für Entwicklungsprojekte aus D-Grid-Projekten.
  • Betrieb des dgridmap-Servers.
  • Bereitstellung und Aktualisierungen des dgridmap-Klienten über das DGI-2-Anbieterportal.
  • Arbeiten an einer GRRS-Tabelle für die Erfassung der zentralen D-Grid-Services (GSRS).
  • Aktualisieren von Webseiten im DGI-2-Anbieterportal.

AP 2.7: Sicherheit (CA, AAI, CERT)

Partner im AP 2.2: RRZN, KIT und DFN (ungefördert)

  • Zertifizierungsstellen für die nationale Grid-Infrastruktur (KIT, DFN)
  • Benutzerunterstützung im Bereich „Sicherheit“
  • Unterstützung für Anbieter im Bereich Sicherheit
  • Zentrale Anlaufstelle für sicherheitsrelevante Fragen im Grid
  • Betrieb eines CERTs.

AP 2.8: Referenzinstallation

Partner im AP 2.8: KIT

  • Bereitstellung und Abwicklung der Referenzinstallation in Absprache mit dem Technical Advisory Board des Beirates der D-Grid GmbH (D-Grid-TAB).
  • • Unterstützung der Middleware-Pakete:
    • UNICORE 6.4
    • Globus Toolkit 4.0.8
    • Globus Toolkit 5.2
    • gLite CREAM
  • Unterstützung der Datenmanagement-Pakete:
    • OGSA-DAI 2
    • dCache 1.9.12.
  • Letztes Release 2012.2 war Juli 2012 http://dgiref.d-grid.de/

AP 2.9: VO-Support

Partner im AP 2.9: DESY, FZJ und KIT (ungefördert)

  • Unterstützung der VOs im Umgang mit VOMRS, insbesondere Unterstützung der Nutzer, Repräsentanten und Gruppen-Manager.
    • Änderungen der VOMRS-Einträge zu Nutzerzertifikaten.
    • Unterstützung von Nutzern bei der Verlängerung von Zertifikaten.
  • Aktualisierung von Seiten des Benutzerportals.
  • Synchronisation des zentralen D-Grid-VOMS-Servers am KIT durch den VOMRS für alle am FZJ gehosteten VOs.
  • Einrichten neuer VOMRS-Server-Instanzen für neue VOs bei Bedarf. In dieser Berichtsperiode wurden keine neuen VOs eingerichtet.
  • Bereitstellung der Datenbanken der VOMRS-Server-Instanzen der einzelnen VOs als Schnittstelle für den Mapping-Service dgridmap.
  • Es wurde eine Diskussion mit NGI-DE geführt, bzgl. des Übergangs der D-Grid-VO Services in die NGI-DE/EGI Infrastruktur. Zur Migration wird der letzte Stand der VOMRS-Datenbanken zur Verfügung gestellt.
  • Für einige VOs wird zur Migration der VOMRS-Service für eine Übergangszeit aufrechterhalten.
  • Bearbeiten und Lösen von Helpdesk-Tickets zu VOMRS.

AP 2.10: Provider-Support

Partner im AP 2.10: FZJ

  • Unterstützung von Ressourcenanbietern bei der Anmeldung von Ressourcen zum GRRS bzw. bei der Änderung von Ressourcen-Einträgen sowie beim Löschen von Ressourcen.
  • Unterstützung von Ressourcenanbietern bei der Verwendung von dgridmap.
  • Beratung und Unterstützung bei neuen Anforderungen an das Ressourcen-Management durch ein verändertes Nutzungsmodell von Ressourcen.
  • Es wurde eine Diskussion mit NGI-DE geführt, bzgl. des Übergangs der D Grid-Provider Services in die NGI-DE/EGI Infrastruktur. Zur Migration wird der letzte Stand der GRRS-Datenbanken zur Verfügung gestellt.
  • Für einige VOs wird zur Migration der dgridmap-Service für eine Übergangszeit aufrechterhalten.
  • Bearbeiten und Lösen von Helpdesk-Tickets zu GRRS und dgridmap.

AP 2.11: Firstline-Support D-Grid

Partner im AP 2.11: KIT

  • Organisation des Supports auf der ersten Ebene (Kategorisierung und Verteilung der Tickets), die Anbindung von Supportgruppen der Communities, der Kompetenzzentren und der Ressourcenanbieter sowie die Integration der Supportprozesse.

AP 2.12: Middleware-Support Globus

Partner im AP 2.12: BADW-LRZ

  • Unterstützung von Administratoren und Benutzern zu Globus Toolkit Betrieb bzw. Nutzung.
  • Unterstützung bei der Migration von Globus Toolkit 4 nach 5.
  • Auf Anforderung der D-Grid-Nutzer der Universitäts-Sternwarte München wurde deren Condor-Setup mit der LRZ-Globus-Installation verbunden.
  • Bearbeiten und Lösen von Helpdesk-Tickets zu Globus (in Zusammenarbeit mit IGE).

AP 2.13: Middleware-Support UNICORE

Partner im AP 2.13: FZJ

  • Unterstützung von Administratoren und Benutzern zu UNICORE 6 Betrieb bzw. Nutzung.
  • Intensive Tests des neuen UNICORE Releases Version 6.5
  • Bearbeiten und Lösen von Helpdesk-Tickets.

AP 2.14: Middleware-Support gLite/dCache

Partner im AP 2.14: DESY

  • Die produktive dCache NFS4.1 Installation wurde weiter ausgebaut und betrieben. Sie wurde hauptsächlich für Daten aus der Forschung mit Photonen und der Beschleunigerphysik eingesetzt. Insbesondere aus dem Bereich Forschung mit Photonen kam die Anforderung, dass für NFS4.1 ACLs benötigt werden. Die Experimentoren möchten, dass ihre Messdaten nicht von anderen eingesehen werden können. Die ACLs für NFS4.1 wurden implementiert und ausführlich getestet. Inzwischen wurden sie auch im Produktivsystem installiert.
  • Um dCache für Cloud-Anwendungen vorzubereiten, wurde eine Evaluierung verschiedener Cloud Protokolle durchgeführt. Mit der Entwicklung eines Konzepts wurde begonnen.
  • Auf der GridKa-School Ende August wurden neue Entwicklungen in dCache vorgestellt und ein halbtägiges Tutorial durchgeführt, das sehr gut besucht war und von den Teilnehmern als sehr nützlich eingestuft wurde. Die Vorbereitungen für den nächsten dCache Workshop im Frühjahr haben angefangen.
  • Bearbeiten und Lösen von Helpdesk-Tickets zu gLite und dCache.

AP 2.15: Middleware-Support OGSA-DAI

Partner im AP 2.15: KIT

  • Aufrechterhaltung der Expertise, um Unterstützung für OGSA-DAI leisten zu können. Es gab keine Anfragen im Berichtszeitraum.

AP 2.16: Middleware-Support Scientific Gateways

Partner im AP 2.16: KIT

  • Unterstützung für GAT, SAGA, GridSphere, Liferay
  • Unterstützung und Weiterentwicklung von Gatlet (D-Grid-Browser)
    • Migration des Gateways von GridSphere nach Liferay.
    • In Zusammenarbeit mit dem D-Grid-Projekt bwGRiD wurden wissenschaftliche Portlets für Gatlet entwickelt. Damit stehen den Anwendern der Chemie jetzt Dacapo, Gaussian/NWChem, Moldyn und Amber zur Verfügung, im Bereich CAE Fluent, in der Medizin Geant4 und Dicom, für Biologie CADDSuite sowie SEGL für Workflows.
  • Bearbeiten und Lösen von Helpdesk-Tickets.

DGI-2-Anpassungen

Die Projekte DGI-1 und DGI-2 haben eine stabile Grid-Infrastruktur für Deutschland aufgebaut. Mit der Gründung von EGI.eu als Stiftung mit Beteiligung der EU und der EU-Mitgliedsstaaten (einschließlich Deutschlands) wird das DGI-2 die D-Grid-Infrastruktur in die europäische Struktur integrieren. Die Arbeiten wurden alle abgeschlossen und sind in das „Dokument zum Ende des DGI-2-Projektes und der Zukunft der zentralen Grid-Dienste“ eingeflossen.

Abbildung: D-Grid Dienste ab 2013 (Stand: 6.7.2012)

AP 3.1: Ressourcen-Registrierung

Partner im AP 3.1: FZJ

  • Bereitstellung der GRRS-Datenbank, der entsprechenden XML-Datenbank sowie der MySQL-Datenbank als Schnittstellen zum GRRS.
  • Auf der Seite der Entwickler der GOCDB bestand kein Bedarf der Verwendung von GRRS-Daten in der GOCDB, sodass keine weiteren Anpassungen der Schnittstellen vorgenommen wurden.

AP 3.2: Helpdesk-Anpassungen

Partner im AP 3.2.: KIT (ungefördert)

  • Der störungsfreie Austausch von Tickets zwischen den Helpdesk-Systemen von D-Grid, NGI-DE und EGI (GGUS) ist sichergestellt.

AP 3.3: Accounting-Anpassungen

Partner im AP 3.3: RRZN

  • Arbeiten am Meilenstein M.24„Integration der vorhanden Accounting-Lösungen“: Finales Release (Software, Dokumentation)
  • Software unter: http://www.rrzn.uni-hannover.de/d-grid_accounting.html (DGAS-EE)

AP 3.4: Monitoring-Anpassungen

Partner im AP 3.4: BADW-LRZ und KIT

  • Das D-Grid-Monitoring-Tool D-MON wurde weiterentwickelt und auch auf dem EGI TF in Prag präsentiert.
  • Am KIT laufen der NationalLevel BDII von D-Grid und NGI-DE.
  • Pflege der Installation.

AP 3.5: Anpassung NationalLevel BDII

Partner im AP 3.5: KIT

  • Am KIT laufen der NationalLevel BDII von D-Grid und NGI-DE.
  • Pflege der Installation.

AP 3.6: Zertifizierung von D-Grid-Ressourcen gemäß EGI

Partner im AP 3.6: BADW-LRZ, DESY und FZJ
Die Prozesse bei EGI sind für UNICORE und Globus noch nicht komplett, so dass keine Sites zertifiziert werden können. Die gLite-Sites im D-Grid waren auch im EGEE-Projekt und sind darüber bereits zertifiziert, so dass hier nur neue D-Grid-Sites eine Zertifizierung benötigen würden.

  • UNICORE (durch FZJ):
    • Beteiligung an der EGI Integration Task Force UNICORE.
  • gLite/dCache (durch DESY):
    • Es gab keine Anfragen zur Zertifizierung in diesem Bereich.
  • Globus Toolkit (durch BADW-LRZ):
    • Beteiligung an der EGI Integration Task Force Globus.
    • Im Berichtszeitraum wurde ein Konzept implementiert um D-Grid-Ressourcen nach EGI zu migrieren und zu zertifizieren. Aufgrund der geringen verbleibenden Projektdauer konnte die Ressourcen-Zertifizierung allerdings nicht mehr durchgeführt werden. Außerdem war das Interesse nur bedingt vorhanden, da die stark integrierte Verwendung von veralteter Middleware (Globus Toolkit 4) bzw. fehlende Personalkapazitäten eine Aktualisierung der Sites auf die aktuelle Version GT5 verhindert haben. GT5 entspricht aber der Mindestanforderung zur Zulassung zur EGI-Zertifizierung.

AP 3.7: Sicherheitsprozessmanagement

Partner im AP 3.7: RRZN, KIT und DFN (ungefördert).

  • Arbeiten am Meilenstein M.24 - „Richtlinien für Site-Betreiber zur Wahrung der Sicherheit des D-Grids“.
  • Mitarbeit in der Projektgruppe „Abwicklung beendeter D-Grid-Projekte“.

Sondermaßnahmen 2006, 2007 und 2008

Übersicht

Im Rahmen der D-Grid Projekte haben sich einzelne Institutionen bereit erklärt, eigene Ressourcen im D-Grid zur Verfügung zu stellen. Die im Bereich DGI1-FG2 beteiligten Institutionen Abbildungeten ursprünglich das so genannte Kern-D-Grid. Mit Hilfe dieser Institutionen wurde ein erstes Betriebsmodell erstellt. Unabhängig von der erklärten Verpflichtung dieser Institutionen, Ressourcen dem D-Grid zur Verfügung zu stellen, wird im diesem Bericht nur der Status der im Rahmen der Sondermaßnahmen 2006, 2007 und 2008 für das D-Grid erworbenen Ressourcen dargestellt.
Dabei ist zu berücksichtigen, dass die Antrag stellenden Institutionen auch explizite Verpflichtungen bezüglich dieser Ressourcen im Antrag akzeptiert haben. Diese Verpflichtungen betreffen die zu installierenden Softwarekomponenten, den Zeitpunkt der Betriebsbereitschaft, die Unterstützung des D-Grid Betriebsmodells sowie eine Berichterstattungspflicht gegenüber dem D-Grid Beirat.
Farblich gekennzeichnete Einträge in Tabelle 1 weisen darauf hin, dass eine (Teil- oder vollständige) Abschaltung von Ressourcen bereits erfolgt oder geplant ist. Nähere Informationen hierzu liefert der Abschnitt Außerbetriebnahme von Ressourcen.
Der D-Grid GmbH lagen zum Beginn des Jahres 2013 keine weiteren Informationen hinsichtlich des Verbleibs oder einer Nachnutzung der nicht farblich gekennzeichneten Ressourcen vor.


Tabelle 1

Institution

Hardware

Software

Betriebsaufnahme

Monitoring

AIP 06

10 DC,96 TB

GT4.0.7, OSGA DAI, dCache

Feb. 2007

Feb. 2007

AIP /AEI 07

29 DC

GT4.0.6

Mar. 2008

Feb. 2007

AWI 07

48 TB, Archiv

GT4.0.8, dCache 1.8.0

Dezember 2008

 

DESY 06

63 DC, 110 TB

siehe DESY 07

Jan 2007 (Ende: 1.1.2011)

Jan 2007, EGEE

DESY 07

192 QC, 110 TB, 400 TB Archiv

gLite 3.1, dCache 1.8, dCache 1.9

Mar 2008 (Ende: 1.1.2011)

Mar 2008, EGEE

DKRZ 06

1 DC,24TB

siehe DKRZ 07

siehe DKRZ 07

siehe DKRZ 07)

DKRZ 07

1 DC, 1 PB Archiv

GT4.0.5, dCache

Mitte 2008

Dez 2008

DLR 07

45 8C

UNICORE6

Mar 2008

 

DWD 07

1 PB Archiv

 

 

Jun 2008

FhG IAO 07

24 8CC

GT4.0.5

Mar 2008

Mar 2008

FhG SCAI 06

27 DC

siehe FhG SCAI 07

Mai 2007

Aug 2007

FhG SCAI 07

5 DC, 1 8C, 5 TB

GT4.0.3/7, gLite 3.1, UNICORE5

Apr 2008

Apr 2008

FZJ 06

44 QC, 12 TB

GT4.0.5, gLite3.1, UNICORE5/6, dCache 1.9

Apr 2007

Apr 2007

FZJ 07

78 QC, 7,5 TB

UNICORE5

Feb 2008

-

FZK 06

78 DC

GT4, gLite, UNICORE

März 2007 (gLite), Aug 2007 (komplett)

Aug 2007

FZK 07

180 QC, 96 8C, 214,5 TB

GT4, gLite, UNICORE,
dCache

Mai 2008

Mai 2008

FZK 07

10 DC

GT4, gLite, UNICORE,

Aug. 2008

 

GSI 06

15 DC, 33 TB

gLite, GT 4

Jan 2007

Feb 2008

GSI 07

54 8C, 210 TB

gLite, GT 4

Feb 2008

Feb 2008

HLRS 06

26 QC, 7 Cell Blades, 100 TB

GT4, gLite, UNICORE, OGSA-DAI

Feb 2007

Mar 07

HRLS 07
Vektor

1 Knoten mit 8 CPUs NEC SX-8R, 7 Knoten mit 16 CPUs NEC SX-9

UNICORE

Dez 2007

 

bwGrid 07
HLRS
Karlsruhe
Freiburg
Mannheim
Heidelberg
Tübingen
Ulm/Konstanz

 

414 8C
140 8C
140 8C
140 8C
140 8C
140 8C
280 8C

 

GT4
GT4
GT4
GT4
GT4
GT4
GT4

 

Apr 2008
Jan 2009
Jan 2009
Apr 2008
Jun 2008
Jul 2008
Jun 2008

 

IZBI

2 TB

Portalserver

 

 

LMU 06

20 QC

siehe LMU 07

Apr 2007

Aug 2008

LMU 07

50 QC, 97 TB

gLite, GT4, dCache

Mar 2008

Aug 2008

LRZ 06

23QC, 8 TB

GT4, gLite, UNICORE, SRM/dCache

Feb 2007

Feb 2007

LRZ 06

8 QC

IO-Server für D-Grid

Feb 2007

Feb 2007

LRZ 07

4 8C

Zentrale D-Grid Dienste

Mar 2008

-

MPG 06

24 TB

siehe LRZ

 

 

MPG 07

56 QC, 82 TB

gLite3, dCache

Jun 2008

-

OFFIS 06

86 DC, 4 QC, 12 TB

GT4.0.4, UNICORE5, gLite3.0

Mar 2007

Ende 2008

RRZN 06

60 QC, 45 TB

siehe RRZN 07

Feb 2007

Feb 2007

RRZN 07

Upgrade von RRZN 06 auf: 60 8C, 90 TB

GT4, gLite, UNICORE, SRM/dCache

Apr 2008

Apr 2008

TU Kl 07

40 QC, 9,6 TB

GT4.0.8

Mar 2008

Apr 2008

TUM 06

8 DC, 2 TB

siehe LRZ

 

 

TUD ZIH 06

60 TB

SRB-Nirvana, OGSA-DAI

Jun 2007

 

TUD ZIH 07

128 QC, 12 TB

GT4.0.7, gLite 3.1, UNICORE 6, SRB, iRODS, dCache 1.8, OGSA-DAI

Jun 2008

Mai 2008

TU Do IRF 06

76 DC , 6 TB

GT 4.0.5, UNICORE 5, gLite3.1, OGSA-DAI, dCache 1.9

Apr 2007

Apr 2007

TU Do ITMC 07

256 QC, 100 TB

GT 4.0.5, UNICORE 5, gLite3.1, dCache 1.9, OGSA-DAI

Mai 2008

Mai 2008

GoeGrid 06

11 2DC, 15 TB

GT 4.0.x, gLite 3.1, UNICORE5, SRB

Jun 2007

Okt 2007

GoeGrid 07

76 2QC, 268 TB

GT 4.0.x, gLite 3.1, UNICORE5, dCache, SRB/iRODS

Mar 2008

Apr 2008

Universitätsmedizin Göttingen

9 QC, 1 8C

GT4

Juli 2009

Juli 2009

Uni Heidelberg (ZAH) 06

96 TB

GT4

Feb 2007

 

Uni Kassel 07

42 QC, 8 TB

GT4.0.x

Mai 2008

Jun 2008

Uni Kiel

6 DC, 1 8C, 3,5 TB

GT4.0.5, OGSA-DAI

 

 

Uni Köln 06

11 TB

dCache 1.9

Mar 2007

 

Uni Köln 07, SuGI Cluster

64 QC

GT4.0.6/7

Dez 2007

Frühjahr 2008

Uni Köln 07, C3RC

32 TB Archiv

dCache 1.9

Mar 2008

 

Universitätsmedizin Magdeburg

20 QC

GT 4

 

 

Uni Marburg 06

19 QC, 4.75 TB

GT4.0.5

Dez 2006

Dez 2006

Uni Paderborn 07

8 QC, 10 TB

GT 4.0.5, UNICORE5/6

Mar 2008

Jun 2008

Uni Siegen 06

18 DC

GT4, UNICORE

Mar 2007

Mai 2007

Uni Wuppertal, 06

50 DC, 30 TB

siehe Uni Wuppertal 07

 

Jul 2008

Uni Wuppertal 07

52 QC, 198 TB

GT 4, UNICORE, gLite3.1, dCache1.8

Dez 2007

Jul 2008

Uni Würzburg 07

2 8C, 16 TB

GT 4, dCache

Sep 08

April/Mai 2009

ZIB 06

40 DC, 192 TB

siehe ZIB07

Feb 2007

Feb 2007

ZIB 07

40 QC, 254 TB

GT4, UNICORE, gLite 3, dCache, SRB, iRODS

Feb 2008

Feb 2008

Die Ansprechpartner an den einzelnen Institutionen sind in Tabelle 2 aufgeführt.

Tabelle 2

Institution

Ansprechpartner

Email

AIP

Harry Enke

henke@aip.de

AWI

Benny Bräuer

Benny.Braeuer@awi.de

DESY

Volker Gülzow

volker.guelzow@desy.de

DKRZ

Stephan Kindermann

kindermann@dkrz.de

DLR

Andreas Schreiber, Michael Sattler

Andreas.Schreiber@dlr.de, Michael.Sattler@t-systems.com

DWD

Heinrich Knottenberg

Heinrich.Knottenberg@dwd.de

FhG IAO

Oliver Strauss

Oliver.Strauss@iao.fraunhofer.de

FhG SCAI

Horst Schwichtenberg

horst.schwichtenberg@scai.fraunhofer.de

FZJ

Otto Büchner, Willi Homberg

O.Buechner@fz-juelich.de, w.homberg@fz-juelich.de

FZK

Wilhelm Bühler

wilhelm.buehler@iwr.fzk.de

GSI

Peter Malzacher

P.Malzacher@gsi.de

HLRS

Sabine Roller

roller@hlrs.de

IZBI

Michael Hartung

hartung@izbi.uni-leipzig.de

LMU

Guenter Duckeck

gduckeck@lmu.de

LRZ

Helmut Reiser

reiser@lrz.de

MPG

Stefan Kluth

skluth@mppmu.mpg.de

OFFIS

Guido Scherp

guido.scherp@offis.de

RRZN

Denis Göhr

grid@rvs.uni-hannover.de

SUB Göttingen

Andreas Aschenbrenner

aschenbrenner@sub.uni-goettingen.de

TU Kl

Markus Hillenbrand

hillenbr@informatik.uni-kl.de

TUM

Angelika Reiser

reiser@in.tum.de

TUD ZIH

Ralph Müller-Pfefferkorn

ralph.mueller-pfefferkorn@tu-dresden.de

TU Do IRF

Stefan Freitag

matthias.hofmann@tu-dortmund.de

TU Do ITMC

Christian Becker

christian.becker@mathematik.tu-dortmund.de

GoeGrid

Ulrich Schwardmann

uschwar1@gwdg.de

Uni Heidelberg

Peter Schwekendiek

schwekendiek@uni-hd.de

Uni Kassel

Peter Zanger

zanger@hrz.uni-kassel.de

Uni Kiel

Alexander Herrmann

a.herrmann@ikmb.uni-kiel.de

Uni Köln

Volker Winkelmann, Viktor Achter

dgrid-admin@uni-koeln.de

Uni Magdeburg

Frank Hertel

Frank.Hertel@med.ovgu.de

Uni Marburg

Matthias Schmidt

dgrid-admin@mathematik.uni-marburg.de

Uni Paderborn

Jens Simon

simon@upb.de

Uni Siegen

Gerd Pokorra

pokorra@zimt.uni-siegen.de

Uni Wuppertal

Torsten Harenberg

harenberg@physik.uni-wuppertal.de

Uni Würzburg

Aleksander Paravac

aparavac@astro.uni-wuerzburg.de

ZIB

Kathrin Peter

kathrin.peter@zib.de

 

Außerbetriebnahme von Ressourcen

Nach dem Kenntnisstand der D-Grid GmbH haben folgende Ressourcenbetreiber Hardware, die aus Sonderinvestitionen des BMBF beschafft wurde, bis Ende 2012 abgeschaltet. Ressourcen-Provider, die Ressourcen aus Sonderinvestitionen des BMBF abschalten wollten, wurden gebeten, Herrn Matthias Hofmann (matthias.hofmann@d-grid-gmbh.de) zu kontaktieren. Es existierte ein Fragebogen, der in diesem Falle auszufüllen und unterschrieben per Post an die D-Grid GmbH zu senden war.

Tabelle 3

Institution

Abschaltung

Kommentare

DESY

01.01.2011

Teilabschaltung der Ressourcen DESY 06 und DESY 07. Die Storage-Ressourcen sind weiterhin im Betrieb.

TUM

31.12.2011

Betrifft die Ressource TUM 06. Es werden keine Ersatzressourcen bereitgestellt.

DKRZ

30.03.2012

Betrifft die Ressource DKRZ 07. Für das D-Grid (insbesondere C3Grid) werden Ersatzressourcen bereitgestellt.

UMR

März 2012

Betrifft die Ressource Uni Marburg 06. Es werden keine Ersatzressourcen bereitgestellt.

AIP

März 2012

Betrifft eine Teilabschaltung der Ressource AIP06

Uni Kassel

Juli 2012

Betrifft die Ressource Uni Kassel 07. Es werden keine Ersatzressourcen bereitgestellt.

FZJ

31.12.2012

Betrifft die Ressourcen FZJ06 und FZJ07. Es werden keine Ersatzressourcen bereitgestellt.

 

Nutzungsstatistiken

CPU Stunden

Innerhalb des zweiten Halbjahres 2012 sind ca. 100,7 Millionen CPU Stunden auf den Ressourcen der D-Grid Sonderinvestitionen gerechnet worden. Somit hat sich die Nutzung im Vergleich zum ersten Halbjahr etwa verdoppelt. Die Verteilung der verbrauchten CPU Stunden veränderte sich stark. Die virtuellen Organisation im D-Grid verzeichneten einen Rückgang von 27% Prozent auf ca. 49%, gleichzeitig stieg der Anteil der virtuellen Organisationen außerhalb des D-Grids um 35% auf ca. 37% (siehe Abbildung 2). Die restlichen 14% der verbrauchten CPU Stunden entstanden durch lokale Anwender, die hiermit im Vergleich zum letzten Halbjahr um ca. 8% abgenommen haben.
Der insgesamt starke Anstieg der Nutzung sowie die erhebliche Veränderung in der Verteilung der verbrauchten CPU Stunden ist darauf zurückzuführen, dass für das letzte Halbjahr noch einmal Statistiken Sites vorlagen, die im ersten Halbjahr keine zur Verfügung gestellt hatten. Hierunter fällt unter anderem der GridKa-Cluster. Insgesamt konzentriert sich die Nutzung auf wenige D-Grid Vos, da viele Projekte im zweiten Halbjahr 2012 bereits augelaufen waren.
Betrachtet man nur die virtuellen Organisationen des D-Grid, so wurden ca. 49,69 Millionen CPU Stunden (CPUh) in Anspruch genommen, was eine Zunahme von ca. 7,0 Millionen ausmacht. Die gerechneten CPUh seitens VOs außerhalb der D-Grid stiegen durch die genannten Gründe sehr stark von ca. 0,95 Millionen auf ca. 34,4 Millionen. Die lokalen Nutzer rechneten etwa 13,64 Millionen CPUh auf den Ressourcen des D-Grid.
Betrachtet man die VOs innerhalb von D-Grid genauer, so entfällt ein Großteil der gerechneten CPUh hierbei auf die virtuellen Organisationen AstroGrid-D, BWGrid, HEPCG, MediGrid und SoftComp. Abbildung 3 zeigt eine genaue Aufschlüsselung der angefallenen CPU Stunden nach virtueller Organisation des D-Grid. Zur besseren Darstellung besitzt die x-Achse eine logarithmische Skala, virtuelle Organisationen ohne Job Submission im Erhebungszeitraum sind ausgeblendet.


Abbildung 2: D-Grid / Non D-Grid Verhältnis verbrauchter CPUh

Abbildung 3: Nicht-normalisierte CPU Stunden gegliedert nach D-Grid VO


Abbildung 4 zeigt die nach Nutzergruppen kumulierten verbrauchten CPU Stunden über den Berichtszeitraum hinweg.


Abbildung 5: nach Nutzergruppen kumulierte verbrauchte CPU Stunden über den Berichtszeitraum hinweg.


 

Jobs

Neben der reinen Anzahl an CPU-Stunden wurde auch die Anzahl an submittierten Jobs festgehalten. Wie aus Abbildung 5 ersichtlich, ergibt sich analog zu den zweieinhalb Vorjahren ein Übergewicht zugunsten der Non-D-Grid Nutzung. Von den nun noch etwa 11,54 Millionen gerechneten Jobs stammen circa 30% bzw. 3,46 Millionen von D-Grid Nutzern. Damit sank der D-Grid Anteil um 26% gegenüber dem letzten Berichtszeitraum, die Anzahl submittierter Jobs stieg insgesamt stark ausgeprägt um etwa 5,0 Millionen.

 

abb04

Abbildung 5: D-Grid / Non D-Grid Verhältnis submittierter Jobs


Untersucht man die Anzahl gerechneter Jobs und gliedert diese bzgl. der einzelnen virtuellen Organisationen des D-Grid auf, so ergibt sich die in Abbildung 6 dargestellte Aufteilung. Virtuelle Organisationen, die im Erhebungszeitraum keine Jobs gerechnet haben, wurden in der Graphik nicht berücksichtigt.

abb05

Abbildung 6: Anzahl Jobs gegliedert nach D-Grid VO

Zum besseren Erkennen von Tendenzen ist in Abbildung 6 die Anzahl gerechneter Jobs nach Monaten dargestellt.

abb06

Abbildung 7: Anzahl Jobs gegliedert nach Monat

 

Storage

Abbildung 8 stellt die bereits auf den D-Grid Ressourcen gespeicherten Datenvolumens bezogen auf die Middleware dCache dar. Im Berichtszeitraum nutzten die VO HEPCG und C3Grid dCache. Eine Nutzung des über OGSA-DAI angebotenen Speichers erfolgte durch keine virtuelle Organisation.

abb07

Abbildung 8: dCache Datenvolumen pro D-Grid VO [GByte]

 

Neben dCache wurden weitere Formen von Storage Elementen durch Communities verwendet. Die Nutzung dieser teils Community-spezifischen Storage Elemente ist in Abbildung 9 zusammengefasst.

abb08

Abbildung 9 Andere Middlewares: Datenvolumen pro D-Grid VO [GByte]

 

Zusammenfassung

Abschließend sind in Abbildung 11 noch einmal die durch einige virtuelle Organisationen des D-Grid verbrauchten CPU Stunden sowie die insgesamt verbrauchten CPUh dargestellt. Der betrachtete Zeitraum beschränkt sich jedoch im Vergleich zu Abbildung 2 bzw. 3 nicht nur auf das letzte halbe Jahr, sondern betrachtet den Zeitraum Juli 2008 bis Dezember 2012. Deutlich zu erkennen ist, dass der über die letzten Berichte festgestellte Trend einer kontinuierlich steigenden Nutzung des D-Grid in diesem Berichtszeitraum erneut fortgesetzt wurde.

abb09

Abbildung 10: Verbrauchte CPU Stunden gegliedert nach Monaten (Zeitraum 07/2008 bis 06/2012)


Literaturverzeichnis

1. Schwiegelshohn, Uwe, et al., Statusbericht über die Kern-Grid-Infrastruktur. [Online] 10. 02 2009. [Zitat vom: 30. 08 2011.] StatusberichtKern0208.pdf.

2. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur. [Online] 07. 08 2009. [Zitat vom: 30. 08 2010.] StatusberichtKern0109.pdf.

3. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur. [Online] 5. Februar 2010. [Zitat vom: 30.08.2010.]

4. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 01/2010. [Online] 9. August 2010. [Zitat vom: 30.08.2011.] Statusbericht_0110.pdf.

5. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 02/2010. [Online] 23. Februar 2011. [Zitat vom: 30.08.2011.] StatusberichtKern0210.pdf

6. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 02/2011. [Online] 15. März 2012. [Zitat vom: 14.09.2012.] StatusberichtKern0211.pdf

7. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 01/2012. [Online] 15. März 2012. [Zitat vom: 23.02.2013.] StatusberichtKern0112.pdf

8. D-Grid Referenz-Installation. [Online] [Zitat vom: 30. August 2010.] http://dgiref.d-grid.de/.

9. Betriebskonzept für die D-Grid Infrastruktur, Version 2.0. [Online] 04. 12 2009. [Zitat vom: 30.08 2011.] D-Grid-Betriebskonzept.pdf.

 

Anhang

Tabelle 4: D-Grid/ Non-D-Grid CPU Stunden Gesamtübersicht

D-Grid VOs

Kürzel

Jul

Aug

Sep

Okt

Nov

Dez

AeroGrid

ae

1

0

0

0

0

0

AstroGrid-D

ad

129942

726754

1093438

1035754

663000

456716

BauVOGrid

ba

1

0

0

0

0

0

BioInterfaces

if

1

0

0

0

0

0

BisGrid

bi

1

0

0

0

0

0

Biz2Grid

bz

1

0

0

0

0

0

BWGrid

bw

6094536

6702621

6363488

6706729

6219881

6461525

C3Grid

c3

1

0

0

0

0

0

dgcms

cm

13926

202393

47220

34481

50904

70014

dgops

op

1

0

0

0

0

0

dgsi

si

1

0

0

0

0

0

dgtest

dt

1

0

0

1

0

0

Education

ed

1

0

0

0

0

0

FinGrid

fi

1

0

0

0

0

0

GapSLC

gs

1

0

0

0

0

0

GDIGrid

gd

1

0

0

0

0

0

HEPCG

hp

962444

1047733

942874

998160

1043020

1122044

InGrid

in

1

4

0

0

0

0

InterLogGrid

il

1

0

0

0

0

0

Kern-D-Grid

kg

3234

1695

3782

4516

5042

737

Lifescience

ls

1

0

0

0

0

0

MediaGrid

mg

2

5

5

5

1

1

MediGrid

md

64312

336

329

200

228

224

MosGrid

ms

35

18794

8126

29

1

3

m3hpc

mh

1

0

0

0

0

0

OptiNum

on

1

0

0

0

0

0

PartnerGrid

pa

1

0

0

0

0

0

PneumoGrid

pn

1

0

0

0

0

0

PTGrid

pt

34286

0

0

10886

27330

32877

ProGrid

pr

1

0

0

0

0

0

SoftComp

sc

111444

89228

51198

35220

3590

0

TextGrid

tx

1

0

0

0

0

0

ValueGrids

va

1

0

0

0

0

0

Viola

vi

1

0

0

0

0

0

Wisent

ws

1

0

0

0

0

0

D-Grid

7414186

8789563

8510459

8825980

8012997

8144140

VOs außerhalb D-Grid

6949321

5814017

5347245

5672605

5761795

7862110

Lokale Nutzer

2576879

2390447

2134560

2059861

2196777

2290916

Total

16940385

16994026

15992264

16558446

15971569

18297166

Tabelle 5: D-Grid/ Non-D-Grid Anzahl Jobs Gesamtübersicht

D-Grid VOs

Kürzel

Juli

August

September

Oktober

November

Dezember

AeroGrid

ae

1

0

0

0

0

0

AstroGrid-D

ad

24400

91781

93392

93434

65541

54258

BauVOGrid

ba

0

0

0

0

0

0

BioInterfaces

if

0

0

0

0

0

0

BisGrid

bi

0

0

0

0

0

0

Biz2Grid

bz

0

0

0

0

0

0

BWGrid

bw

41869

49104

62864

143996

79656

74221

C3Grid

c3

0

0

0

0

0

0

dgcms

cm

1269

26275

64101

18368

24824

60221

dgops

op

0

0

0

0

0

0

dgsi

si

0

0

0

0

0

0

dgtest

dt

985

1522

330

62

330

384

Education

ed

0

0

0

0

0

0

FinGrid

fi

0

0

0

0

0

0

GapSLC

gs

0

0

0

0

0

0

GDIGrid

gd

0

0

0

0

0

0

HEPCG

hp

349347

422075

349577

411326

330283

394606

InGrid

in

0

2

0

0

0

0

InterLogGrid

il

0

0

0

0

0

0

Kern-D-Grid

kg

4101

4183

2608

1925

1778

192

Lifescience

ls

0

0

0

0

0

0

MediaGrid

mg

0

0

0

0

0

0

MediGrid

md

20336

11650

14578

13892

13384

12175

MosGrid

ms

746

86

1361

1006

688

247

m3hpc

mh

0

0

0

0

0

0

OptiNum

on

0

0

0

0

0

0

PartnerGrid

pa

0

0

0

0

0

0

PneumoGrid

pn

0

0

0

0

0

0

PTGrid

pt

5

0

0

2

2

2

ProGrid

pr

0

0

0

0

0

0

SoftComp

sc

9453

8689

7295

3641

266

0

TextGrid

tx

0

0

0

0

0

0

ValueGrids

va

0

0

0

0

0

0

Viola

vi

0

0

0

0

0

0

Wisent

ws

0

0

0

0

0

0

D-Grid

452512

615367

596106

687652

516752

596306

VOs außerhalb D-Grid

1775752

1117296

1219066

1608684

864821

989033

Lokale Nutzer

97782

77842

69984

28605

104404

124422

Total

2326046

1810505

1885156

2324941

1485976

1709761

Tabelle 6: D-Grid/ Non-D-Grid akkumuliertes Datenvolumen dCache [GByte]

D-Grid VOs

Kürzel

Januar

Februar

März

April

Mai

Juni

AeroGrid

ae

0

0

0

0

0

0

AstroGrid-D

ad

0

0

0

0

0

0

BauVOGrid

ba

0

0

0

0

0

0

BioInterfaces

if

0

0

0

0

0

0

BisGrid

bi

0

0

0

0

0

0

Biz2Grid

bz

0

0

0

0

0

0

BWGrid

bw

0

0

0

0

0

0

C3Grid

c3

1690

1690

1690

1690

1690

1690

dgcms

cm

0

0

0

0

0

0

dgops

op

0

0

0

0

0

0

dgsi

si

0

0

0

0

0

0

dgtest

dt

0

0

0

0

0

0

Education

ed

0

0

0

0

0

0

FinGrid

fi

0

0

0

0

0

0

GapSLC

gs

0

0

0

0

0

0

GDIGrid

gd

0

0

0

0

0

0

HEPCG

hp

897821

748517

934567

1391905

873608

752698

InGrid

in

0

0

0

0

0

0

InterLogGrid

il

0

0

0

0

0

0

Kern-D-Grid

kg

0

0

0

0

0

0

Lifescience

ls

0

0

0

0

0

0

MediaGrid

mg

0

0

0

0

0

0

MediGrid

md

0

0

0

0

0

0

MosGrid

ms

0

0

0

0

0

0

m3hpc

mh

0

0

0

0

0

0

OptiNum

on

0

0

0

0

0

0

PartnerGrid

pa

0

0

0

0

0

0

PneumoGrid

pn

0

0

0

0

0

0

PTGrid

pt

0

0

0

0

0

0

ProGrid

pr

0

0

0

0

0

0

SoftComp

sc

0

0

0

0

0

0

TextGrid

tx

0

0

0

0

0

0

ValueGrids

va

0

0

0

0

0

0

Viola

vi

0

0

0

0

0

0

Wisent

ws

0

0

0

0

0

0

D-Grid

899511

750207

936257

1393595

875298

754388

VOs außerhalb D-Grid

900078

900203

899954

902120

902067

902843

Lokale Nutzer

0

0

0

0

0

0

Total

1799589

1650410

1836211

2295715

1777365

1657231

Tabelle 7: D-Grid/ Non-D-Grid akkumuliertes Datenvolumen andere Storage Middlewares [GByte]

D-Grid VOs

Kürzel

Januar

Februar

März

April

Mai

Juni

AeroGrid

ae

0

0

0

0

0

0

AstroGrid-D

ad

0

0

0

0

0

0

BauVOGrid

ba

0

0

0

0

0

0

BioInterfaces

if

0

0

0

0

0

0

BisGrid

bi

0

0

0

0

0

0

Biz2Grid

bz

0

0

0

0

0

0

BWGrid

bw

0

0

0

0

0

0

C3Grid

c3

36560

39730

39970

40980

42310

43070

dgcms

cm

0

0

0

0

0

0

dgops

op

0

0

0

0

0

0

dgsi

si

0

0

0

0

0

0

dgtest

dt

0

0

0

0

0

0

Education

ed

0

0

0

0

0

0

FinGrid

fi

0

0

0

0

0

0

GapSLC

gs

0

0

0

0

0

0

GDIGrid

gd

0

0

0

0

0

0

HEPCG

hp

0

0

0

0

0

0

InGrid

in

0

0

0

0

0

0

InterLogGrid

il

0

0

0

0

0

0

Kern-D-Grid

kg

0

0

0

0

0

0

Lifescience

ls

3600

3600

3600

3600

3600

3600

MediaGrid

mg

0

0

0

0

0

0

MediGrid

md

20000

20000

20000

20000

20000

20000

MosGrid

ms

1000

1000

1000

1000

1000

1000

m3hpc

mh

0

0

0

0

0

0

OptiNum

on

0

0

0

0

0

0

PartnerGrid

pa

0

0

0

0

0

0

PneumoGrid

pn

0

0

0

0

0

0

PTGrid

pt

0

0

0

0

0

0

ProGrid

pr

0

0

0

0

0

0

SoftComp

sc

0

0

0

0

0

0

TextGrid

tx

0

0

0

0

0

0

ValueGrids

va

0

0

0

0

0

0

Viola

vi

0

0

0

0

0

0

Wisent

ws

0

0

0

0

0

0

D-Grid

61160

64330

64570

65580

66910

67670

VOs außerhalb D-Grid

0

0

0

0

0

0

Lokale Nutzer

31160

34330

34570

35580

36910

37670

Total

92320

98660

99140

101160

103820

105340