10. August 2010
Dieser Fortsetzungsbericht basiert auf dem dritten Statusbericht über die Kern-Grid-Infrastruktur vom 05. Februar 2010. Informationen aus den vorherigen Berichten (1) (2) (3)werden nur wiederholt, wenn sich in diesem Bereich etwas geändert hat.
Fachgebiet 1
Die durch Fachgebiet 1 derzeitig betreuten und zur Verfügung gestellten Versionen der Middleware-Komponenten sind in Tabelle 1 dargestellt.
Tabelle 1 Durch Fachgebiet 1 betreute MiddlewarekomponentenDie Referenzinstallation (4) läuft auf aus Sonderinvestitionen beschaffter Hardware am Forschungszentrum Karlsruhe und ist unter http://dgiref.d-grid.de/ detailliert dokumentiert. Aktualisierungen der Referenzinstallation werden halbjährlich in Abstimmung mit dem D-Grid TAB vorgenommen. Die Aufgaben des TAB sowie Sitzungsprotokolle sind unter http://www.d-grid.de/tab/ zu finden.
Die Ansprechpartner für den Support bei Communities und Kompetenzzentren sind in der SuKo gebündelt und treffen sich halbjährlich in Karlsruhe (http://dgiwiki.d-grid.de/dgi/SuKo). Das D-Grid User Support Portal wurde basierend auf diesen Treffen weiterentwickelt und ist über http://dgus.d-grid.de/ zugreifbar.
Neben den internen Workshops und der SuKo ist nach November 2009 für September 2010 ein dritter gemeinsamer Workshop mit Fachgebiet 1 und 2 geplant, der die Abstimmung zwischen den Fachgebieten verbessert und die Koordination der Aufgaben mit den EGI.eu-Strukturen in Deutschland ermöglicht.
2. Fachgebiet 2
Betrieb der VO- und Nutzerdienste im D-Grid
VOMRS-Server-Instanzen werden am FZJ für die folgenden 32 virtuellen Organisationen des D-Grid betrieben:
aerogrid, bauvogrid, bioif, bisgrid, biz2grid, bwGrid, c3grid, dgcms, dgOps, dgsi, dgtest, education, fingrid, gapslc, gdigrid, hepcg ,ingrid ,interloggrid, kerndgrid, lifescience, mediagrid, medigrid, mosgrid, optimum, partnergrid, pneumogrid, progrid, ptgrid, textgrid, valuegrids, wisent und wisnet.
Die VOMRS-Server der VOs sind zu erreichen über das User-Portal:
http://www.d-grid.de/userportal/ und dann "Zugang zu den Ressourcen" und dann "Mitgliedschaft in einer VO", über
https://dispatch.fz-juelich.de:8814/D-Grid-VO-Member,
oder direkt über
https://dgrid-vomrs.fz-juelich.de:8443/vo/
wobei <vo-name> der Name der virtuellen Organisation ist, wie weiter oben für alle virtuellen Organisationen angegeben.
Betrieb der Ressourcen im D-Grid
Für den Betrieb der D-Grid-Ressourcen werden am FZJ der GRRS-Server und der Mapping-Dienst dgridmap betrieben. Am GRRS sind zurzeit 60 Compute-Ressourcen und 28 Speicher-Ressourcen registriert.
Der GRRS-Server hat die Adresse dispatch.fz-juelich.de, es lassen sich folgende Funktionen mit den darunter angegebenen URIs abrufen:
- Liste aller registrierter D-Grid-Ressourcen
https://dispatch.fz-juelich.de:8814/D-Grid-Resource-List - Registrieren einer neuen D-Grid-Ressource am GRRS
https://dispatch.fz-juelich.de:8814/D-Grid-Resource - Ändern der Einstellungen einer registrierten D-Grid-Ressource am GRRS
https://dispatch.fz-juelich.de:8814/D-Grid-ResourceChg
Für berechtigte Personen oder Services besteht die Möglichkeit, nach einer Anmeldung auf GRRS-Daten über eine MySQL-Datenbank zuzugreifen. Diese GRRS-DB ist zu erreichen über die folgenden drei alternativen URIs:
- mysql://dgrid-grrs-db.fz-juelich.de:3306
- mysql://grrs-db.fz-juelich.de:3306
- mysql://grrs-db.d-grid.de:3306
Der Mapping-Dienst dgridmap ist unter der folgenden URI zu erreichen:
Der dgridmap-Klient, der auf den Ressourcen zum Erzeugen der aktuellen Nutzerabbildung für diese Ressource verwendet werden kann, wird im D-Grid-Provider-Portal bereitgestellt unter http://www.d-grid.de/providerportal/ und dann "Bereitstellung von Ressourcen" und dann "Anbindung an das Ressource- und User-Management" oder direkt unter:
Weiterhin werden am FZJ Server für zentrale Dienste zum Betrieb der Grid-Middleware UNICORE betrieben. Im Einzelnen handelt es sich um die folgenden Services mit den darunter angegebenen URIs:
- UNICORE 5 Gateway
upl://zam177.zam.kfa-juelich.de:4009 - UNICORE 6 Registry
https://dgrid-unic.fz-juelich.de:9110/D-Grid/services/Registry?res=default_registry - UNICORE 6 Workflow-Service
https://dgrid-unic.fz-juelich.de:9110/D-Grid-Workflow/services/WorkflowFactory?res=default_workflow_submission/ - UNICORE 6 Orchestrator
https://dgrid-unic.fz-juelich.de:9110/D-Grid-Servorch/services/ServiceOrchestrator - UNICORE 6 CIS
https://dgrid-unic.fz-juelich.de:9113
Ausbau der Redundanz für die D-Grid-Infrastruktur
Die folgenden zu den entsprechenden primären zentralen D-Grid-Services redundanten sekundären Services mit den darunter aufgeführten URIs werden bei FZJ und KIT betrieben:- File Catalog
https://dgrid-lfc.fz-juelich.de:5010 - WMS:
https://dgrid-wms.fz-juelich.de:7443/glite_wms_wmproxy_server - BDII:
ldap://dgrid-bdii.fz-juelich.de:2170/o=grid,mds-vo-name=local - VOMS
https://dgrid-voms.fz-juelich.de:8443/vomses/
https://dgrid-voms.fz-juelich.de:8443/voms/
https://dgrid-voms.fz-juelich.de:8443/voms//services/VOMSSaml - MDS4
https://dgrid-mds.scc.kit.edu:8443/wsrf/services/DefaultIndexService
https://dgrid-mds.scc.kit.edu:8443/wsrf/services/TopIndexService - WebMDS
http://webmds.scc.kit.edu:8080/webmds
Betrieb von LRZ-Ressourcen
-
Support für betriebsbezogene Fragen der Communities und Ressourcen-Provider
- Zur Lösung von ca. 58 D-GUS und G-GUS Trouble-Tickets beigetragen
- Anzahl der erlaubten GridFTP-Verbindungen pro Sekunde auf lxgt2 auf Wünsch von Steffen Limmer (Friedrich-Alexander-Universität, Erlangen) hochgesetzt
- Alexander Beck-Ratzka (Albert Einstein Institute, Potsdam) mit Speicherplatz-Problem am lxgt2 geholfen
- Auf allen Rechnern, die als Grid-Ressourcen betrieben, werden, ständiges Aktualisieren von Dateien wie grid-mapfile und Server- Zertifikate
- Neues System für Benutzerverwaltung eingeführt, um D-Grid Benutzer enger an die LRZ-Benutzer-Verwaltung zu koppeln
Betrieb der Sonderinvestitionen
Das LRZ betreibt im Rahmen von FG 2-3 die Ressourcen die im Rahmen von Sonderinvestitionen (2006, 2007 und 2008) beschafft wurden. Die von der HEP-Community aus den Sonderinvestitionen 2006/2007 beschaffte LCG-Hardware wird auch durch das LRZ betrieben, einschließlich der notwendigen Betriebs- und Batchsysteme. Die HEP Community wird bei der Nutzung dieser Systeme umfassend betreut. Da diese Hardware auf den Produktionsbetrieb des LHC-Beschleunigers am CERN vorbereitet wird, ist ein hoher Personaleinsatz erforderlich.
Zentrale Dienste
Das LRZ betreibt außerdem zentrale Dienste für das D-Grid- das zentrale Grid Monitoring mit MDS, WebMDS und GridCSM http://webmds.lrz-muenchen.de:8080/webmds/xslfiles/csm/
- den zentralen MyProxy Server des D-Grid myproxy.lrz-muenchen.de
Das LRZ leistet Support für die Communities und Ressourcen-Provider für Fragen, die die zentralen Dienste betreffen, wie lokale Information-Provider und Indexe, den Geo-Maint Sensor, die Anbindung an das Monitoring-System und die Infrastruktur. In diesen Rahmen sind zahlreiche D-GUS Trouble-Tickets bearbeitet worden.
Der Betrieb der zentralen Dienste verlangt ständige Wartung von Hardware und Software. Unter anderem müssen die Server-Zertifikate für die Produktions-Maschinen beantragt oder erneuert werden, und neue Maschinen (reell oder virtuell), z. B. für das Monitoring durch Inca, aufgesetzt werden.
Gemessene Verfügbarkeiten der Maschinen in %
|
Januar |
Februar |
März |
April |
Gvs1 |
99.983 |
99.985 |
93.154* |
99.615 |
Gvs2 |
99.981 |
99.947 |
92.633* |
99.164 |
Lxgt2 |
99.974 |
100.000 |
100.000 |
99.464 |
D-MON |
99.952 |
99.961 |
100.000 |
100.000 |
Die mit * markierte Werte sind niedriger wegen angekündigter Cluster-Wartung.
Gemessene Verfügbarkeiten der Dienste in %
|
Januar |
Februar |
März |
April |
Gvs1 |
99.983 |
99.985 |
93.154* |
99.615 |
Gvs2 |
99.981 |
99.947 |
92.633* |
99.164 |
Lxgt2 |
99.974 |
100.000 |
100.000 |
99.464 |
D-MON |
99.952 |
99.961 |
100.000 |
100.000 |
Gemessene Verfügbarkeiten der Dienste in %
| linuxCluster | ||
|---|---|---|
|
Mai |
Juni |
gsissh |
98.839 |
99.986 |
gridftp |
98.839 |
98.839 |
ws-gram |
90.845 |
99.972 |
Unicore |
100.000 |
92.453 |
| gvs1 | ||
|---|---|---|
|
Mai |
Juni |
gsissh |
90.127 |
99.382 |
| gvs2 | ||
|---|---|---|
|
Mai |
Juni |
gsissh |
99.467 |
96.106 |
| D-MON | ||
|---|---|---|
|
Mai |
Juni |
WebApplication |
99.963 |
99.676 |
| INCA | ||
|---|---|---|
|
Mai |
Juni |
Service |
98.987 |
72.286 |
D-MON
Der Meilenstein M-5-2, "D-MON-Funktionen in Betrieb", ist termingerecht fertiggestellt worden. Da D-MON schon seit Mitte Januar dieses Jahres in Betrieb ist, ist die Erreichung des Meilensteines schon einige Monate vor dem planmäßigen Ziel in Juni erfolgt. Die umfangreichen Funktionen sind weitestgehend selbsterklärend und stehen unter
zur Verfügung.
LRZ hat ein Monitoring Task Force Treffen angeregt und am 20. Januar abgehalten, um die verschiedenen Monitoring Aktivitäten in D-Grid zu koordinieren. Es gab ausführliche Diskussionen über u.a. dgOps VO und die Rolle von D-MON. Ein zweites Treffen des Monitoring Task Force hat am 9. Juni in Jülich stattgefunden.
Es gab erste Überlegungen, wie D-MON mit GT5-IIS zusammenarbeiten könnte. Ein Schema für die Beschreibung der Umgebung existiert schon.
Fachgebiet 3
Fachgebiet 3 bereitet gemeinsam mit dem Projekt GapSLC den 5. D-Grid Security Workshop vor, der im September 2010 in Göttingen stattfinden wird, um die Ergebnisse und Entwicklungen im Bereich Grid Sicherheit einem großen D-Grid Nutzerkreis zu präsentieren.
Der DFN-Verein hat zur Ausstellung von sogenannten „Short Lived Credentials“ (SLC) eine von der EUGridPMA akkreditierte Grid-SLCS-CA eingerichtet und betreibt diese im Rahmen der DFN-PKI als nachhaltigen Dienst für D-Grid Nutzer. Außerdem werden auf Anforderung der D-Grid Communities von der DFN-Grid-CA auch Robot-Zertifikate, z.B. zum Einsatz in Grid-Portalen, ausgestellt, die in der D-Grid Kerninfrastruktur nutzbar sind.
Am RRZN Hannover wird an der Erweiterung des VO-Managements im D-Grid unter Verwendung von VO-spezifischen „virtuellen“ Cluster-Betriebssystemen gearbeitet, um die Sicherheit von Grid-Nutzerdaten zu erhöhen. Außerdem wurde eine neue Version des Dokuments „Definition of Security Levels for the D-Grid Infrastructure“ veröffentlicht, welches Einstellungen der Firewallkonfiguration für Ressource Provider unter Berücksichtigung verschiedener Middlewares vorschlägt.
Die RWTH Aachen betreibt neben dem zentralen Firewallcluster einen dedizierten Hochleistungs-firewallcluster für den LHC-Rechencluster der D-Grid Community HEP. An diesem wurden im Produktionsbetrieb Messungen durchgeführt. Durch den Einsatz neuerer Hardware konnte ein Durchsatz nahe dem theoretischen Maximum von 10 GBit/s erreicht werden.
Das DFN-CERT entwickelt und testet ein Web-Portal für den D-Grid Firewall Verifier, das demnächst auch öffentlich zur Verfügung stehen wird.
Fachgebiet 4
Das Supportzentrum für dCache, iRODS, Stellaris und OGSA/DAI ist in Betrieb. Es werden Tickets im DGUS und GGUS Portal bearbeitet, teilweise gemeinsam mit der Supportgruppe der Helmholtz Allianz "Physics at the Terascale". Desweiteren werden regelmäßig Schulungen vorbereitet und durchgeführt, die immer gut angenommen werden.
MedInfoGrid wird weiterhin beim Einsatz von iRODS unterstützt und die Kontakte zu WissGrid wurden intensiviert. Zur Anbindung von iRODS an dCache und Globus wurde ein Modul entwickelt, das iRODS-Rules bereit stellt, um per GridFTP auf Ressourcen zuzugreifen. Das GridFTP Modul wurde in die Liste der offiziellen iRODS Erweiterungen aufgenommen.
Die iRODS Leistungstests gemeinsam mit SUN wurden verschoben, weil nach der Übernahme durch Oracle das SUN Solution Center umgebaut wird und frühestens im Herbst wieder zur Verfügung steht.
Die Tests zum Einsatz von dCache mit NFS4.1 wurden weiter geführt. Die aktuelle dCache Version enthält einen vollständig implementierten und mit dem Name Space Chimera lauffähigen NFS4.1 Server. Klienten sind in aktuellen Linux Distributionen vorhanden. Mit der WissGrid Photon Science Community wurden die Möglichkeiten zum Einsatz von dCache zum Datenmanagement evaluiert und bereits erste Daten transferiert.
Im Bereich Metadaten wurde die Befragung verschiedener D-Grid Communities weiter geführt. Dabei wurde insbesondere der Workflow untersucht, um Gemeinsamkeiten und Unterschiede bei der Metadatenerstellung heraus zuarbeiten. Dabei wurde festgestellt, dass die Unterschiede größer als die Gemeinsamkeiten sind. Deshalb wurde ein Leitfaden erstellt, der die Communities beim Entwurf einer eigenen Metadatenrichtlinie unterstützt.
Fachgebiet 5
Für das Accounting der D-Grid Ressourcen ist das Distributed Grid Accounting System (DGAS) installiert. Angeschlossene Sites nutzen den DGAS-Client um ihre Accounting-Informationen an den zentralen Server zu übertragen. Der DGAS-Server ist in zwei Versionen installiert, Sites die noch die ältere Version nutzen sind aufgefordert auf die neue Version zu migrieren. Sites mit erhöhten Performanceansprüchen sind dieser Aufforderung schon nachgekommen und transferieren ihre Accounting-Records an den DGAS-Server der Version 3.4. Zeitweilige Schwierigkeiten bei der Übertragung der Nutzungsinformationen konnten schnell gefunden und nachhaltig behoben werden, so dass beide DGAS-Server nun stabil und zuverlässig arbeiten.
Für VO-Nutzer, VO-Manager, Site-Manager und ROC-Manager ist ein Web-Interface vorhanden, das entsprechend den Berechtigungen der einzelnen Nutzer Reports über die Ressourcen-Nutzung generiert und darstellt. Auf Basis der Nutzungs-Informationen für ROC-Manager konnten die Statistiken für diesen Nutzungsbericht erstellt werden.
Sondermaßnahmen 2006, 2007 und 2008
Im Rahmen der D-Grid Projekte haben sich einzelne Institutionen bereit erklärt, eigene Ressourcen im D-Grid zur Verfügung zu stellen. Allerdings wurden damit keine Verpflichtungserklärungen bezüglich der zu installierenden Softwarekomponenten abgegeben.
Die im Bereich DGI1-FG2 beteiligten Institutionen bildeten ursprünglich das so genannte Kern-D-Grid. Mit Hilfe dieser Institutionen wurde ein erstes Betriebsmodell erstellt. Unabhängig von der erklärten Verpflichtung dieser Institutionen, Ressourcen dem D-Grid zur Verfügung zu stellen, wird im diesem Bericht nur der Status der im Rahmen der Sondermaßnahmen 2006, 2007 und 2008 für das D-Grid erworbenen Ressourcen dargestellt.
Dabei ist zu berücksichtigen, dass die Antrag stellenden Institutionen auch explizite Verpflichtungen bezüglich dieser Ressourcen im Antrag akzeptiert haben. Diese Verpflichtungen betreffen die zu installierenden Softwarekomponenten, den Zeitpunkt der Betriebsbereitschaft, die Unterstützung des D-Grid Betriebsmodells sowie eine Bericht Erstattungspflicht gegenüber dem D-Grid Beirat. Diese Berichte werden in Tabelle 2 zusammengefasst. Bei Anforderung werden den Mitgliedern des Beirats auch Einzelberichte zur Verfügung gestellt.
Die in Tabelle 2 aufgestellte Hardware entspricht dem aktuellen Kenntnisstand des D-Grid. Serverknoten bleiben unberücksichtigt. Der Speicher ist zusammengefasst und soll nur einen Anhaltspunkt liefern. Es wird daher nicht zwischen Cache und Hauptspeicher unterschieden. Tabelle 2 Sonderinvestitionen 2006 bis 2008 (DC= DualCore, QC= QuadCore, 8C= 8 Core, TB=TByte)
Institution |
Hardware |
Software |
Betriebsaufnahme |
Monitoring |
AIP 06 |
10 DC,96 TB |
GT4.0.7, OSGA DAI, dCache |
Feb. 2007 |
Feb. 2007 |
AIP /AEI 07 |
29 DC |
GT4.0.6 |
Mar. 2008 |
Feb. 2007 |
AWI 07 |
48 TB, Archiv |
GT4.0.8, dCache 1.8.0 |
Dezember 2008 |
|
DESY 06 |
63 DC, 110 TB |
siehe DESY 07 |
Jan 2007 |
Jan 2007, EGEE |
DESY 07 |
192 QC, 110 TB, 400 TB Archiv |
gLite 3.1, dCache 1.8, dCache 1.9 |
Mar 2008 |
Mar 2008, EGEE |
DKRZ 06 |
1 DC,24TB |
siehe DKRZ 07 |
siehe DKRZ 07 |
siehe DKRZ 07) |
DKRZ 07 |
1 DC, 1 PB Archiv |
GT4.0.5, dCache |
Mitte 2008 |
Dez 2008 |
DLR 07 |
45 8C |
UNICORE6 |
Mar 2008 |
|
DWD 07 |
1 PB Archiv |
|
|
Jun 2008 |
FhG IAO 07 |
24 8CC |
GT4.0.5 |
Mar 2008 |
Mar 2008 |
FhG SCAI 06 |
27 DC |
siehe FhG SCAI 07 |
Mai 2007 |
Aug 2007 |
FhG SCAI 07 |
5 DC, 1 8C, 5 TB |
GT4.0.3/7, gLite 3.1, UNICORE5 |
Apr 2008 |
Apr 2008 |
FZJ 06 |
44 QC, 12 TB |
GT4.0.5, gLite3.1, UNICORE5/6, dCache 1.9 |
Apr 2007 |
Apr 2007 |
FZJ 07 |
78 QC, 7,5 TB |
UNICORE5 |
Feb 2008 |
- |
FZK 06 |
78 DC |
GT4, gLite, UNICORE |
März 2007 (gLite), Aug 2007 (komplett) |
Aug 2007 |
FZK 07 |
180 QC, 96 8C, 214,5 TB |
GT4, gLite, UNICORE, |
Mai 2008 |
Mai 2008 |
FZK 07 |
10 DC |
GT4, gLite, UNICORE, |
Aug. 2008 |
|
GSI 06 |
15 DC, 33 TB |
gLite, GT 4 |
Jan 2007 |
Feb 2008 |
GSI 07 |
54 8C, 210 TB |
gLite, GT 4 |
Feb 2008 |
Feb 2008 |
HLRS 06 |
26 QC, 7 Cell Blades, 100 TB |
GT4, gLite, UNICORE, OGSA-DAI |
Feb 2007 |
Mar 07 |
HRLS 07 |
1 Knoten mit 8 CPUs NEC SX-8R, 7 Knoten mit 16 CPUs NEC SX-9 |
UNICORE |
Dez 2007 |
|
bwGrid 07 |
414 8C |
GT4 |
Apr 2008 |
|
IZBI |
2 TB |
Portalserver |
|
|
LMU 06 |
20 QC |
siehe LMU 07 |
Apr 2007 |
Aug 2008 |
LMU 07 |
50 QC, 97 TB |
gLite, GT4, dCache |
Mar 2008 |
Aug 2008 |
LRZ 06 |
23QC, 8 TB |
GT4, gLite, UNICORE, SRM/dCache |
Feb 2007 |
Feb 2007 |
LRZ 06 |
8 QC |
IO-Server für D-Grid |
Feb 2007 |
Feb 2007 |
LRZ 07 |
4 8C |
Zentrale D-Grid Dienste |
Mar 2008 |
- |
MPG 06 |
24 TB |
siehe LRZ |
|
|
MPG 07 |
56 QC, 82 TB |
gLite3, dCache |
Jun 2008 |
- |
OFFIS 06 |
86 DC, 4 QC, 12 TB |
GT4.0.4, UNICORE5, gLite3.0 |
Mar 2007 |
Ende 2008 |
RRZN 06 |
60 QC, 45 TB |
siehe RRZN 07 |
Feb 2007 |
Feb 2007 |
RRZN 07 |
Upgrade von RRZN 06 auf: 60 8C, 90 TB |
GT4, gLite, UNICORE, SRM/dCache |
Apr 2008 |
Apr 2008 |
TU Kl 07 |
40 QC, 9,6 TB |
GT4.0.8 |
Mar 2008 |
Apr 2008 |
TUM 06 |
8 DC, 2 TB |
siehe LRZ |
|
|
TUD ZIH 06 |
60 TB |
SRB-Nirvana, OGSA-DAI |
Jun 2007 |
|
TUD ZIH 07 |
128 QC, 12 TB |
GT4.0.7, gLite 3.1, UNICORE 6, SRB, iRODS, dCache 1.8, OGSA-DAI |
Jun 2008 |
Mai 2008 |
TU Do IRF 06 |
76 DC , 6 TB |
GT 4.0.5, UNICORE 5, gLite3.1, OGSA-DAI, dCache 1.9 |
Apr 2007 |
Apr 2007 |
TU Do ITMC 07 |
256 QC, 100 TB |
GT 4.0.5, UNICORE 5, gLite3.1, dCache 1.9, OGSA-DAI |
Mai 2008 |
Mai 2008 |
GoeGrid 06 |
11 2DC, 15 TB |
GT 4.0.x, gLite 3.1, UNICORE5, SRB |
Jun 2007 |
Okt 2007 |
GoeGrid 07 |
76 2QC, 268 TB |
GT 4.0.x, gLite 3.1, UNICORE5, dCache, SRB/iRODS |
Mar 2008 |
Apr 2008 |
Universitätsmedizin Göttingen |
9 QC, 1 8C |
GT4 |
Juli 2009 |
Juli 2009 |
Uni Heidelberg (ZAH) 06 |
96 TB |
GT4 |
Feb 2007 |
|
Uni Kassel 07 |
42 QC, 8 TB |
GT4.0.x |
Mai 2008 |
Jun 2008 |
Uni Kiel |
6 DC, 1 8C, 3,5 TB |
GT4.0.5, OGSA-DAI |
|
|
Uni Köln 06 |
11 TB |
dCache 1.9 |
Mar 2007 |
|
Uni Köln 07, SuGI Cluster |
64 QC |
GT4.0.6/7 |
Dez 2007 |
Frühjahr 2008 |
Uni Köln 07, C3RC |
32 TB Archiv |
dCache 1.9 |
Mar 2008 |
|
Universitätsmedizin Magdeburg |
20 QC |
GT 4 |
|
|
Uni Marburg 06 |
19 QC, 4.75 TB |
GT4.0.5 |
Dez 2006 |
Dez 2006 |
Uni Paderborn 07 |
8 QC, 10 TB |
GT 4.0.5, UNICORE5/6 |
Mar 2008 |
Jun 2008 |
Uni Siegen 06 |
18 DC |
GT4, UNICORE |
Mar 2007 |
Mai 2007 |
Uni Wuppertal, 06 |
50 DC, 30 TB |
siehe Uni Wuppertal 07 |
|
Jul 2008 |
Uni Wuppertal 07 |
52 QC, 198 TB |
GT 4, UNICORE, gLite3.1, dCache1.8 |
Dez 2007 |
Jul 2008 |
Uni Würzburg 07 |
2 8C, 16 TB |
GT 4, dCache |
Sep 08 |
April/Mai 2009 |
ZIB 06 |
40 DC, 192 TB |
siehe ZIB07 |
Feb 2007 |
Feb 2007 |
ZIB 07 |
40 QC, 254 TB |
GT4, UNICORE, gLite 3, dCache, SRB, iRODS |
Feb 2008 |
Feb 2008 |
Die Ansprechpartner an den einzelnen Institutionen sind in Tabelle 3 aufgeführt.
Tabelle 3 Ansprechpartner f ür die SonderinvestitionenInstitution |
Ansprechpartner |
|
AIP |
Harry Enke |
|
AWI |
Benny Bräuer |
|
DESY |
Volker Gülzow |
|
DKRZ |
Stephan Kindermann |
|
DLR |
Andreas Schreiber, Michael Sattler |
|
DWD |
Heinrich Knottenberg |
|
FhG IAO |
Oliver Strauss |
|
FhG SCAI |
Horst Schwichtenberg |
|
FZJ |
Otto Büchner, Willi Homberg |
|
FZK |
Wilhelm Bühler |
|
GSI |
Peter Malzacher |
|
HLRS |
Sabine Roller |
|
IZBI |
Michael Hartung |
|
LMU |
Guenter Duckeck |
|
LRZ |
Arthur Carlson, Helmut Reiser |
|
MPG |
Stefan Kluth |
|
OFFIS |
Guido Scherp |
|
RRZN |
Denis Göhr |
|
SUB Göttingen |
Andreas Aschenbrenner |
|
TU Kl |
Markus Hillenbrand |
|
TUM |
Angelika Reiser |
|
TUD ZIH |
Ralph Müller-Pfefferkorn |
|
TU Do IRF |
Stefan Freitag |
|
TU Do ITMC |
Christian Becker |
|
GoeGrid |
Ulrich Schwardmann |
|
Uni Heidelberg |
Peter Schwekendiek |
|
Uni Kassel |
Peter Zanger |
|
Uni Kiel |
Alexander Herrmann |
|
Uni Köln |
Volker Winkelmann, Viktor Achter |
|
Uni Magdeburg |
Frank Hertel |
|
Uni Marburg |
Matthias Schmidt |
|
Uni Paderborn |
Jens Simon |
|
Uni Siegen |
Gerd Pokorra |
|
Uni Wuppertal |
Torsten Harenberg |
|
Uni Würzburg |
Aleksander Paravac |
|
ZIB |
Kathrin Peter |
Innerhalb des ersten Halbjahres 2010 sind ca. 80,9 Millionen CPU Stunden auf den Ressourcen der D-Grid Sonderinvestitionen gerechnet worden. Dies ist einer Zunahme von circa 20 % im Vergleich zum zweiten Halbjahr 2009. Die Verteilung der verbrauchten CPU Stunden verschob sich leicht zu Gunsten der virtuellen Organisationen des D-Grid. Diese Organisationen verzeichneten einen Zuwachs von einem Prozent, gleichzeitig fiel der Anteil der virtuellen Organisationen außerhalb D-Grids auf nur 24 % zurück (siehe Abbildung 1). Die restlichen 21 % der verbrauchten CPU Stunden entstanden durch lokale Anwender.
Abbildung 1: Verbrauchte CPUh gegliedert nach Nutzergruppen
Betrachtet man nur die virtuellen Organisationen des D-Grid, so wurden ca. 45 Millionen CPU Stunden in Anspruch genommen; ein Großteil dieser CPU-Stunden entfällt wie im vorherigen Halbjahr auf die virtuellen Organisationen AstroGrid-D, BWGrid, HEPCG, MediGrid und SoftComp. Abbildung 2 zeigt eine genaue Aufschlüsselung der angefallenen CPU Stunden nach virtueller Organisation des D-Grid. Zur besseren Darstellung besitzt die x-Achse eine logarithmische Skala, virtuelle Organisationen ohne Job Submission im Erhebungszeitraum sind ausgeblendet.
Abbildung 2 Nicht-normalisierte CPU Stunden gegliedert nach D-Grid VO
Abbildung 3 zeigt die verbrauchten CPU Stunden über den Berichtszeitraum hinweg.
Neben der reinen Anzahl an CPU-Stunden wurde auch die Anzahl an submittierten Jobs festgehalten. Wie aus Abbildung 4 ersichtlich, ergibt sich analog zum Vorjahr ein Übergewicht zugunsten der Non-D-Grid Nutzung. Von den mehr als 17 Millionen gerechneten Jobs stammen nur circa 28% bzw. 4,8 Millionen von D-Grid Nutzern.
Abbildung 4 D-Grid/ Non-D-Grid Anzahl Jobs
Untersucht man die Anzahl gerechneter Jobs und gliedert diese bzgl. der einzelnen Virtuellen Organisationen des D-Grid auf, so ergibt sich die in Abbildung 5 dargestellte Aufteilung. Virtuelle Organisationen, die im Erhebungszeitraum keine Jobs gerechnet haben, wurden in der Graphik nicht berücksichtigt.
Zum besseren Erkennen von Tendenzen ist in Abbildung 6 die Anzahl gerechneter Jobs nach Monaten dargestellt.
Abbildung 6 Anzahl Jobs gegliedert nach Monat
Abbildung 7 stellt die bereits auf den D-Grid Ressourcen gespeicherten Datenvolumens bezogen auf die Middleware dCache dar. Eine Nutzung des über OGSA-DAI angebotenen Speichers erfolgte keine virtuelle Organisation.
Abbildung 7 dCache Datenvolumen pro D-Grid VO [GByte]
Neben dCache wurden weitere Formen von Storage Elementen durch Communities verwendet. Die Nutzung dieser teils Community-spezifischen Storage Elemente ist in Abbildung 8 zusammengefasst. Das IZBI stellte zudem mehrere Datenbanken/ Ontologien wie SwissProt, D-Grid Ontology und Ensembl Homo Sapiens bereit.
Abbildung 8 Andere Middlewares: Datenvolumen pro D-Grid VO [GByte]
Abschließend sind in Abbildung 9 noch einmal die durch die einzelnen virtuellen Organisationen des D-Grid verbrauchten CPU Stunden dargestellt. Der betrachtete Zeitraum beschränkt sich jedoch im Vergleich zu Abbildung 2 bzw. 3 nicht nur auf das letzte halbe Jahr, sondern betrachtet den Zeitraum Juli 2008 bis Juni 2010.
Abbildung 9 Verbrauchte CPU Stunden gegliedert nach Monaten (Zeitraum 07/2008 bis 06/2010)
Der im letzten Bericht angedeutete Trend einer kontinuierlich Steigenden Nutzung des D-Grid ist eingetreten.
Literaturverzeichnis
1. Statusbericht über die Kern-Grid-Infrastruktur. [Online] 10. 02 2009. [Zitat vom: 12. 01 2010.] StatusberichtKern0208.pdf.
2. Schwiegelshohn, Uwe, et al. Statusbericht über die D-Grid Kern Infrastruktur. [Online] 07. 08 2009. [Zitat vom: 12. 01 2010.] StatusberichtKern0109.pdf.
3. Schwiegelshohn, Uwe, et al. Statusbericht über die D-Grid Kern Infrastruktur. [Online] 5. Februar 2010. [Zitat vom: 5. Juli 2010.]
4. D-Grid Referenz-Installation. [Online] [Zitat vom: 13. Juli 2009.] http://dgiref.d-grid.de/.
5. Fieseler, Thomas, et al. Konzept für die Mehrfachmitgliedschaft in Virtuellen Organisationen im D-Grid. [Online] 30. Juni 2008. [Zitat vom: 13. Juli 2009.] DGI-2-M-2-2-5-1-Konzept-Mehrfachmitgliedschaft-V-1.0.pdf.
6. —. Konzept für die Rechtevergabe an Untergruppen im D-Grid. [Online] 30. Juni 2008. [Zitat vom: 13. Juli 2009.] DGI-2-M-2-2-4-1-Konzept-Gruppen-V-1.0.pdf.
7. Betriebskonzept für die D-Grid Infrastruktur, Version 2.0. [Online] 04. 12 2009. [Zitat vom: 02. 02 2010.] D-Grid-Betriebskonzept.pdf.
8. FG 2.3: Meilenstein 5-1, „Erstellen eines Übernahmeplans der D-MON Funktionen“.
9. FG. 2.2: Meilenstein 6-1, „Erstellung eines Implementierungsplans für die Ergebnisse von IVOM".
10. FG 2.2: Prototyp zur automatisierten Erzeugung von VOMRS-Instanzen.
Anhang
Tabelle 4 D-Grid/ Non-D-Grid CPU Stunden Gesamtübersicht
D-Grid VOs |
Januar |
Februar |
März |
April |
Mai |
Juni |
Total |
AeroGrid |
43065 |
2674 |
489 |
68 |
76 |
48409 |
94781 |
AstroGrid-D |
2431496 |
2186102 |
1772049 |
2026295 |
1789821 |
2269591 |
12475353 |
BauVOGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BioInterfaces |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BisGrid |
11904 |
10752 |
11904 |
11520 |
11904 |
11520 |
69504 |
Biz2Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BWGrid |
3961678 |
3520416 |
4358406 |
4439889 |
4625164 |
4409829 |
25315382 |
C3Grid |
5376 |
5376 |
5376 |
5376 |
5376 |
5376 |
32256 |
dgcms |
1042 |
12266 |
3157 |
13307 |
46314 |
72396 |
148482 |
dgops |
14 |
31 |
3 |
1 |
0 |
0 |
49 |
dgsi |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgtest |
36 |
3 |
22 |
5 |
3 |
44 |
113 |
Education |
2149 |
1468 |
6367 |
2902 |
41020 |
104380 |
158286 |
FinGrid |
36726 |
31959 |
41688 |
33489 |
44348 |
26980 |
215190 |
GapSLC |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GDIGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
HEPCG |
201306 |
231159 |
472140 |
326898 |
191969 |
209388 |
1632860 |
InGrid |
21919 |
28463 |
0 |
5626 |
0 |
3118 |
59126 |
InterLogGrid |
1 |
0 |
0 |
0 |
0 |
0 |
1 |
Kern-D-Grid |
34 |
275 |
8 |
4120 |
2 |
69 |
4508 |
Lifescience |
143926 |
104287 |
85710 |
57580 |
46208 |
89710 |
527420 |
MediaGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MediGrid |
220866 |
395609 |
563023 |
520661 |
523689 |
632136 |
2855985 |
MosGrid |
5376 |
5376 |
5376 |
5376 |
5376 |
5376 |
32256 |
OptiNum |
712 |
2182 |
3002 |
1313 |
1310 |
17 |
8536 |
PartnerGrid |
88757 |
0 |
0 |
0 |
0 |
0 |
88757 |
PneumoGrid |
0 |
0 |
0 |
4 |
1 |
4 |
9 |
PTGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ProGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
SoftComp |
218297 |
198731 |
123152 |
61430 |
145073 |
231936 |
978619 |
TextGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ValueGrids |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Viola |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Wisent |
0 |
0 |
0 |
0 |
541 |
0 |
541 |
D-Grid |
7394680 |
6737129 |
7451871 |
7515860 |
7478195 |
8120280 |
44698014 |
VOs außerhalb D-Grid |
2661623 |
2586051 |
4150756 |
3143420 |
3594669 |
2799009 |
18935527 |
Lokale Nutzer |
2591072 |
2935006 |
2814643 |
3076591 |
3480678 |
2407273 |
17305263 |
Total |
12647375 |
12258185 |
14417270 |
13735871 |
14553542 |
13326561 |
80938804 |
Tabelle 5 D-Grid/ Non-D-Grid Anzahl Jobs Gesamtübersicht
D-Grid VOs |
Januar |
Februar |
März |
April |
Mai |
Juni |
Total |
AeroGrid |
222 |
65 |
158 |
30 |
93 |
304 |
872 |
AstroGrid-D |
140432 |
120257 |
115212 |
118862 |
106385 |
133114 |
734262 |
BauVOGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BioInterfaces |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BisGrid |
1 |
0 |
8 |
4 |
3 |
3 |
19 |
Biz2Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BWGrid |
142224 |
29421 |
29745 |
44625 |
25544 |
31451 |
303010 |
C3Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgcms |
1511 |
2078 |
1848 |
11010 |
29703 |
34612 |
80762 |
dgops |
1816 |
1670 |
415 |
399 |
461 |
484 |
5245 |
dgsi |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgtest |
3248 |
3773 |
2711 |
5612 |
2830 |
2099 |
20273 |
Education |
4 |
0 |
30 |
21 |
6576 |
33795 |
40426 |
FinGrid |
3163 |
3502 |
4849 |
3416 |
4290 |
2168 |
21388 |
GapSLC |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GDIGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
HEPCG |
128432 |
169344 |
197033 |
240517 |
168004 |
235351 |
1138681 |
InGrid |
36 |
11 |
0 |
162 |
0 |
40 |
249 |
InterLogGrid |
0 |
0 |
0 |
0 |
1 |
0 |
1 |
Kern-D-Grid |
203 |
169 |
1270 |
2650 |
2565 |
2486 |
9343 |
Lifescience |
2412 |
10818 |
2129 |
6522 |
559 |
1583 |
24023 |
MediaGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MediGrid |
345379 |
347455 |
367276 |
241802 |
792740 |
280377 |
2375029 |
MosGrid |
0 |
0 |
0 |
0 |
0 |
160 |
160 |
OptiNum |
905 |
8085 |
20058 |
5672 |
18903 |
2263 |
55886 |
PartnerGrid |
17384 |
44 |
43 |
26 |
0 |
49 |
17546 |
PneumoGrid |
0 |
0 |
0 |
94 |
390 |
1736 |
2220 |
PTGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ProGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
SoftComp |
4419 |
2672 |
1515 |
1245 |
3879 |
6377 |
20107 |
TextGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ValueGrids |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Viola |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Wisent |
0 |
0 |
2 |
0 |
17484 |
0 |
17486 |
D-Grid |
791791 |
699364 |
744302 |
682669 |
1180410 |
768452 |
4866988 |
VOs außerhalb D-Grid |
1524856 |
1568129 |
1718076 |
1852825 |
1844604 |
1715799 |
10224289 |
Lokale Nutzer |
603216 |
374760 |
111179 |
228730 |
332777 |
326605 |
1977267 |
Total |
2919863 |
2642253 |
2573557 |
2764224 |
3357791 |
2810856 |
17068544 |
Tabelle 6 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen dCache [GByte]
D-Grid VOs |
Januar |
Februar |
März |
April |
Mai |
Juni |
Mittelwert |
AeroGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
AstroGrid-D |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BauVOGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BioInterfaces |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BisGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Biz2Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BWGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
C3Grid |
718 |
718 |
718 |
718 |
718 |
718 |
718 |
dgcms |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgops |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgsi |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgtest |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Education |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
FinGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GapSLC |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GDIGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
HEPCG |
84933 |
95603 |
98342 |
84016 |
108692 |
149582 |
103528 |
InGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
InterLogGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Kern-D-Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Lifescience |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MediaGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MediGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MosGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
OptiNum |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PartnerGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PneumoGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PTGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ProGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
SoftComp |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
TextGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ValueGrids |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Viola |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Wisent |
3810 |
3810 |
3810 |
3810 |
3810 |
3810 |
3810 |
VOs außerhalb D-Grid |
844707 |
846589 |
852179 |
861580 |
865449 |
929841 |
866724 |
Lokale Nutzer |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Total |
934168 |
946720 |
955049 |
950124 |
978669 |
1083951 |
974780 |
Tabelle 7 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen andere Storage Middlewares [GByte]
D-Grid VOs |
Januar |
Februar |
März |
April |
Mai |
Juni |
Mittelwert |
AeroGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
AstroGrid-D |
30 |
30 |
30 |
31 |
39 |
196 |
59 |
BauVOGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BioInterfaces |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BisGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Biz2Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
BWGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
C3Grid |
28210 |
28180 |
28180 |
28940 |
28900 |
29300 |
28618 |
dgcms |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgops |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgsi |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
dgtest |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Education |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
FinGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GapSLC |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
GDIGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
HEPCG |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
InGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
InterLogGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Kern-D-Grid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Lifescience |
4600 |
4600 |
4600 |
4600 |
4600 |
4600 |
4600 |
MediaGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
MediGrid |
18298 |
18298 |
18299 |
18299 |
18299 |
18713 |
18368 |
MosGrid |
300 |
300 |
300 |
300 |
300 |
300 |
300 |
OptiNum |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PartnerGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PneumoGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
PTGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ProGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
SoftComp |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
TextGrid |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
ValueGrids |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Viola |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
Wisent |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
VOs außerhalb D-Grid |
75 |
7 |
5 |
6 |
10 |
5 |
18 |
Lokale Nutzer |
22810 |
22780 |
22780 |
23540 |
23500 |
23900 |
23218 |
Total |
74323 |
74195 |
74194 |
75716 |
75648 |
77014 |
75181 |