10. August 2010

Dieser Fortsetzungsbericht basiert auf dem dritten Statusbericht über die Kern-Grid-Infrastruktur vom 05. Februar 2010. Informationen aus den vorherigen Berichten (1) (2) (3)werden nur wiederholt, wenn sich in diesem Bereich etwas geändert hat.

Fachgebiet 1

Die durch Fachgebiet 1 derzeitig betreuten und zur Verfügung gestellten Versionen der Middleware-Komponenten sind in Tabelle 1 dargestellt.

Tabelle 1 Durch Fachgebiet 1 betreute Middlewarekomponenten

Die Referenzinstallation (4) läuft auf aus Sonderinvestitionen beschaffter Hardware am Forschungszentrum Karlsruhe und ist unter http://dgiref.d-grid.de/ detailliert dokumentiert. Aktualisierungen der Referenzinstallation werden halbjährlich in Abstimmung mit dem D-Grid TAB vorgenommen. Die Aufgaben des TAB sowie Sitzungsprotokolle sind unter http://www.d-grid.de/tab/ zu finden.

Die Ansprechpartner für den Support bei Communities und Kompetenzzentren sind in der SuKo gebündelt und treffen sich halbjährlich in Karlsruhe (http://dgiwiki.d-grid.de/dgi/SuKo). Das D-Grid User Support Portal wurde basierend auf diesen Treffen weiterentwickelt und ist über http://dgus.d-grid.de/ zugreifbar.

Neben den internen Workshops und der SuKo ist nach November 2009 für September 2010 ein dritter gemeinsamer Workshop mit Fachgebiet 1 und 2 geplant, der die Abstimmung zwischen den Fachgebieten verbessert und die Koordination der Aufgaben mit den EGI.eu-Strukturen in Deutschland ermöglicht.

2. Fachgebiet 2

Betrieb der VO- und Nutzerdienste im D-Grid

VOMRS-Server-Instanzen werden am FZJ für die folgenden 32 virtuellen Organisationen des D-Grid betrieben:

aerogrid, bauvogrid, bioif, bisgrid, biz2grid, bwGrid, c3grid, dgcms, dgOps, dgsi, dgtest, education, fingrid, gapslc, gdigrid, hepcg ,ingrid ,interloggrid, kerndgrid, lifescience, mediagrid, medigrid, mosgrid, optimum, partnergrid, pneumogrid, progrid, ptgrid, textgrid, valuegrids, wisent und wisnet.

Die VOMRS-Server der VOs sind zu erreichen über das User-Portal:

http://www.d-grid.de/userportal/ und dann "Zugang zu den Ressourcen" und dann "Mitgliedschaft in einer VO", über
https://dispatch.fz-juelich.de:8814/D-Grid-VO-Member,
oder direkt über
https://dgrid-vomrs.fz-juelich.de:8443/vo//vomrs,
wobei <vo-name> der Name der virtuellen Organisation ist, wie weiter oben für alle virtuellen Organisationen angegeben.

Für den D-Grid-VOMRS-Server vomrs.zam.kfa-juelich.de wurde zusätzlich der generische DNS-Name dgrid-vomrs.fz-juelich.de eingerichtet. Außerdem wurde der alternative Name vomrs.d-grid.de eingerichtet.

Betrieb der Ressourcen im D-Grid

Für den Betrieb der D-Grid-Ressourcen werden am FZJ der GRRS-Server und der Mapping-Dienst dgridmap betrieben. Am GRRS sind zurzeit 60 Compute-Ressourcen und 28 Speicher-Ressourcen registriert.

Der GRRS-Server hat die Adresse dispatch.fz-juelich.de, es lassen sich folgende Funktionen mit den darunter angegebenen URIs abrufen:

Für berechtigte Personen oder Services besteht die Möglichkeit, nach einer Anmeldung auf GRRS-Daten über eine MySQL-Datenbank zuzugreifen. Diese GRRS-DB ist zu erreichen über die folgenden drei alternativen URIs:

Der Mapping-Dienst dgridmap ist unter der folgenden URI zu erreichen:

Der dgridmap-Klient, der auf den Ressourcen zum Erzeugen der aktuellen Nutzerabbildung für diese Ressource verwendet werden kann, wird im D-Grid-Provider-Portal bereitgestellt unter http://www.d-grid.de/providerportal/ und dann "Bereitstellung von Ressourcen" und dann "Anbindung an das Ressource- und User-Management" oder direkt unter:

Weiterhin werden am FZJ Server für zentrale Dienste zum Betrieb der Grid-Middleware UNICORE betrieben. Im Einzelnen handelt es sich um die folgenden Services mit den darunter angegebenen URIs:

Ausbau der Redundanz für die D-Grid-Infrastruktur

Die folgenden zu den entsprechenden primären zentralen D-Grid-Services redundanten sekundären Services mit den darunter aufgeführten URIs werden bei FZJ und KIT betrieben:

Betrieb von LRZ-Ressourcen

  • Support für betriebsbezogene Fragen der Communities und Ressourcen-Provider
    • Zur Lösung von ca. 58 D-GUS und G-GUS Trouble-Tickets beigetragen
    • Anzahl der erlaubten GridFTP-Verbindungen pro Sekunde auf lxgt2 auf Wünsch von Steffen Limmer (Friedrich-Alexander-Universität, Erlangen) hochgesetzt
    • Alexander Beck-Ratzka (Albert Einstein Institute, Potsdam) mit Speicherplatz-Problem am lxgt2 geholfen
  • Auf allen Rechnern, die als Grid-Ressourcen betrieben, werden, ständiges Aktualisieren von Dateien wie grid-mapfile und Server- Zertifikate
  • Neues System für Benutzerverwaltung eingeführt, um D-Grid Benutzer enger an die LRZ-Benutzer-Verwaltung zu koppeln

Betrieb der Sonderinvestitionen

Das LRZ betreibt im Rahmen von FG 2-3 die Ressourcen die im Rahmen von Sonderinvestitionen (2006, 2007 und 2008) beschafft wurden. Die von der HEP-Community aus den Sonderinvestitionen 2006/2007 beschaffte LCG-Hardware wird auch durch das LRZ betrieben, einschließlich der notwendigen Betriebs- und Batchsysteme. Die HEP Community wird bei der Nutzung dieser Systeme umfassend betreut. Da diese Hardware auf den Produktionsbetrieb des LHC-Beschleunigers am CERN vorbereitet wird, ist ein hoher Personaleinsatz erforderlich.

Zentrale Dienste

Das LRZ betreibt außerdem zentrale Dienste für das D-Grid
  • das zentrale Grid Monitoring mit MDS, WebMDS und GridCSM http://webmds.lrz-muenchen.de:8080/webmds/xslfiles/csm/
  • den zentralen MyProxy Server des D-Grid myproxy.lrz-muenchen.de

Das LRZ leistet Support für die Communities und Ressourcen-Provider für Fragen, die die zentralen Dienste betreffen, wie lokale Information-Provider und Indexe, den Geo-Maint Sensor, die Anbindung an das Monitoring-System und die Infrastruktur. In diesen Rahmen sind zahlreiche D-GUS Trouble-Tickets bearbeitet worden.

Der Betrieb der zentralen Dienste verlangt ständige Wartung von Hardware und Software. Unter anderem müssen die Server-Zertifikate für die Produktions-Maschinen beantragt oder erneuert werden, und neue Maschinen (reell oder virtuell), z. B. für das Monitoring durch Inca, aufgesetzt werden.

Gemessene Verfügbarkeiten der Maschinen in %

 

Januar

Februar

März

April

Gvs1

99.983

99.985

93.154*

99.615

Gvs2

99.981

99.947

92.633*

99.164

Lxgt2

99.974

100.000

100.000

99.464

D-MON

99.952

99.961

100.000

100.000

Die mit * markierte Werte sind niedriger wegen angekündigter Cluster-Wartung.

Gemessene Verfügbarkeiten der Dienste in %

 

Januar

Februar

März

April

Gvs1

99.983

99.985

93.154*

99.615

Gvs2

99.981

99.947

92.633*

99.164

Lxgt2

99.974

100.000

100.000

99.464

D-MON

99.952

99.961

100.000

100.000

Gemessene Verfügbarkeiten der Dienste in %

linuxCluster

 

Mai

Juni

gsissh

98.839

99.986

gridftp

98.839

98.839

ws-gram

90.845

99.972

Unicore

100.000

92.453

 

gvs1

 

Mai

Juni

gsissh

90.127

99.382

 

gvs2

 

Mai

Juni

gsissh

99.467

96.106

 

D-MON

 

Mai

Juni

WebApplication

99.963

99.676

 

INCA

 

Mai

Juni

Service

98.987

72.286

D-MON

Der Meilenstein M-5-2, "D-MON-Funktionen in Betrieb", ist termingerecht fertiggestellt worden. Da D-MON schon seit Mitte Januar dieses Jahres in Betrieb ist, ist die Erreichung des Meilensteines schon einige Monate vor dem planmäßigen Ziel in Juni erfolgt. Die umfangreichen Funktionen sind weitestgehend selbsterklärend und stehen unter

http://d-mon.d-grid.de

zur Verfügung.

LRZ hat ein Monitoring Task Force Treffen angeregt und am 20. Januar abgehalten, um die verschiedenen Monitoring Aktivitäten in D-Grid zu koordinieren. Es gab ausführliche Diskussionen über u.a. dgOps VO und die Rolle von D-MON. Ein zweites Treffen des Monitoring Task Force hat am 9. Juni in Jülich stattgefunden.

Es gab erste Überlegungen, wie D-MON mit GT5-IIS zusammenarbeiten könnte. Ein Schema für die Beschreibung der Umgebung existiert schon.

Fachgebiet 3

Fachgebiet 3 bereitet gemeinsam mit dem Projekt GapSLC den 5. D-Grid Security Workshop vor, der im September 2010 in Göttingen stattfinden wird, um die Ergebnisse und Entwicklungen im Bereich Grid Sicherheit einem großen D-Grid Nutzerkreis zu präsentieren.

Der DFN-Verein hat zur Ausstellung von sogenannten „Short Lived Credentials“ (SLC) eine von der EUGridPMA akkreditierte Grid-SLCS-CA eingerichtet und betreibt diese im Rahmen der DFN-PKI als nachhaltigen Dienst für D-Grid Nutzer. Außerdem werden auf Anforderung der D-Grid Communities von der DFN-Grid-CA auch Robot-Zertifikate, z.B. zum Einsatz in Grid-Portalen, ausgestellt, die in der D-Grid Kerninfrastruktur nutzbar sind.

Am RRZN Hannover wird an der Erweiterung des VO-Managements im D-Grid unter Verwendung von VO-spezifischen „virtuellen“ Cluster-Betriebssystemen gearbeitet, um die Sicherheit von Grid-Nutzerdaten zu erhöhen. Außerdem wurde eine neue Version des Dokuments „Definition of Security Levels for the D-Grid Infrastructure“ veröffentlicht, welches Einstellungen der Firewallkonfiguration für Ressource Provider unter Berücksichtigung verschiedener Middlewares vorschlägt.

Die RWTH Aachen betreibt neben dem zentralen Firewallcluster einen dedizierten Hochleistungs-firewallcluster für den LHC-Rechencluster der D-Grid Community HEP. An diesem wurden im Produktionsbetrieb Messungen durchgeführt. Durch den Einsatz neuerer Hardware konnte ein Durchsatz nahe dem theoretischen Maximum von 10 GBit/s erreicht werden.

Das DFN-CERT entwickelt und testet ein Web-Portal für den D-Grid Firewall Verifier, das demnächst auch öffentlich zur Verfügung stehen wird.

Fachgebiet 4

Das Supportzentrum für dCache, iRODS, Stellaris und OGSA/DAI ist in Betrieb. Es werden Tickets im DGUS und GGUS Portal bearbeitet, teilweise gemeinsam mit der Supportgruppe der Helmholtz Allianz "Physics at the Terascale". Desweiteren werden regelmäßig Schulungen vorbereitet und durchgeführt, die immer gut angenommen werden.

MedInfoGrid wird weiterhin beim Einsatz von iRODS unterstützt und die Kontakte zu WissGrid wurden intensiviert. Zur Anbindung von iRODS an dCache und Globus wurde ein Modul entwickelt, das iRODS-Rules bereit stellt, um per GridFTP auf Ressourcen zuzugreifen. Das GridFTP Modul wurde in die Liste der offiziellen iRODS Erweiterungen aufgenommen.

Die iRODS Leistungstests gemeinsam mit SUN wurden verschoben, weil nach der Übernahme durch Oracle das SUN Solution Center umgebaut wird und frühestens im Herbst wieder zur Verfügung steht.

Die Tests zum Einsatz von dCache mit NFS4.1 wurden weiter geführt. Die aktuelle dCache Version enthält einen vollständig implementierten und mit dem Name Space Chimera lauffähigen NFS4.1 Server. Klienten sind in aktuellen Linux Distributionen vorhanden. Mit der WissGrid Photon Science Community wurden die Möglichkeiten zum Einsatz von dCache zum Datenmanagement evaluiert und bereits erste Daten transferiert.

Im Bereich Metadaten wurde die Befragung verschiedener D-Grid Communities weiter geführt. Dabei wurde insbesondere der Workflow untersucht, um Gemeinsamkeiten und Unterschiede bei der Metadatenerstellung heraus zuarbeiten. Dabei wurde festgestellt, dass die Unterschiede größer als die Gemeinsamkeiten sind. Deshalb wurde ein Leitfaden erstellt, der die Communities beim Entwurf einer eigenen Metadatenrichtlinie unterstützt.

Fachgebiet 5

Für das Accounting der D-Grid Ressourcen ist das Distributed Grid Accounting System (DGAS) installiert. Angeschlossene Sites nutzen den DGAS-Client um ihre Accounting-Informationen an den zentralen Server zu übertragen. Der DGAS-Server ist in zwei Versionen installiert, Sites die noch die ältere Version nutzen sind aufgefordert auf die neue Version zu migrieren. Sites mit erhöhten Performanceansprüchen sind dieser Aufforderung schon nachgekommen und transferieren ihre Accounting-Records an den DGAS-Server der Version 3.4. Zeitweilige Schwierigkeiten bei der Übertragung der Nutzungsinformationen konnten schnell gefunden und nachhaltig behoben werden, so dass beide DGAS-Server nun stabil und zuverlässig arbeiten.

Für VO-Nutzer, VO-Manager, Site-Manager und ROC-Manager ist ein Web-Interface vorhanden, das entsprechend den Berechtigungen der einzelnen Nutzer Reports über die Ressourcen-Nutzung generiert und darstellt. Auf Basis der Nutzungs-Informationen für ROC-Manager konnten die Statistiken für diesen Nutzungsbericht erstellt werden.

Sondermaßnahmen 2006, 2007 und 2008

Im Rahmen der D-Grid Projekte haben sich einzelne Institutionen bereit erklärt, eigene Ressourcen im D-Grid zur Verfügung zu stellen. Allerdings wurden damit keine Verpflichtungserklärungen bezüglich der zu installierenden Softwarekomponenten abgegeben.

Die im Bereich DGI1-FG2 beteiligten Institutionen bildeten ursprünglich das so genannte Kern-D-Grid. Mit Hilfe dieser Institutionen wurde ein erstes Betriebsmodell erstellt. Unabhängig von der erklärten Verpflichtung dieser Institutionen, Ressourcen dem D-Grid zur Verfügung zu stellen, wird im diesem Bericht nur der Status der im Rahmen der Sondermaßnahmen 2006, 2007 und 2008 für das D-Grid erworbenen Ressourcen dargestellt.

Dabei ist zu berücksichtigen, dass die Antrag stellenden Institutionen auch explizite Verpflichtungen bezüglich dieser Ressourcen im Antrag akzeptiert haben. Diese Verpflichtungen betreffen die zu installierenden Softwarekomponenten, den Zeitpunkt der Betriebsbereitschaft, die Unterstützung des D-Grid Betriebsmodells sowie eine Bericht Erstattungspflicht gegenüber dem D-Grid Beirat. Diese Berichte werden in Tabelle 2 zusammengefasst. Bei Anforderung werden den Mitgliedern des Beirats auch Einzelberichte zur Verfügung gestellt.

Die in Tabelle 2 aufgestellte Hardware entspricht dem aktuellen Kenntnisstand des D-Grid. Serverknoten bleiben unberücksichtigt. Der Speicher ist zusammengefasst und soll nur einen Anhaltspunkt liefern. Es wird daher nicht zwischen Cache und Hauptspeicher unterschieden. Tabelle 2 Sonderinvestitionen 2006 bis 2008 (DC= DualCore, QC= QuadCore, 8C= 8 Core, TB=TByte)

Institution

Hardware

Software

Betriebsaufnahme

Monitoring

AIP 06

10 DC,96 TB

GT4.0.7, OSGA DAI, dCache

Feb. 2007

Feb. 2007

AIP /AEI 07

29 DC

GT4.0.6

Mar. 2008

Feb. 2007

AWI 07

48 TB, Archiv

GT4.0.8, dCache 1.8.0

Dezember 2008

 

DESY 06

63 DC, 110 TB

siehe DESY 07

Jan 2007

Jan 2007, EGEE

DESY 07

192 QC, 110 TB, 400 TB Archiv

gLite 3.1, dCache 1.8, dCache 1.9

Mar 2008

Mar 2008, EGEE

DKRZ 06

1 DC,24TB

siehe DKRZ 07

siehe DKRZ 07

siehe DKRZ 07)

DKRZ 07

1 DC, 1 PB Archiv

GT4.0.5, dCache

Mitte 2008

Dez 2008

DLR 07

45 8C

UNICORE6

Mar 2008

 

DWD 07

1 PB Archiv

 

 

Jun 2008

FhG IAO 07

24 8CC

GT4.0.5

Mar 2008

Mar 2008

FhG SCAI 06

27 DC

siehe FhG SCAI 07

Mai 2007

Aug 2007

FhG SCAI 07

5 DC, 1 8C, 5 TB

GT4.0.3/7, gLite 3.1, UNICORE5

Apr 2008

Apr 2008

FZJ 06

44 QC, 12 TB

GT4.0.5, gLite3.1, UNICORE5/6, dCache 1.9

Apr 2007

Apr 2007

FZJ 07

78 QC, 7,5 TB

UNICORE5

Feb 2008

-

FZK 06

78 DC

GT4, gLite, UNICORE

März 2007 (gLite), Aug 2007 (komplett)

Aug 2007

FZK 07

180 QC, 96 8C, 214,5 TB

GT4, gLite, UNICORE,
dCache

Mai 2008

Mai 2008

FZK 07

10 DC

GT4, gLite, UNICORE,

Aug. 2008

 

GSI 06

15 DC, 33 TB

gLite, GT 4

Jan 2007

Feb 2008

GSI 07

54 8C, 210 TB

gLite, GT 4

Feb 2008

Feb 2008

HLRS 06

26 QC, 7 Cell Blades, 100 TB

GT4, gLite, UNICORE, OGSA-DAI

Feb 2007

Mar 07

HRLS 07
Vektor

1 Knoten mit 8 CPUs NEC SX-8R, 7 Knoten mit 16 CPUs NEC SX-9

UNICORE

Dez 2007

 

bwGrid 07
HLRS
Karlsruhe
Freiburg
Mannheim
Heidelberg
Tübingen
Ulm/Konstanz

 

414 8C
140 8C
140 8C
140 8C
140 8C
140 8C
280 8C

 

GT4
GT4
GT4
GT4
GT4
GT4
GT4

 

Apr 2008
Jan 2009
Jan 2009
Apr 2008
Jun 2008
Jul 2008
Jun 2008

 

IZBI

2 TB

Portalserver

 

 

LMU 06

20 QC

siehe LMU 07

Apr 2007

Aug 2008

LMU 07

50 QC, 97 TB

gLite, GT4, dCache

Mar 2008

Aug 2008

LRZ 06

23QC, 8 TB

GT4, gLite, UNICORE, SRM/dCache

Feb 2007

Feb 2007

LRZ 06

8 QC

IO-Server für D-Grid

Feb 2007

Feb 2007

LRZ 07

4 8C

Zentrale D-Grid Dienste

Mar 2008

-

MPG 06

24 TB

siehe LRZ

 

 

MPG 07

56 QC, 82 TB

gLite3, dCache

Jun 2008

-

OFFIS 06

86 DC, 4 QC, 12 TB

GT4.0.4, UNICORE5, gLite3.0

Mar 2007

Ende 2008

RRZN 06

60 QC, 45 TB

siehe RRZN 07

Feb 2007

Feb 2007

RRZN 07

Upgrade von RRZN 06 auf: 60 8C, 90 TB

GT4, gLite, UNICORE, SRM/dCache

Apr 2008

Apr 2008

TU Kl 07

40 QC, 9,6 TB

GT4.0.8

Mar 2008

Apr 2008

TUM 06

8 DC, 2 TB

siehe LRZ

 

 

TUD ZIH 06

60 TB

SRB-Nirvana, OGSA-DAI

Jun 2007

 

TUD ZIH 07

128 QC, 12 TB

GT4.0.7, gLite 3.1, UNICORE 6, SRB, iRODS, dCache 1.8, OGSA-DAI

Jun 2008

Mai 2008

TU Do IRF 06

76 DC , 6 TB

GT 4.0.5, UNICORE 5, gLite3.1, OGSA-DAI, dCache 1.9

Apr 2007

Apr 2007

TU Do ITMC 07

256 QC, 100 TB

GT 4.0.5, UNICORE 5, gLite3.1, dCache 1.9, OGSA-DAI

Mai 2008

Mai 2008

GoeGrid 06

11 2DC, 15 TB

GT 4.0.x, gLite 3.1, UNICORE5, SRB

Jun 2007

Okt 2007

GoeGrid 07

76 2QC, 268 TB

GT 4.0.x, gLite 3.1, UNICORE5, dCache, SRB/iRODS

Mar 2008

Apr 2008

Universitätsmedizin Göttingen

9 QC, 1 8C

GT4

Juli 2009

Juli 2009

Uni Heidelberg (ZAH) 06

96 TB

GT4

Feb 2007

 

Uni Kassel 07

42 QC, 8 TB

GT4.0.x

Mai 2008

Jun 2008

Uni Kiel

6 DC, 1 8C, 3,5 TB

GT4.0.5, OGSA-DAI

 

 

Uni Köln 06

11 TB

dCache 1.9

Mar 2007

 

Uni Köln 07, SuGI Cluster

64 QC

GT4.0.6/7

Dez 2007

Frühjahr 2008

Uni Köln 07, C3RC

32 TB Archiv

dCache 1.9

Mar 2008

 

Universitätsmedizin Magdeburg

20 QC

GT 4

 

 

Uni Marburg 06

19 QC, 4.75 TB

GT4.0.5

Dez 2006

Dez 2006

Uni Paderborn 07

8 QC, 10 TB

GT 4.0.5, UNICORE5/6

Mar 2008

Jun 2008

Uni Siegen 06

18 DC

GT4, UNICORE

Mar 2007

Mai 2007

Uni Wuppertal, 06

50 DC, 30 TB

siehe Uni Wuppertal 07

 

Jul 2008

Uni Wuppertal 07

52 QC, 198 TB

GT 4, UNICORE, gLite3.1, dCache1.8

Dez 2007

Jul 2008

Uni Würzburg 07

2 8C, 16 TB

GT 4, dCache

Sep 08

April/Mai 2009

ZIB 06

40 DC, 192 TB

siehe ZIB07

Feb 2007

Feb 2007

ZIB 07

40 QC, 254 TB

GT4, UNICORE, gLite 3, dCache, SRB, iRODS

Feb 2008

Feb 2008

Die Ansprechpartner an den einzelnen Institutionen sind in Tabelle 3 aufgeführt.

Tabelle 3 Ansprechpartner f ür die Sonderinvestitionen

Institution

Ansprechpartner

Email

AIP

Harry Enke

henke@aip.de

AWI

Benny Bräuer

Benny.Braeuer@awi.de

DESY

Volker Gülzow

volker.guelzow@desy.de

DKRZ

Stephan Kindermann

kindermann@dkrz.de

DLR

Andreas Schreiber, Michael Sattler

Andreas.Schreiber@dlr.de, Michael.Sattler@t-systems.com

DWD

Heinrich Knottenberg

Heinrich.Knottenberg@dwd.de

FhG IAO

Oliver Strauss

Oliver.Strauss@iao.fraunhofer.de

FhG SCAI

Horst Schwichtenberg

horst.schwichtenberg@scai.fraunhofer.de

FZJ

Otto Büchner, Willi Homberg

O.Buechner@fz-juelich.de, w.homberg@fz-juelich.de

FZK

Wilhelm Bühler

wilhelm.buehler@iwr.fzk.de

GSI

Peter Malzacher

P.Malzacher@gsi.de

HLRS

Sabine Roller

roller@hlrs.de

IZBI

Michael Hartung

hartung@izbi.uni-leipzig.de

LMU

Guenter Duckeck

gduckeck@lmu.de

LRZ

Arthur Carlson, Helmut Reiser

arthur.carlson@lrz.de, reiser@lrz.de

MPG

Stefan Kluth

skluth@mppmu.mpg.de

OFFIS

Guido Scherp

guido.scherp@offis.de

RRZN

Denis Göhr

grid@rvs.uni-hannover.de

SUB Göttingen

Andreas Aschenbrenner

aschenbrenner@sub.uni-goettingen.de

TU Kl

Markus Hillenbrand

hillenbr@informatik.uni-kl.de

TUM

Angelika Reiser

reiser@in.tum.de

TUD ZIH

Ralph Müller-Pfefferkorn

ralph.mueller-pfefferkorn@tu-dresden.de

TU Do IRF

Stefan Freitag

stefan.freitag@udo.edu

TU Do ITMC

Christian Becker

christian.becker@mathematik.tu-dortmund.de

GoeGrid

Ulrich Schwardmann

uschwar1@gwdg.de

Uni Heidelberg

Peter Schwekendiek

schwekendiek@uni-hd.de

Uni Kassel

Peter Zanger

zanger@hrz.uni-kassel.de

Uni Kiel

Alexander Herrmann

a.herrmann@ikmb.uni-kiel.de

Uni Köln

Volker Winkelmann, Viktor Achter

dgrid-admin@uni-koeln.de

Uni Magdeburg

Frank Hertel

Frank.Hertel@med.ovgu.de

Uni Marburg

Matthias Schmidt

dgrid-admin@mathematik.uni-marburg.de

Uni Paderborn

Jens Simon

simon@upb.de

Uni Siegen

Gerd Pokorra

pokorra@zimt.uni-siegen.de

Uni Wuppertal

Torsten Harenberg

harenberg@physik.uni-wuppertal.de

Uni Würzburg

Aleksander Paravac

aparavac@astro.uni-wuerzburg.de

ZIB

Kathrin Peter

kathrin.peter@zib.de

Innerhalb des ersten Halbjahres 2010 sind ca. 80,9 Millionen CPU Stunden auf den Ressourcen der D-Grid Sonderinvestitionen gerechnet worden. Dies ist einer Zunahme von circa 20 % im Vergleich zum zweiten Halbjahr 2009. Die Verteilung der verbrauchten CPU Stunden verschob sich leicht zu Gunsten der virtuellen Organisationen des D-Grid. Diese Organisationen verzeichneten einen Zuwachs von einem Prozent, gleichzeitig fiel der Anteil der virtuellen Organisationen außerhalb D-Grids auf nur 24 % zurück (siehe Abbildung 1). Die restlichen 21 % der verbrauchten CPU Stunden entstanden durch lokale Anwender.

Abbildung 1: Verbrauchte CPUh gegliedert nach Nutzergruppen

Betrachtet man nur die virtuellen Organisationen des D-Grid, so wurden ca. 45 Millionen CPU Stunden in Anspruch genommen; ein Großteil dieser CPU-Stunden entfällt wie im vorherigen Halbjahr auf die virtuellen Organisationen AstroGrid-D, BWGrid, HEPCG, MediGrid und SoftComp. Abbildung 2 zeigt eine genaue Aufschlüsselung der angefallenen CPU Stunden nach virtueller Organisation des D-Grid. Zur besseren Darstellung besitzt die x-Achse eine logarithmische Skala, virtuelle Organisationen ohne Job Submission im Erhebungszeitraum sind ausgeblendet.

Abbildung 2 Nicht-normalisierte CPU Stunden gegliedert nach D-Grid VO

Abbildung 3 zeigt die verbrauchten CPU Stunden über den Berichtszeitraum hinweg.

Neben der reinen Anzahl an CPU-Stunden wurde auch die Anzahl an submittierten Jobs festgehalten. Wie aus Abbildung 4 ersichtlich, ergibt sich analog zum Vorjahr ein Übergewicht zugunsten der Non-D-Grid Nutzung. Von den mehr als 17 Millionen gerechneten Jobs stammen nur circa 28% bzw. 4,8 Millionen von D-Grid Nutzern.

Abbildung 4 D-Grid/ Non-D-Grid Anzahl Jobs

Untersucht man die Anzahl gerechneter Jobs und gliedert diese bzgl. der einzelnen Virtuellen Organisationen des D-Grid auf, so ergibt sich die in Abbildung 5 dargestellte Aufteilung. Virtuelle Organisationen, die im Erhebungszeitraum keine Jobs gerechnet haben, wurden in der Graphik nicht berücksichtigt.

Zum besseren Erkennen von Tendenzen ist in Abbildung 6 die Anzahl gerechneter Jobs nach Monaten dargestellt.

Abbildung 6 Anzahl Jobs gegliedert nach Monat

Abbildung 7 stellt die bereits auf den D-Grid Ressourcen gespeicherten Datenvolumens bezogen auf die Middleware dCache dar. Eine Nutzung des über OGSA-DAI angebotenen Speichers erfolgte keine virtuelle Organisation.

Abbildung 7 dCache Datenvolumen pro D-Grid VO [GByte]

Neben dCache wurden weitere Formen von Storage Elementen durch Communities verwendet. Die Nutzung dieser teils Community-spezifischen Storage Elemente ist in Abbildung 8 zusammengefasst. Das IZBI stellte zudem mehrere Datenbanken/ Ontologien wie SwissProt, D-Grid Ontology und Ensembl Homo Sapiens bereit.

Abbildung 8 Andere Middlewares: Datenvolumen pro D-Grid VO [GByte]

Abschließend sind in Abbildung 9 noch einmal die durch die einzelnen virtuellen Organisationen des D-Grid verbrauchten CPU Stunden dargestellt. Der betrachtete Zeitraum beschränkt sich jedoch im Vergleich zu Abbildung 2 bzw. 3 nicht nur auf das letzte halbe Jahr, sondern betrachtet den Zeitraum Juli 2008 bis Juni 2010.

Abbildung 9 Verbrauchte CPU Stunden gegliedert nach Monaten (Zeitraum 07/2008 bis 06/2010)

Der im letzten Bericht angedeutete Trend einer kontinuierlich Steigenden Nutzung des D-Grid ist eingetreten.

Literaturverzeichnis

1. Statusbericht über die Kern-Grid-Infrastruktur. [Online] 10. 02 2009. [Zitat vom: 12. 01 2010.] StatusberichtKern0208.pdf.

2. Schwiegelshohn, Uwe, et al. Statusbericht über die D-Grid Kern Infrastruktur. [Online] 07. 08 2009. [Zitat vom: 12. 01 2010.] StatusberichtKern0109.pdf.

3. Schwiegelshohn, Uwe, et al. Statusbericht über die D-Grid Kern Infrastruktur. [Online] 5. Februar 2010. [Zitat vom: 5. Juli 2010.]

4. D-Grid Referenz-Installation. [Online] [Zitat vom: 13. Juli 2009.] http://dgiref.d-grid.de/.

5. Fieseler, Thomas, et al. Konzept für die Mehrfachmitgliedschaft in Virtuellen Organisationen im D-Grid. [Online] 30. Juni 2008. [Zitat vom: 13. Juli 2009.] DGI-2-M-2-2-5-1-Konzept-Mehrfachmitgliedschaft-V-1.0.pdf.

6. —. Konzept für die Rechtevergabe an Untergruppen im D-Grid. [Online] 30. Juni 2008. [Zitat vom: 13. Juli 2009.] DGI-2-M-2-2-4-1-Konzept-Gruppen-V-1.0.pdf.

7. Betriebskonzept für die D-Grid Infrastruktur, Version 2.0. [Online] 04. 12 2009. [Zitat vom: 02. 02 2010.] D-Grid-Betriebskonzept.pdf.

8. FG 2.3: Meilenstein 5-1, „Erstellen eines Übernahmeplans der D-MON Funktionen“.

9. FG. 2.2: Meilenstein 6-1, „Erstellung eines Implementierungsplans für die Ergebnisse von IVOM".

10. FG 2.2: Prototyp zur automatisierten Erzeugung von VOMRS-Instanzen.

Anhang

Tabelle 4 D-Grid/ Non-D-Grid CPU Stunden Gesamtübersicht

D-Grid VOs

Januar

Februar

März

April

Mai

Juni

Total

AeroGrid

43065

2674

489

68

76

48409

94781

AstroGrid-D

2431496

2186102

1772049

2026295

1789821

2269591

12475353

BauVOGrid

0

0

0

0

0

0

0

BioInterfaces

0

0

0

0

0

0

0

BisGrid

11904

10752

11904

11520

11904

11520

69504

Biz2Grid

0

0

0

0

0

0

0

BWGrid

3961678

3520416

4358406

4439889

4625164

4409829

25315382

C3Grid

5376

5376

5376

5376

5376

5376

32256

dgcms

1042

12266

3157

13307

46314

72396

148482

dgops

14

31

3

1

0

0

49

dgsi

0

0

0

0

0

0

0

dgtest

36

3

22

5

3

44

113

Education

2149

1468

6367

2902

41020

104380

158286

FinGrid

36726

31959

41688

33489

44348

26980

215190

GapSLC

0

0

0

0

0

0

0

GDIGrid

0

0

0

0

0

0

0

HEPCG

201306

231159

472140

326898

191969

209388

1632860

InGrid

21919

28463

0

5626

0

3118

59126

InterLogGrid

1

0

0

0

0

0

1

Kern-D-Grid

34

275

8

4120

2

69

4508

Lifescience

143926

104287

85710

57580

46208

89710

527420

MediaGrid

0

0

0

0

0

0

0

MediGrid

220866

395609

563023

520661

523689

632136

2855985

MosGrid

5376

5376

5376

5376

5376

5376

32256

OptiNum

712

2182

3002

1313

1310

17

8536

PartnerGrid

88757

0

0

0

0

0

88757

PneumoGrid

0

0

0

4

1

4

9

PTGrid

0

0

0

0

0

0

0

ProGrid

0

0

0

0

0

0

0

SoftComp

218297

198731

123152

61430

145073

231936

978619

TextGrid

0

0

0

0

0

0

0

ValueGrids

0

0

0

0

0

0

0

Viola

0

0

0

0

0

0

0

Wisent

0

0

0

0

541

0

541

D-Grid

7394680

6737129

7451871

7515860

7478195

8120280

44698014

VOs außerhalb D-Grid

2661623

2586051

4150756

3143420

3594669

2799009

18935527

Lokale Nutzer

2591072

2935006

2814643

3076591

3480678

2407273

17305263

Total

12647375

12258185

14417270

13735871

14553542

13326561

80938804

 

Tabelle 5 D-Grid/ Non-D-Grid Anzahl Jobs Gesamtübersicht

D-Grid VOs

Januar

Februar

März

April

Mai

Juni

Total

AeroGrid

222

65

158

30

93

304

872

AstroGrid-D

140432

120257

115212

118862

106385

133114

734262

BauVOGrid

0

0

0

0

0

0

0

BioInterfaces

0

0

0

0

0

0

0

BisGrid

1

0

8

4

3

3

19

Biz2Grid

0

0

0

0

0

0

0

BWGrid

142224

29421

29745

44625

25544

31451

303010

C3Grid

0

0

0

0

0

0

0

dgcms

1511

2078

1848

11010

29703

34612

80762

dgops

1816

1670

415

399

461

484

5245

dgsi

0

0

0

0

0

0

0

dgtest

3248

3773

2711

5612

2830

2099

20273

Education

4

0

30

21

6576

33795

40426

FinGrid

3163

3502

4849

3416

4290

2168

21388

GapSLC

0

0

0

0

0

0

0

GDIGrid

0

0

0

0

0

0

0

HEPCG

128432

169344

197033

240517

168004

235351

1138681

InGrid

36

11

0

162

0

40

249

InterLogGrid

0

0

0

0

1

0

1

Kern-D-Grid

203

169

1270

2650

2565

2486

9343

Lifescience

2412

10818

2129

6522

559

1583

24023

MediaGrid

0

0

0

0

0

0

0

MediGrid

345379

347455

367276

241802

792740

280377

2375029

MosGrid

0

0

0

0

0

160

160

OptiNum

905

8085

20058

5672

18903

2263

55886

PartnerGrid

17384

44

43

26

0

49

17546

PneumoGrid

0

0

0

94

390

1736

2220

PTGrid

0

0

0

0

0

0

0

ProGrid

0

0

0

0

0

0

0

SoftComp

4419

2672

1515

1245

3879

6377

20107

TextGrid

0

0

0

0

0

0

0

ValueGrids

0

0

0

0

0

0

0

Viola

0

0

0

0

0

0

0

Wisent

0

0

2

0

17484

0

17486

D-Grid

791791

699364

744302

682669

1180410

768452

4866988

VOs außerhalb D-Grid

1524856

1568129

1718076

1852825

1844604

1715799

10224289

Lokale Nutzer

603216

374760

111179

228730

332777

326605

1977267

Total

2919863

2642253

2573557

2764224

3357791

2810856

17068544

 

Tabelle 6 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen dCache [GByte]

D-Grid VOs

Januar

Februar

März

April

Mai

Juni

Mittelwert

AeroGrid

0

0

0

0

0

0

0

AstroGrid-D

0

0

0

0

0

0

0

BauVOGrid

0

0

0

0

0

0

0

BioInterfaces

0

0

0

0

0

0

0

BisGrid

0

0

0

0

0

0

0

Biz2Grid

0

0

0

0

0

0

0

BWGrid

0

0

0

0

0

0

0

C3Grid

718

718

718

718

718

718

718

dgcms

0

0

0

0

0

0

0

dgops

0

0

0

0

0

0

0

dgsi

0

0

0

0

0

0

0

dgtest

0

0

0

0

0

0

0

Education

0

0

0

0

0

0

0

FinGrid

0

0

0

0

0

0

0

GapSLC

0

0

0

0

0

0

0

GDIGrid

0

0

0

0

0

0

0

HEPCG

84933

95603

98342

84016

108692

149582

103528

InGrid

0

0

0

0

0

0

0

InterLogGrid

0

0

0

0

0

0

0

Kern-D-Grid

0

0

0

0

0

0

0

Lifescience

0

0

0

0

0

0

0

MediaGrid

0

0

0

0

0

0

0

MediGrid

0

0

0

0

0

0

0

MosGrid

0

0

0

0

0

0

0

OptiNum

0

0

0

0

0

0

0

PartnerGrid

0

0

0

0

0

0

0

PneumoGrid

0

0

0

0

0

0

0

PTGrid

0

0

0

0

0

0

0

ProGrid

0

0

0

0

0

0

0

SoftComp

0

0

0

0

0

0

0

TextGrid

0

0

0

0

0

0

0

ValueGrids

0

0

0

0

0

0

0

Viola

0

0

0

0

0

0

0

Wisent

3810

3810

3810

3810

3810

3810

3810

VOs außerhalb D-Grid

844707

846589

852179

861580

865449

929841

866724

Lokale Nutzer

0

0

0

0

0

0

0

Total

934168

946720

955049

950124

978669

1083951

974780

 

Tabelle 7 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen andere Storage Middlewares [GByte]

D-Grid VOs

Januar

Februar

März

April

Mai

Juni

Mittelwert

AeroGrid

0

0

0

0

0

0

0

AstroGrid-D

30

30

30

31

39

196

59

BauVOGrid

0

0

0

0

0

0

0

BioInterfaces

0

0

0

0

0

0

0

BisGrid

0

0

0

0

0

0

0

Biz2Grid

0

0

0

0

0

0

0

BWGrid

0

0

0

0

0

0

0

C3Grid

28210

28180

28180

28940

28900

29300

28618

dgcms

0

0

0

0

0

0

0

dgops

0

0

0

0

0

0

0

dgsi

0

0

0

0

0

0

0

dgtest

0

0

0

0

0

0

0

Education

0

0

0

0

0

0

0

FinGrid

0

0

0

0

0

0

0

GapSLC

0

0

0

0

0

0

0

GDIGrid

0

0

0

0

0

0

0

HEPCG

0

0

0

0

0

0

0

InGrid

0

0

0

0

0

0

0

InterLogGrid

0

0

0

0

0

0

0

Kern-D-Grid

0

0

0

0

0

0

0

Lifescience

4600

4600

4600

4600

4600

4600

4600

MediaGrid

0

0

0

0

0

0

0

MediGrid

18298

18298

18299

18299

18299

18713

18368

MosGrid

300

300

300

300

300

300

300

OptiNum

0

0

0

0

0

0

0

PartnerGrid

0

0

0

0

0

0

0

PneumoGrid

0

0

0

0

0

0

0

PTGrid

0

0

0

0

0

0

0

ProGrid

0

0

0

0

0

0

0

SoftComp

0

0

0

0

0

0

0

TextGrid

0

0

0

0

0

0

0

ValueGrids

0

0

0

0

0

0

0

Viola

0

0

0

0

0

0

0

Wisent

0

0

0

0

0

0

0

VOs außerhalb D-Grid

75

7

5

6

10

5

18

Lokale Nutzer

22810

22780

22780

23540

23500

23900

23218

Total

74323

74195

74194

75716

75648

77014

75181