Statusbericht über die D-Grid Kerninfrastruktur II/2011

12. September 2011 

Der vorliegende Bericht basiert auf dem sechsten Statusbericht über die D-Grid Kern Infrastruktur vom 12. September 2011. Mit Beginn des Jahres 2011 kam es zu organisatorischen und inhaltlichen Umstrukturierungsmaßnahmen im Kontext der 2. Projektphase des D-Grid Integrationsprojektes (DGI-2). Weitere Informationen hierzu finden sich online unter (http://dgi-2.d-grid.de/).
Der vorliegende Statusbericht gliedert sich wie folgt:

• Bericht aus dem D-Grid-Integrationsprojekt (Kapitel 1)
• Informationen zu den Sonderinvestitionen der Jahre 2006-2008 (Kapitel 2)
• Nutzungsstatistiken der D-Grid Infrastruktur für das zweite Halbjahr 2011 (Kapitel 3)

Statusbericht DGI-2

Allgemeines

Das Projekt DGI-2 wird seit 1. Januar 2011 nicht in Fachgebiete unterteilt, wie bisher in DGI-1 und der 1. Phase von DGI-2 geschehen, sondern besitzt drei Themenbereiche: das Projektbüro, die Dienstleistungen und die Anpassungen und Integration in EGI. In jedem Themenbereich gibt es einzelne Arbeitspakete, die von einer oder mehreren Einrichtungen bearbeitet werden.
Sämtliche Arbeiten werden alleinverantwortlich von den beteiligten Einrichtungen durchgeführt.
Projektpartner sind

• Bayerische Akademie der Wissenschaften, Leibniz-Rechenzentrum, Garching bei München
• Deutsches Elektronen-Synchrotron (DESY), Hamburg
• Forschungszentrum Jülich GmbH
• Karlsruher Institut für Technologie
• Regionales Rechenzentrum für Niedersachsen , Leibniz Universität Hannover
• DFN e.V., Berlin.

Die Projektwebseite befindet sich unter http://dgi-2.d-grid.de/.

Projektbüro

Allgemeine Informationen

Das Projektbüro organisiert und koordiniert die Verwaltung des Projektes und ist verantwortlich für Fragen der Nachhaltigkeit und für die Außendarstellung des Projektes.
Im 2. Halbjahr 2011 wurde insbesondere ein Konzept zum Umgang mit ehemaligen Projekten als Ergänzung des D-Grid-Betriebskonzeptes (zur Abstimmung im D-Grid-Beirat 2012) erstellt.

Nachhaltigkeit

Am KIT wurde 2011 ein Geschäftsplan für die Grid-Infrastruktur in Deutschland erstellt.

• Aufbauend auf den Vorarbeiten im ersten Halbjahr und den Bemühungen in der 1. Phase wurde ein Geschäftsplan erstellt.
• Dieser Geschäftsplan geht von der dauerhaften Eigenfinanzierung der Grid-Infrastruktur-Basisdienste durch die Grid-Nutzer aus. Grid-Nutzer sind hier sowohl die Anwender als auch die Ressourcen-Anbieter. Bezahlen diese Nutzer für die Dienste ist ein tragfähiges Geschäftsmodell möglich.
• Um den Geschäftsplan zu erstellen, wurden Basisprodukte mit Kosten verbunden.
• Der Geschäftsplan wurde mit den Partnern in einer Videokonferenz und den folgenden Workshops diskutiert.

Am 13. Dezember 2011 fand ein DGI-2-interner Nachhaltigkeitsworkshop „Grid-Dienste in Deutschland“ am KIT statt, auf ihn folgte dann der öffentliche Nachhaltigkeitsworkshop „Grid-Dienste in Deutschland“ am 20. Dezember 2011 in Karlsruhe.

• Der Workshop wurde vom KIT organisiert und vorbereitet, eingeladen waren die D-Grid GmbH, der D-Grid-Beirat, der NGI-DE-Beirat, die Gauß-Allianz-Mitglieder, die NGI-DE-Leitung und VO-Repräsentanten des D-Grids.
• 23 Teilnehmer aus den Bereichen DGI-2, gewerbliche D-Grid-Partner, wissenschaftliche Anwender und wissenschaftliche Rechenzentren diskutierten konstruktiv über die Zukunft von Grid-Diensten in Deutschland.
• Das Ziel der Nachhaltigkeit des DGI-2 ist es, den Betrieb der Dienste für eine deutsche Grid-Infrastruktur auf eigenständige Füße zu stellen, also unabhängig von BMBF-Fördermitteln und durch die wissenschaftlichen Nutzer getragen. Der Nutzerkreis umspannt dabei wissenschaftliche Forschungsgruppen bzw. VOs und Ressourcenanbieter. Das Ziel des Workshops ist die im DGI-2 erarbeiteten Pläne, Szenarien und Preise vorzustellen, zu besprechen und zahlende Kunden zu identifizieren.
• http://dgi-2.d-grid.de/nachhaltigkeit-ws11.php

Zudem wurde ein Vortrag für den D-Grid-Beirat erarbeitet (gehalten am 13. Januar 2012), der zu einem Workshop und einer Podiumsdiskussion auf der D-Grid-Ergebniskonferenz im März 2012 geführt hat. Aus Sicht der Grid-Nutzer scheint für die Zukunft des Grids in Deutschland eine gemeinsame Betrachtung von Grid-Diensten (die bisher DGI-2 anbietet) und den Grid-Ressourcen (die von verschiedenen akademischen Rechenzentren angeboten werden) wünschenswert.

Dienstleistungen

Aufgabe dieses Projektteils sind die Bereitstellung und der stabile Produktionsbetrieb der durch die Benutzer nachgefragten Dienste, der zentralen Dienste für den Betrieb der Grid-Infrastruktur, der Dienste für Ressourcenbetreiber und des Supports für Benutzer und Ressourcenbetreiber.

AP 2.1: VO-Service-Infrastruktur

Partner im AP 2.1: FZJ und DESY

• Bereitstellung und Betrieb von VOMS- und VOMRS-Servern.
• Betrieb der VO- und Nutzerdienste: Betrieb, Überwachung und Wartung des VOMRS-Servers.
• Betrieb einer zweiten Virtuellen Maschine mit VOMRS zum Testen von Konfigurationen und zum Testen neuer VOMRS-Versionen.
• Untersuchungen zur Konsolidierung der VOMRS/VOMS Infrastruktur bei KIT, FZ Jülich und DESY.

AP 2.2: Helpdesk-Infrastruktur

Partner im AP 2.2: KIT

• Bereitstellung und Weiterentwicklung des Helpdeskportals
  http://helpdesk.ngi-de.eu/.
• Anbindung von Supportgruppen der Communities, der Kompetenzzentren und der Ressourcenanbieter sowie die Integration der Supportprozesse und Bearbeitung der Tickets.

AP 2.3: Zentrale Middleware-Infrastruktur

Partner im AP 2.3: DESY, FZJ, KIT

• Sicherung des Betriebes der Middleware-Dienste.
• Betrieb und Wartung der zentralen UNICORE-Dienste: Service-Registry, Workflow-Service mit Service-Orchestrator und „Common Information Provider“ durch FZJ.
• Das LRZ betreibt die bereits in DGI-2 Phase 1 betriebenen zentralen Dienste WebMDS, MDS, RFT und MyProxy für die Globus-Middleware auch weiterhin.
• Erweiterung und Betrieb der gLite-Infrastruktur: Update auf aktuelle gLite-Releases. Für die meisten Services werden EMI-Releases eingesetzt.
• Bearbeitung von Anfragen des Helpdesk.

AP 2.4: Zentrale Monitoring-Infrastruktur

Partner im AP 2.4: BADW-LRZ, KIT

• Betrieb der Monitoring-Infrastruktur (WebMDS , D-MON, BDII, UNICORE CIS).
• Im Berichtszeitraum wurden Erweiterungen der Monitoring-Datenbank zum Netzwerk-Monitoring implementiert.
• Die Zusammenarbeit mit dem SLA4D-Grid-Projekt wurde fortgesetzt
• Betrieb des Prototype Nagios-Site-Monitoring auf https://sitemon.d-grid.de/.

AP 2.5: Zentrale Accounting-Infrastruktur

Partner im AP 2.5: RRZN

• Bereitstellung der Hardware zum Betrieb des Accounting-Servers.
• Überwachung des ordnungsgemäßen Betriebs des D-Grid-Accountings.

AP 2.6: Dienste für Ressourcen-Anbieter

Partner im AP 2.6: FZJ

• Bereitstellung der Hardware zum Betrieb von GRRS, der XML-GRRS-Datenbank, der MySQL-GRRS-Datenbank und von dgridmap.
• Betrieb des D-Grid-weiten zentralen GRRS-Servers.
• Betrieb einer MySQL-Datenbank, die eine Kopie einer Teilmenge der GRRS-Datenbank enthält und ständig aktualisiert wird.
• Betrieb einer D-GRDL-fähigen XML-Datenbank der GRRS-Daten sowie ständige Aktualisierung.
• Einrichten von Zugängen zu den GRRS-Datenbanken für Entwicklungsprojekte aus D-Grid-Projekten.
• Betrieb des dgridmap-Servers.
• Bereitstellung und Aktualisierungen des dgridmap-Klienten über das DGI-2-Anbieterportal.
• Arbeiten an einer GRRS-Tabelle für die Erfassung der zentralen D-Grid-Services (GSRS).
• Aktualisieren von Webseiten im DGI-2-Anbieterportal.

AP 2.7: Sicherheit (CA, AAI, CERT)

Partner im AP 2.2: RRZN, KIT. In diesem Arbeitspaket arbeitet der DFN ohne Förderung mit.

• Zertifizierungs-Autoritäten für die nationale Grid-Infrastruktur.
• Betrieb eines CERTs.
• Nutzer-Support Security.
• Betrieblicher Support Security.
• Zentrale Anlaufstelle für sicherheitsrelevante Fragen im Grid.
  

AP 2.8: Referenzinstallation

Partner im AP 2.8: KIT

• Bereitstellung und Weiterentwicklung der Referenzinstallation in Absprache mit dem Technical Advisory Board des Beirates der D-Grid GmbH (D-Grid-TAB).
• Unterstützt werden die Middleware-Pakete:
• UNICORE 6.3
• Globus Toolkit 4.0.8
• Globus Toolkit 5.0
• gLite 3.2
• und die Datenmanagement-Pakete:
• OGSA-DAI 2
• dCache 1.9.5.
• Release 2011.2 im Juli 2011 http://dgiref.d-grid.de/

AP 2.9: VO-Support

Partner im AP 2.9: DESY, FZJ

• Unterstützung der VOs im Umgang mit VOMRS, insbesondere Unterstützung der Nutzer, Repräsentanten und Gruppen-Manager.
• Änderungen der VOMRS-Einträge zu Nutzerzertifikaten.
• Unterstützung von Nutzern bei der Verlängerung von Zertifikaten.
• Bereitstellung der Datenbanken der VOMRS-Server-Instanzen der einzelnen VOs als Schnittstelle für den Mapping-Service dgridmap.
• Synchronisation des zentralen D-Grid-VOMS-Servers am KIT durch den VOMRS für alle am FZJ gehosteten VOs.
• Beratung und Unterstützung neuer Communities.
• Aktualisierung von Webseiten des DGI-2-Benutzerportals.
• Bearbeiten und Lösen von Helpdesk-Tickets zu VOMRS.

AP 2.10: Provider-Support

Partner im AP 2.10: FZJ

• Unterstützung von Ressourcenanbietern bei der Anmeldung von Ressourcen zum GRRS bzw. bei der Änderung von Ressourcen-Einträgen sowie beim Löschen von Ressourcen.
• Unterstützung von Ressourcenanbietern bei der Verwendung von dgridmap.
• Beratung und Unterstützung bei neuen Anforderungen an das Ressourcen-Management durch ein verändertes Nutzungsmodell von Ressourcen.
• Bearbeiten und Lösen von Helpdesk-Tickets zu GRRS und dgridmap.
  

AP 2.11: Firstline-Support D-Grid

Partner im AP 2.11: KIT

• Organisation des Supports auf der ersten Ebene (Kategorisierung und Verteilung der Tickets), die Anbindung von Supportgruppen der Communities, der Kompetenzzentren und der Ressourcenanbieter sowie die Integration der Supportprozesse.

AP 2.12: Middleware-Support Globus

Partner im AP 2.12: BADW-LRZ

• Unterstützung für Globus Toolkit.
• Beteiligung an der „EGI Globus Integration Taskforce“.
• Unterstützung bei der Migration von Globus Toolkit 4 nach 5.
• Basierend auf einer detaillierten Online-Umfrage über die Migration der D-Grid-VOs und den anschließenden Gesprächen mit den betroffenen Projekten wurde eine erste Version einer Migrationsanleitung erstellt.
• Bearbeiten und Lösen von Helpdesk-Tickets zu Globus (in Zusammenarbeit mit IGE).

AP 2.13: Middleware-Support UNICORE

Partner im AP 2.13: FZJ

• Unterstützung von Administratoren und Benutzern zu UNICORE 6 Betrieb bzw. Nutzung.
• Intensive Tests des neuen UNICORE Releases Version 6.4.1.
• Upgrade der UNICORE Dienste gateway, unicorex für die in D-Grid betriebenen Ressourcen und xuudb auf die Version 6.4.1.
• Beteiligung an der „EGI UNICORE Integration Taskforce“.
• Bearbeiten und Lösen von Helpdesk-Tickets.

AP 2.14: Middleware-Support gLite/dCache

Partner im AP 2.14: DESY

• Die produktive dCache NFS4.1 Installation wurde nach den Performanztests im ersten Halbjahr ausgebaut und betrieben. Sie wurde hauptsächlich für Daten aus der Forschung mit Photonen und der Beschleunigerphysik eingesetzt.
• Die Authentifizierung und Authorisierung wurde verbessert, so dass externe LDAP- und Kerberos-Server, also vorhandene Infrastruktur, genutzt werden kann.
• Die Vorbereitungen der GridKa Schule zum Thema dCache wurden unterstützt. Die Vorbereitung des nächsten dCache Workshops, der im April 2012 bei Desy Zeuthen stattfindet, sind angelaufen
• Bearbeiten und Lösen von Helpdesk-Tickets zu gLite und dCache.
  

AP 2.15: Middleware-Support OGSA-DAI

Partner im AP 2.15: KIT

• Unterstützung für OGSA-DAI.

AP 2.16: Middleware-Support Scientific Gateways

Partner im AP 2.16: KIT

• Unterstützung für GAT, SAGA, GridSphere, Liferay.
• Unterstützung und Weiterentwicklung von Gatlet (D-Grid-Browser):
• In Zusammenarbeit mit dem D-Grid-Projekt bwGRiD wurden wissenschaftliche Portlets für Gatlet entwickelt.
• Bearbeiten und Lösen von Helpdesk-Tickets.

Anpassungen

Die Projekte DGI-1 und DGI-2 haben eine stabile Grid-Infrastruktur für Deutschland aufgebaut. Mit der Gründung von EGI.eu als Stiftung mit Beteiligung der EU und der EU-Mitgliedsstaaten (einschließlich Deutschlands) wird das DGI-2 in diesem Bereich die D-Grid-Infrastruktur in die europäische Struktur integrieren.

AP 3.1: Ressourcen-Registrierung

Partner im AP 3.1: FZJ

• Bereitstellung der GRRS-Datenbank, der entsprechenden XML-Datenbank sowie der MySQL-Datenbank als Schnittstellen zum GRRS.
• Auf der Seite der Entwickler der GOCDB bestand noch kein Bedarf der Verwendung von GRRS-Daten in der GOCDB, sodass keine weiteren Anpassungen der Schnittstellen vorgenommen wurden. Sobald der Bedarf auf der Seite der GOCDB-Entwicklung besteht, wird eine Schnittstelle zum GRRS zur Verfügung gestellt.

AP 3.2: Helpdesk-Anpassungen

Partner im AP 3.2: KIT (ungefördert)

• Anpassungen an der Schnittstelle zwischen GGUS (EGI-Helpdesk) und NGI-DE-Helpdesk (gleichzeitig Helpdesk für D-Grid).

AP 3.3: Accounting-Anpassungen

Partner im AP 3.3: RRZN

• Testen der Message-Infrastruktur für das pan-europäische Accounting.
• Telefonkonferenzen mit Entwicklern aus dem Accounting Bereich.
• Teilnahme am EGI-Userforum in Lyon (19. – 23. September 2011).
• Arbeiten am Meilenstein M.12 „Anpassung des Accounting Clients“.

AP 3.4: Monitoring-Anpassungen

Partner im AP 3.4: BADW-LRZ und KIT

• Weitere Vorarbeiten zur Vereinheitlichung des Monitorings zwischen D-Grid und EGI.
• LRZ war in Kontakt mit bwGRiD, um deren Anforderungen an das IIS-Monitoring-System zu verstehen. Derzeit arbeitet das LRZ mit den IIS-Entwicklern zusammen, um dafür eine Lösung zu finden.
• Auf dem EGI-Treffen in Amsterdam “Towards an Integrated Information System” wurden Anforderungen an IIS formuliert.
• Arbeiten zur Migration des D-MON-Portals von GridSphere zu Liferay.
• Ein neues Konzept für die Authentication und Authorization wurde implementiert.

AP 3.5: Anpassung NationalLevel BDII

Partner im AP 3.5: KIT

• Weitere Vorarbeiten zur dynamischen Kopplung des NationalLevel BDII von D-Grid mit der zentralen, europäischen „Grid Operations Center Database” (GOCDB).

AP 3.6: Zertifizierung von D-Grid-Ressourcen gemäß EGI

Partner im AP 3.6: BADW-LRZ, DESY und FZJ

• UNICORE (durch FZJ):
• Es gab keine Anfragen zur Zertifizierung in diesem Bereich.
• Beteiligung an der EGI Integration Task Force UNICORE.
• gLite/dCache (durch DESY):
• Es gab keine Anfragen zur Zertifizierung in diesem Bereich.
• Globus Toolkit (durch BADW-LRZ):
• Beteiligung an der EGI Integration Task Force Globus.
• Noch keine Zertifizierungen, da Zertifizierungsrichtlinien noch nicht feststehen.

AP 3.7: Sicherheitsprozessmanagement

Partner im AP 3.7: RRZN, KIT. In diesem Arbeitspaket arbeitet der DFN ohne Förderung mit.

• Arbeiten und Veröffentlichung des Meilensteins M.12 „Richtlinie zur Meldung und Bearbeitung von Sicherheitsproblemen bei Software im D-Grid“.
  

Sondermaßnahmen 2006, 2007 und 2008

Übersicht

Im Rahmen der D-Grid Projekte haben sich einzelne Institutionen bereit erklärt, eigene Ressourcen im D-Grid zur Verfügung zu stellen. Allerdings wurden damit keine Verpflichtungserklärungen bezüglich der zu installierenden Softwarekomponenten abgegeben.
Die im Bereich DGI1-FG2 beteiligten Institutionen bildeten ursprünglich das so genannte Kern-D-Grid. Mit Hilfe dieser Institutionen wurde ein erstes Betriebsmodell erstellt. Unabhängig von der erklärten Verpflichtung dieser Institutionen, Ressourcen dem D-Grid zur Verfügung zu stellen, wird im diesem Bericht nur der Status der im Rahmen der Sondermaßnahmen 2006, 2007 und 2008 für das D-Grid erworbenen Ressourcen dargestellt.
Dabei ist zu berücksichtigen, dass die Antrag stellenden Institutionen auch explizite Verpflichtungen bezüglich dieser Ressourcen im Antrag akzeptiert haben. Diese Verpflichtungen betreffen die zu installierenden Softwarekomponenten, den Zeitpunkt der Betriebsbereitschaft, die Unterstützung des D-Grid Betriebsmodells sowie eine Berichterstattungspflicht gegenüber dem D-Grid Beirat.
Farblich gekennzeichnete Einträge in Tabelle 1 weisen darauf hin, dass eine (Teil- oder vollständige) Abschaltung von Ressourcen bereits erfolgt oder geplant ist. Nähere Informationen hierzu liefert der Abschnitt Außerbetriebnahme von Ressourcen. Auf Anforderung werden den Mitgliedern des Beirats auch Einzelberichte zur Verfügung gestellt.
Die aufgestellte Hardware entspricht dem aktuellen Kenntnisstand der D-Grid GmbH. Serverknoten bleiben unberücksichtigt. Der Speicher ist zusammengefasst und soll nur einen Anhaltspunkt liefern. Es wird daher nicht zwischen Cache und Hauptspeicher unterschieden.

Die Ansprechpartner an den einzelnen Institutionen sind in Tabelle 2 aufgeführt.
Tabelle 2 Ansprechpartner f ür die Sonderinvestitionen

hecht@hlrs.de 

dgrid-admin@zib.de

Im Berichtszeitraum für das 2. Halbjahr 2010 wurde bei den Betreibern der aus den Sonderinvestitionen finanzierten Ressourcen nachgefragt, wie die Planungen bzgl. des Weiterbetriebs aussehen. Die Ende 2006/ Anfang 2007 beschafften Ressource erreichen 2011/2012 eine Betriebsdauer von 5 Jahren.
Gleichzeitig wurde erstmals auf Basis der Rückmeldungen der Ressourcenbetreiber festgehalten, welche Software-Lizenzen aus den Mitteln der Sonderinvestition beschafft wurden bzw. im Einsatz sind. Die erhaltenen Rückmeldungen sind in Tabelle 3 zusammengefasst.
Tabelle 3 Geplante Betriebsdauer der SI und Nutzung von Software-Lizenzen

Außerbetriebnahme von Ressourcen

Nach dem Kenntnisstand der D-Grid GmbH haben bzw. werden folgende Ressourcenbetreiber Hardware, die aus Sonderinvestitionen des BMBF beschafft wurde, abschalten:

Betreiber, die aus Sonderinvestitionen des BMBF finanzierte Ressourcen abschalten wollen, werden gebeten, Herrn Matthias Hofmann (matthias.hofmann@d-grid-gmbh.de) zu kontaktieren. Es existiert ein Fragebogen, der in diesem Falle auszufüllen und unterschrieben per Post an die D-Grid GmbH zu senden ist.

Nutzungsstatistiken

CPU-Stunden

Innerhalb des zweiten Halbjahres 2011 sind ca. 63,48 Millionen CPU-Stunden auf den Ressourcen der D-Grid Sonderinvestitionen gerechnet worden. Dies ist eine erhebliche Abnahme von circa 48% im Vergleich zum ersten Halbjahr 2011. Die Verteilung der verbrauchten CPU-Stunden verschob sich ausgeprägt zu Gunsten der virtuellen Organisationen innerhalb des D-Grid. Diese Organisationen verzeichneten einen Zuwachs von 32% Prozent, gleichzeitig fiel der Anteil der virtuellen Organisationen außerhalb des D-Grids um 40% auf nur 5% zurück (siehe Abbildung 1). Die restlichen 23% der verbrauchten CPU Stunden entstanden durch lokale Anwender, die hiermit im Vergleich zum letzten Halbjahr einen Zuwachs von 8% verzeichnen.
Die erhebliche Abnahme der Nutzung in CPU Stunden sowie die starken Verschiebungen innerhalb der Nutzergruppen sind darauf zurückzuführen, dass nicht alle Ressourcen-Provider Statistiken zur Verfügung gestellt haben. Hierunter fallen auch größere Sites wie der GridKa-Cluster oder MPG.
Betrachtet man nur die virtuellen Organisationen des D-Grid, so wurden ca. 45,53 Millionen CPU Stunden (CPUh) in Anspruch genommen, was eine leichte Abnahme von ca. 2,5 Millionen ausmacht. Die gerechneten CPUh seitens VOs außerhalb der D-Grid sanken dagegen von ca. 53,16 Millionen auf nun ca. 3,5 Millionen.
Betrachtet man die VOs innerhalb von D-Grid genauer, so entfällt ein Großteil der gerechneten CPUh hierbei auf die virtuellen Organisationen AstroGrid-D, bwGRiD, HEPCG, MediGrid und SoftComp. Abbildung 2 zeigt eine genaue Aufschlüsselung der angefallenen CPU Stunden nach virtueller Organisation des D-Grid. Zur besseren Darstellung besitzt die x-Achse eine logarithmische Skala, virtuelle Organisationen ohne Job Submission im Erhebungszeitraum sind ausgeblendet.

Abbildung 1 D-Grid / Non D-Grid Verhältnis verbrauchter CPUh

Abbildung 2 Nicht-normalisierte CPU Stunden gegliedert nach D-Grid VO

Abbildung 3 zeigt die nach Nutzergruppen kumulierten verbrauchten CPU Stunden über den Berichtszeitraum hinweg.

Abbildung 3 Verbrauchte CPU Stunden gegliedert nach Monat

Jobs

Neben der reinen Anzahl an CPU-Stunden wurde auch die Anzahl an submittierten Jobs festgehalten. Wie aus Abbildung 4 ersichtlich, ergibt sich analog zu den zweieinhalb Vorjahren ein Übergewicht zugunsten der Non-D-Grid Nutzung. Von den etwa 10,88 Millionen gerechneten Jobs stammen circa 44% bzw. 4,81 Millionen von D-Grid Nutzern. Damit sank der D-Grid Anteil um 15% gegenüber dem letzten Berichtszeitraum, die Anzahl submittierter Jobs sank insgesamt um etwa 0,8 Millionen.

Abbildung 4 D-Grid / Non D-Grid Verhältnis submittierter Jobs
Untersucht man die Anzahl gerechneter Jobs und gliedert diese bzgl. der einzelnen virtuellen Organisationen des D-Grid auf, so ergibt sich die in Abbildung 5 dargestellte Aufteilung. Virtuelle Organisationen, die im Erhebungszeitraum keine Jobs gerechnet haben, wurden in der Graphik nicht berücksichtigt.

Abbildung 5 Anzahl Jobs gegliedert nach D-Grid VO

Zum besseren Erkennen von Tendenzen ist in Abbildung 6 die Anzahl gerechneter Jobs nach Monaten dargestellt.

Abbildung 6 Anzahl Jobs gegliedert nach Monat

Speichernutzung

Abbildung 7 stellt die bereits auf den D-Grid Ressourcen gespeicherten Datenvolumen bezogen auf die Middleware dCache dar. Eine Nutzung des über OGSA-DAI angebotenen Speichers erfolgte durch keine virtuelle Organisation.

Abbildung 7 dCache Datenvolumen pro D-Grid VO [GByte]

Neben dCache wurden weitere Formen von Storage Elementen durch Communities verwendet. Die Nutzung dieser teils Community-spezifischen Storage Elemente ist in Abbildung 8 zusammengefasst.

Abbildung 8 Andere Middlewares: Datenvolumen pro D-Grid VO [GByte]

Zusammenfassung

Abschließend sind in Abbildung 9 noch einmal die durch einige virtuelle Organisationen des D-Grid verbrauchten CPU Stunden sowie die insgesamt verbrauchten CPUh dargestellt. Der betrachtete Zeitraum beschränkt sich jedoch im Vergleich zu Abbildung 2 bzw. 3 nicht nur auf das letzte halbe Jahr, sondern betrachtet den Zeitraum Juli 2008 bis Dezember 2011. Deutlich zu erkennen ist, dass die Nutzung der D-Grid Ressourcen im letzten Halbjahr geringfügig abgenommen hat, dies jedoch den positiven, zunehmenden Trend der Nutzung nicht beeinflusst.

Abbildung 9 Verbrauchte CPU Stunden gegliedert nach Monaten (Zeitraum 07/2008 bis 12/2011)

Literaturverzeichnis

1. Schwiegelshohn, Uwe, et al., Statusbericht über die Kern-Grid-Infrastruktur. [Online] 10. 02 2009. [Zitat vom: 30. 08 2011.] http://www.d-grid-ggmbh.de/fileadmin/downloads/Berichte/StatusberichtKern0208.pdf.
2. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur. [Online] 07. 08 2009. [Zitat vom: 30. 08 2010.] http://www.d-grid-ggmbh.de/fileadmin/downloads/Berichte/StatusberichtKern0109.pdf.
3. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur. [Online] 5. Februar 2010. [Zitat vom: 30.08.2010.]
4. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 01/2010. [Online] 9. August 2010. [Zitat vom: 30.08.2011.] http://www.irf.tu-dortmund.de/cms/de/IT/Mitarbeiterseiten/Dipl_-Inform__Stefan_Freitag/D-Grid/Statusbericht_0110.pdf.
5. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 02/2010. [Online] 23. Februar 2011. [Zitat vom: 30.08.2011.] http://www.d-grid-gmbh.de/fileadmin/downloads/Berichte/StatusberichtKern0210.pdf
5. Schwiegelshohn, Uwe, et al., Statusbericht über die D-Grid Kern Infrastruktur 01/2011. [Online] 12. September 2011. [Zitat vom: 30.08.2011.] http://www.d-grid-gmbh.de/fileadmin/downloads/Berichte/Statusbericht_Kern0111.pdf
6. D-Grid Referenz-Installation. [Online] [Zitat vom: 30. August 2010.] http://dgiref.d-grid.de/.
7. Betriebskonzept für die D-Grid Infrastruktur, Version 2.0. [Online] 04. 12 2009. [Zitat vom: 30.08 2011.] http://www.d-grid.de/fileadmin/user_upload/documents/Kern-D-Grid/Betriebskonzept/D-Grid-Betriebskonzept.pdf.

Anhang

Tabelle 4 D-Grid/ Non-D-Grid CPU Stunden Gesamtübersicht

Tabelle 5 D-Grid/ Non-D-Grid Anzahl Jobs Gesamtübersicht

Tabelle 6 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen dCache [GByte]

Tabelle 7 D-Grid/ Non-D-Grid akkumuliertes Datenvolumen andere Storage Middlewares [GByte]