Pfad/Path D-Grid GmbH / Projekte / Gap Projekte / D-MON / 

D-MON

Horizontal Integration of Resource and Service Monitoring in the D-Grid

Abb 1.: Implementierte D-MON Architektur

Die Vision von D-MON ist es, eine Grid-weite Monitoring-Architektur über mehrere darunter liegende, heterogene Systeme zu realisieren. Die Schwierigkeit dieses Vorhabens liegt darin, dass das D-Grid aus mehreren autonomen Ressourcen Providern und Virtuellen Organisationen besteht. Alle im D-Grid verwendeten Middleware-Installationen stellen unabhängig voneinander Monitoring- bzw. Informations-Systeme bereit, die sich in ihrer Funktionalität, ihrem Informationsmodell und Datenschema, den implementierten Standards sowie ihrer Architektur unterscheiden. Diese Systeme coexistieren zurzeit nebeneinander und sind nicht interoperabel.

Das D-MON Projekt hat es sich zur Aufgabe gemacht, den Grundstein für ein D-Grid-weites Monitoring-System zu legen, welches mit den verschiedenen Standards sowie externen Tools zusammenarbeitet. Dies ist unverzichtbar, um den Status von Grid Ressourcen, Diensten und Jobs, die in verschiedenen Middleware-Umgebungen laufen, zu überwachen. Dies gilt sowohl für Nutzer des Grids, Administratoren an den einzelnen Rechenzentren als auch für ein Grid Operations Center (GOC).

Ein Gesichtspunkt von D-MON ist die horizontale Integration von unterschiedlichen Grid-Monitoring-Systemen. Probleme, denen hierbei begegnet werden muss, sind inkompatible Schnittstellen, uneinheitliche Software Architekturen, Informationsmodelle und Schemata, die von den etablierten Monitoring-Systemen (Globus MDS4, gLite BDII und UNICORE CIS) verwendet werden. Um eine für alle Grid Nutzer und Dienste verwendbare middleware-übergreifende Monitoring-Plattform zu realisieren, setzt D-MON auf eine zentrale Datenbank zur Speicherung der Monitoring-Daten, welche von Adaptoren und Transformatoren prinzipiell aus jedem vorhandenen Informationssystem extrahiert und in die Datenbank eingefügt werden. Der Zugriff auf die gesammelten Monitoring-Daten ist über eine Grid-konforme Schnittstelle für Datenbanken (OGSA-DAI) vorgesehen.

Eine enge Verbindung zwischen D-Grid-weitem Monitoring-System und lokalen Management-Systemen, die von den Ressourcen-Anbietern verwendet werden, sollen die tägliche Arbeit der Systemadministratoren erleichtern. Für diesen Zweck wird ein zusätzlicher Adapter implementiert, der externe administrative System- und Monitoring-Werkzeuge in das Grid-Monitoring integriert. Dies wird exemplarisch am Beispiel von Nagios, einem Tool zum Überwachen von Clustern, umgesetzt.

D-MON wird den Communities und Virtuellen Organisationen (VO) eine VO-spezifische Sicht auf ihre Ressourcen – und nur ihre Ressourcen und Dienste – bereitstellen. Dies ist wegen der großen Anzahl an Communities und Ressourcen  im D-Grid absolut notwendig, um die Übersicht zu wahren und Nutzer des Grids nicht mit Informationen zu belasten, die sie nicht betreffen, da sie keine Zugriffsrechte auf die entsprechenden Ressourcen und Dienste besitzen.

Die vertikale Integration in D-MON beschäftigt sich mit der Integration von VO-spezifischen Informationen in die Monitoring-Architektur sowie mit der Bereitstellung dieser Informationen. Diese vertikale Integration beinhaltet auch die Entwicklung von Gridsphere-Portlets für die Darstellung der gesammelten Monitoring-Daten in einem Nutzerportal, welches neben VO-spezifischen Sichten auch diverse Rollen für Administratoren und ein GOC enthalten wird.

Das resultierende System, wie es in der Abbildung zu sehen ist, bietet dynamische, VO-basierte und Nutzer-spezifische Sichten auf die bereitgestellten Ressourcen und Dienste. Dies kann dadurch erreicht werden, dass VO-Management-Informationen mit den Monitoring-Informationen, die von den Informationssystemen (CIS, MDS 4  und BDII) der Middleware-Installationen bereitgestellt werden, verknüpft werden. Die Zusammenführung dieser Daten in einem Join und ein anschließender Filterschritt ermöglichen es, relativ einfach Sichten auf virtuelle Organisationen zu erstellen. Adapter, die die verschiedenen Informationssysteme und Architekturen verbinden, ermöglichen einen Grid-weiten und Middleware-übergreifenden Einsatz. Diese Komponenten - eine Datenbankkomponente auf der einen Seite und Adapter zur Anbindung von Monitoring- und VO-Management-Systemen auf der anderen - werden im  D-MON Projekt entwickelt, um die D-MON Vision zu realisieren.

Eine weitere Funktionalität, die leider mangels einer entsprechenden Authentifizierungs- und Autorisierungs-Infrastruktur (AAI) im D-Grid noch nicht umgesetzt werden kann, aber bereits jetzt geplant wurde, ist die Integration von SAML-VOMS Authentifizierung/Autorisierung am Nutzerportal und der OGSA-DAI Schnittstelle. Damit entfällt ein manuelles Anmelden bzw. die Auswahl der eigenen VO zur Bestimmung der Rolle, in der ein Nutzer auf das Portal zugreift, und die entsprechende Ansicht kann automatisch generiert werden.