AstroGrid

Kollaborative, gridbasierte Forschungsumgebung für die Astronomie

 

AstroGrid-D ist ein D-Grid Projekt der ersten Stunde. Das Community-Grid wurde von fünf Forschungsinstituten der Astronomie und Astrophysik in Zusammenarbeit mit Grid-Experten-Gruppen aus Informatik-Instituten und Hochleistungsrechenzentren gegründet mit dem Ziel, eine gridbasierte kollaborative Forschungsumgebung für die Community zu schaffen.

Aus der Astronomie sind zahlreiche Anstöße für die Grid-Entwicklung gekommen und der Umgang mit astronomischen Daten ist eine der treibenden Kräfte in der Entwicklung der eScience der letzten Jahre. Astronomie-basierte Initiativen sind unter den Gründern der Mehrzahl nationaler Grid-Initiativen in der Welt. Die astronomische Forschung nimmt dabei eine Rolle ähnlich der der Teilchenphysik bei der Vorbereitung des LHC-Experiments am CERN ein; ihr Fokus liegt aber stärker auf den Datenaspekten. Als Beispiel sei hier das Radio-Teleskop LOFAR genannt, welches im Betrieb bis zu 150 GBit/s an Rohdaten zur Korrelation erzeugt und ein Jahresvolumen von mehreren Petabyte Rohdaten erzeugt. Die Speicherung, Verarbeitung und insbesondere die wissenschaftliche Auswertung solcher großen Datenmengen ist mit gridbasierten Methoden möglich.

Das AstroGrid-D hat ein auf Globus-Middleware basierendes Grid in der Astronomie geschaffen, das die verfügbaren Ressourcen der teilnehmenden Institute in eine Gridinfrastruktur einbindet. Diese Ressourcen stehen den Mitgliedern der Virtuellen Organisation (VO) „AstroGrid“ zur Verfügung. Darüber hinaus sind auch Ressourcen aus den Grid-Sonderinvestitionen über die Middleware eingebunden und stehen allen D-Grid VOs zur Verfügung.

Es existiert eine gut ausgebaute Struktur für die Betreuung der Mitglieder Virtueller Organisationen in allen Zertifikatsangelegenheiten durch Registration Authorities (RA) in nahezu allen astronomischen Instituten als Anlaufstelle vor Ort. Ein vom AstroGrid-D entwickeltes Konzept von VOMRS (Virtual Organisation Membership Registration System) in Kombination mit Java-Http-Servelets und lokaler Nutzerverwaltung wird als System im D-Grid Middleware-übergreifend eingesetzt

Lücken der von den Middleware-Systemen bereitgestellten Informationen zum Status des Grid, die nur schwer zu kombinierenden Informationen der verschiedenen Middleware-Services sowie nicht ausgereifte Darstellungsmöglichkeiten waren mit ausschlaggebend für eine wesentlich breitere Anwendung von Stellaris als zentraler Informationsdienst im AstroGrid-D. Darauf aufbauend wurden u. a. Monitoring-Werkzeuge wie z. B. Timeline und GridMap entwickelt, die Informationen zu Ressourcenverbrauch eines Gridjobs für jeden Benutzer in einem Browser darstellen kann.

Die Standard-Komponenten der Globus-Middleware sind um den GridWay Metascheduler, einen Broker, erweitert worden, der die Verteilung der Gridjobs auf verfügbare Ressourcen übernimmt. Die Nützlichkeit des Brokers hat sich insbesondere dort erwiesen, wo besondere Ressourcen wie GRAPE-Boards (zur Berechnung gravitativer Wechselwirkungen) verwandt wurden.

Das Datenmanagement in AstroGrid-D umfasst die Verarbeitung von Daten unterschiedlichen Formats, von Dateien über Datenbanken bis hin zu Datenströmen. Die Basis für die verteilte Dateiverwaltung ist das Datei-Staging in Zusammenhang mit der Replikatverwaltung. Es werden zwei Standard-Softwarewerkzeuge vom Globus Toolkit 4 eingesetzt: GridFTP für den Dateitransfer und der Replica Location Service (RLS) für die Replikatverwaltung. Für den Einsatz des Brokers GridWay wurde u.a. das ADM, das AstroGrid-D Data-Management-System, implementiert, welches den RLS für den Nutzer einfacher und handhabbar macht.

Die Grid-Middleware OGSA-DAI ermöglicht die Einbindung von Datenbanken. AstroGrid-D war als Beta-Tester bei der Weiterentwicklung dieser Komponente beteiligt. Die Authentifizierung der AstroGrid-D-Benutzer erfolgt über deren Grid-Zertifikate. Somit kann der Zugriff auf die Datenressourcen ohne den administrativen Aufwand über Datenbankaccounts gewährt werden. Des Weiteren steht im AstroGrid-D ein Datenstrommanagement auf allen Ressourcen zur Verfügung. Wissenschaftler können typische Verarbeitungsschritte kapseln und in Stellaris beschreiben und ablegen. Somit wird kooperierenden Forschern die Möglichkeit gegeben, nützliche Operationen zu finden und wiederzuverwenden. Hierbei können die Astronomen die Grid-Zertifikate nutzen, um zu verifizieren, dass die Operation aus vertrauenswürdiger Quelle stammt

Weitere Ergänzungen der Middleware, die im AstroGrid-D verwendet bzw. weiterentwickelt wurden, sind GridSphere, ein browserbasiertes Interface zur Grid-Middleware und GAT, das Grid Application Toolkit, welches Programmierern einen uniformen Zugang zu verschiedenen Middlewares bietet.

Die Integration von Robotischen Teleskopen in das Grid war ein besonderes Anliegen des AstroGrid-D. Es wurde ein Software-Paket implementiert, welches unter Verwendung des RTML-Standards der Community, Globus Middleware und Stellaris diese Aufgabe realisiert.

Mit über 20 UseCases hat das AstroGrid-D viele der Hauptanwendungen der Community erfasst und einen Teil davon auf das Grid portiert. Einige dieser UseCases, z. B. GEO600, haben das Produktionsstadium erreicht und verbrauchen derzeit etwa 60 000CPUh pro Tag im D-Grid. Die Erfahrungen sind in einem „App2Grid-Guide“ dokumentiert und erleichtern die Portierung ähnlicher Applikationen auf das Grid erheblich. Für die Einbringung von Ressourcen in das AstroGrid-D gibt es ebenfalls ausführliche Anleitungen und Skripte.

Die International Virtual Observatory Alliance (IVOA) entwickelt weltweite Standards und Werkzeuge für den Datenzugriff auf astronomische Archive. Deutschland ist über GAVO in der IVOA vertreten. Zusammen mit GAVO hat das AstroGrid-D daran gearbeitet, die im Grid vorhandene Infrastruktur mit den Werkzeugen des Virtuellen Observatoriums zu verbinden. Ein Beispiel für Ergebnisse dieser Zusammenarbeit ist der Service TheoSSA, der synthetische Spektren aus einem IVAO-kompatiblen Webservice heraus auf Grid-Ressourcen berechnet.