Yer sistem modellemesi için iş akış tasarım ve yönetim sistemi

Abstract

Bilimsel iş akış sistemlerinin karmaşık bileşenler içeren çalışmalarda kullanılması son zamanlarda oldukça popüler bir araştırma alanıdır. Özellikle yer sistem bilimleri açısından bakıldığında, birbirlerine sıkı bir şekilde bağlı, kuple edilmiş ve birçok farklı bileşen içeren yer sistem modellerine ait alt süreçlerin ve birbirleri ile olan ilişkilerin basitleştirilmesi için bilimsel iş akış sistemleri kullanılabilir. Bu çalışmanın asıl motivasyon kaynağı, karmaşık modelleme sistemlerinin yüksek başarımlı hesaplama sistemlerinde çalıştırılmasının gittikçe zorlaşması ve varolan karmaşıklığın ortalama bir kullanıcı seviyesine indirgenmesine olan ihtiyaçtır. Bu çalışma ile bilimsel iş akışı ve çerçeve yaklaşımlarının birleştirilerek standartlaştırılmış bir çalışma ortamının yaratılması için gerekli yeni bir metodoloji geliştirilmiş ve tanımlanmıştır. Tanımlanan bu metodoloji, iki farklı ve gerçekçi yer sistem uygulaması ile sınanmış ve sonuçları analiz edilmiştır. uygulama örneği; bir küresel dolaşım modelinin hem bir hesaplama gridi (TeraGrid), hem de bir küme sistem üzerinde, kullanılan modeli ve hesaplama ortamını anlamlı bir sekilde soyutlaştırılarak çalıştırılması ve sonuçların analiz edilmesi süreçlerini içermektedir. Bu amaçla, henüz geliştirilme aşamasında olan CCSM modelinin son sürümü kullanılmıştır. Bu örnek ile daha önce yer sistem modelleri ile uygulaması olmayan bir şekilde köken bilgisi toplanarak, model ve sistem ile ilgili ön bilginin otomatik bir şekilde üretilmesine katkıda bulunulmuştur. Bu şekilde model sonuçlarının tekrar edilmesi ve sonradan detaylı bir şekilde incelenmesinin önündeki zorluklar kaldırılmıştır. İkinci uygulama örneği ise; çerçeve yaklaşımı kullanılarak kuple edilmiş bölgesel bir iklim modeli sisteminin, Akdeniz bölgesi için tanımlanarak iş akış sistemine entegre edilmesini ve bu şekilde bölge iklim sisteminin daha gerçekçi bir şekilde benzetiminin yapılmasını amaçlamaktadır. Bu test uygulamasının, küresel dolaşım modeli sonuçlarını Türkiye ve bölgesi üzerine dinamik ölçek küçültme yöntemi kullanılarak aktarılması çalışmaları açısından bakıldığında ayrı bir önemi vardır. Birinci uygulamada olduğu gibi, bu uygulama örneğinde de köken bilgisinin toplanarak sonuçların tekrar edilmesi, karşılaştırılması ve hataların ayıklanması süreçlerine katkıda bulunulması amaçlanmaktadır. Sonuçlar, geliştirilen iş akış çalışma ortamının farklı yer sistem modelleri ve farklı yüksek başarımlı hesaplama kaynakları üzerinde, anlamlı bir soyutlama seviyesinde çalıştırılabildiğini ve toplanan köken bilgisinin, yapılan çalışmanın evriminin kayıt altına alınması açısından son derece yararlı olduğunu ortaya koymuştur. Ayrıca iş akış ortamında kullanılmak üzere geliştirilen modeller, kendi kendisini tanımlayan yer sistem modellerinin tekil örneklerini oluşturmaktadır.

The application of scientific workflow systems for orchestrating complex tasks is still an open research area. In particular, earth system related applications consists of different tasks that are closely related to each other and scientific workflow systems can be used to simplify these sub processes and their relationships.The motivation for this work is driven by the complexities of running a large modeling system on a high performance network and the need to reduce those complexities, particularly for the average user.In this study, it is presented and analyzed a new methodology to combine scientific workflow and modeling framework approach together to create a standardized work environment. Then, the proposed methodology is tested using two typical and realistic earth system modeling application. The results of example workflows that are based on the proposed methodology is a part of this study.The first example allows running and analyzing a global circulation model on both a grid computing environment (TeraGrid) and a cluster system with meaningful abstraction of used model and computing environment. The development version of NCAR Community Climate System Model (CCSM) model is used for this purpose. In this application example, the collection of provenance information has the added benefit of documenting a run in far greater detail than before. This facilitates exploration of runs and leads to possible reproducibility.In second example, a regional coupled climate modeling system is developed for Mediterranean region and integrated into workflow system to provide better representation of regional climate system. This application has curial importance in downscaling output of the global circulation models over Turkey and near regions and it also can be used to create better representation of regional climate for the future scenarios. As, in the first application example, the workflow application collects provenance information automatically from the coupled earth system modeling system to reproduce, compare and debug the results.The results show that the developed workflow environment is capable of running different earth system models on a different high performance computing resource with a meaningful abstraction. The proposed work environment acts as an abstraction layer and hides the detail of the used infrastructure and earth system model from user and it also collect standardized provenance information about both model and computing resource to represent the work environment as possible as it can. In this study, we also try to demonstrate the viability of using framework and workflow approaches to create a self-describing and standardized modeling system and execution environment that is specialized for earth system related applications.