Cern veri ağına (WLCG) yönelik analiz ve hesaplama altyapısı (TIER-3g) kurulumu

Abstract

Hesaplamaya dayalı küme bilgisayarlar; günümüzde özellikle deneysel fizik, astronomi ve tıbbi bilimler gibi disiplinlerde geniş çaplı olarak kullanılmaya başlanmıştır. Gelişen teknolojiyle birlikte hesaplama yazılımlarını daha verimli çalıştırabilen çok çekirdekli (multicore) sunucu sistemleri küme bilgisayarların yerini almakta veya birlikte kullanılması konusunda çalışmalar yapılmaktadır. Bu tür sistemlere ihtiyaç, yapılan deney ve analizlerde ortaya çıkan yüksek verinin doğru ve zamanında işlenmesi, farklı analizlerin aynı anda farklı araştırmacılar tarafından yürütülmesi ve verimliliğin arttırılması gibi kritik nedenlerden ortaya çıkmaktadır. Dünya'nın başlıca deney merkezlerinden Avrupa Nükleer Araştırmalar Merkezi (CERN)'de, yıllık petabyte mertebelerinde deneysel yüksek veri üretildiği göz önüne alındığında, ihtiyaca cevap verebilecek bir veri ağının işlerliği ile analiz merkezlerinin üretkenliği, sürdürülebilirliği ve gelişimi önem kazanmaktadır. CERN'de yürütülmekte olan deneylerden ATLAS (A Toroidal LHC Apparatus) (Aad ve diğerleri, 2008), veri alımından birkaç yıl önce (2004) hesaplama modelini açıklamış (Adams ve diğerleri, 2004), buna göre Tier-0 merkezinde alınan ham verinin hiyerarşik yapıdaki Tier-1 ve Tier-2 merkezleri arasında paylaştırılarak dağıtık veriye dönüştürülmesi, CERN analiz tesisinde işlenmesi ve araştırmacıların veri yönetimi ile tekrar-işlemleme aşamalarında etkin rol alması öngörülmüştü. Bu amaçla geliştirilen Büyük Hadron Çarpıştırıcısı (LHC) veri ağı (WLCG), aynı dönemde kurularak deney-dışı (offline) yapılan ilk testleri ve başlangıç verisi işlemlemeyi başarı ile tamamlamıştır (Shiers, 2007). Diğer taraftan, belli başlı enstitüler ham verinin depolanması, çeşitli algoritmalarla ayrıştırılması ve dağıtılması gibi merkezi işlemleri gerçekleştiren bir ağın araştırmacıların son verinin (Ntuple) analizi için gereksinimleri karşılayamayacağını öngördüler. Bu dönemde, araştırmacılara yönelik kurulan, merkezi olmayan ve tamamen kurulduğu enstitünün kontrolünde yer alan Tier-3g merkezleri geliştirilmiştir (Gonzalez de la Hoz ve diğerleri 2008; Haupt 2010; Villipana 2012). Bu merkezler WLCG'nin bir parçası olup son deney verisini depolayabilmekte ve enstitülerin öncelikleri doğrultusunda analizleri gerçekleştirebilmektedirler. Enstitüler, açık kaynak kodlu geliştirilen ve çok çekirdekli sunucuların üzerinde efektif çalışabilen analiz yazılımlarını Tier-3g üzerinde geliştirmekte ve kullanmaktadır. İstanbul Aydın Üniversitesi'nde geliştirilecek Tier-3g merkezi çalışmaları 2023 yılına kadar çalışmaya devam etmesi beklenen Büyük Hadron Çarpıştırıcısı verileri için yüksek luminosity fazında yapılacak analizlerde önem kazanacaktır. Bu çalışmalarda, son deney verisi formatına uygun (D3PD, xAOD) dengeli olarak çok çekirdekli işlemcilerde analiz edilebilecektir.

Today, cluster computers based on computation have been widely used especially in disciplines like experimental physics, astronomy and medical sciences. With the evolving technology, multicore server systems, which can run the calculation software more efficiently, replacing cluster computers or there are studies to make them work together. The main need for such systems arises from the critical reason such as to handle big data of the experiments and analyses accurately and in time, to ensure that different analyses are carried out by different researchers at the same time and to increase efficiency. When one consider that big data is produced in petabyte ranks annually at the Center for Nuclear Research (CERN), one of the world's major experiments, the operation of a data network responding to need and the productivity, sustainability and development of analysis centers becomes important. ATLAS (A Toroidal LHC Apparatus) (Aad et all, 2008) one of the experiments running at CERN, explained the calculation model a few years before data acquisition (2004). According to that explanation, transformation of the raw data received at the Tier-0 center to the distributed data by sharing among the Tier-1 and Tier-2 centers in the hierarchical structure, processing in CERN analysis facility and researchers taking an active role in data management and reprocessing stages were predicted. The Large Hadron Collider (LHC) data network (WLCG), which was developed for this purpose and established during the same period, has successfully completed initial testing and initial data processing (Shiers, 2007). On the other hand, Major institutes predicted that a network performing central processing such as storage of raw data, decomposition and distribution by various algorithms would not meet the requirements of the researchers to analysed the n-tuples. In this period, Tier-3g centers have been developed which are set up for researchers, decentralized and fully under the control of the institute that they are established (Gonzalez de la Hoz et all 2008; Haupt 2010; Villipana 2012). These centers are part of the WLCG and can store the latest experimental data and carry out analyses in line with the priorities of the institutes. Institutes develop and use the analysis software programs, which are open sourced developed and can work effectively on multicore servers, on Tier-3g centers. Tier-3g center studies, will be developed in Istanbul Aydin University, will gain importance for the high luminosity data of Large Hadron Collider which is expected to continue to run until 2023. In these studies, the latest experimental data, can be balanced and analysed in multi-core processors in the appropriate format (D3PD, xAOD).