Web services based real time data warehouse

Abstract

Günümüz iş dünyası çok hızlı değişmektedir ve karar vericilerin geçmişte neler olduğuna ve bugün neler olmakta olduğuna dair bir resme ihtiyaçları vardır. Geleneksel veri ambarları tarihsel resmi sağlamaktadır, fakat taze veriden yoksunlardır. Oysa ki, veri ambarlarındaki taze veri kullanıcı açısından oldukça önemli bir özelliktir. Bu çalışmanın amacı web servisleri kullanarak gerçek zamanlı bir veri ambarı geliştirmektir. İlk olarak, gerçek zamanlı veri ambarının konsept ve mantıksal modellemesini yaptık. Kaynak sistemlerdeki değişen verileri yakalamak için web servis tabanlı istemci-sunucu yazılımı geliştirdik. Daha sonra, veri ambarına günlük bazda yükleyeceğimiz veriler için gerçek zamanlı bölüm oluşturduk. Ayrıca, sorgu yeniden yazma yaklaşımını kullanarak, veri ambarı ile gerçek zamanlı bölüm verilerini birleştirmek için bir veri entegrasyon servisi gerçekleştirdik.

Today's business environment is quickly changing and business decision makers need for a historical picture of what happened and a picture of what was happening today. Traditional data warehouses provide a historical picture, but there is lack of fresh data. However, fresh data in data warehouses is a strong feature from the part of the users. The aim of this study is building a real time data warehouse using web services. First, we modelled both the conceptual and the logical design of real time data warehouse. For change data capture from source systems, we implemented web services based server and client software. Then, we used real time partition for real time data which is merged into data warehouse in a daily fashion. We, also, implemented a data integration service using query re-write approach to integrate data warehouse and real time partition data.