A comparative study of different database technologies for big data modeling and analysis in education

Abstract

Veri yaratım hızındaki artış ile Büyük Veri kavramı, yanında birçok yeni sorun ile ortaya çıktı. Tek bilgisayar üzerinde çalışan geleneksel ilişkisel veritabanları, istenen verimliliği sağlayamamaya başladı. Sonuç olarak, bu veriyi bilgisayar bulutlarında saklayan yeni yaklaşımlar, ve veriyi farklı şekillerde modelleyen yeni veritabanı yönetim teknolojileri geliştirildi.Farklı veri modelleri farklı avantajlar ve dezavantajlar sunmaktadır. Bu nedenle, tüm projeler için en iyisi olan bir veritabanı yönetim sistemi yoktur. Aksine, bir proje için doğru olan veritabanı sistemi, bu projedeki verinin nasıl depolanacağına ve sorgulanacağına bağlıdır. Kimi veri modelleri bakımı kolaylaştırır ve veri tutarlılığını garanti altına alırken, kimi verimliliğe odaklanmaktadır. Bu tezde, üç farklı (ilişkisel, döküman tabanlı ve grafik tabanlı) veritabanı sistemi incelenmiş, ve bir çevrimiçi eğitim sistemi olan Sınavo üzerinde örnek vaka çalışması yapılmıştır. Bu üç veritabanı sistemi, tasarım aşamasından, sorgu verimliliğine kadar incelenmiştir. Sonuç olarak, farklı veritabanı sistemlerinin farklı avantajlar sağladığı, ve farklı sorgu tiplerine göre değişik performans sergilediği gösterilmiştir.Büyük Veriyi depolama ve sorgulamanın dışında, veri güdümlü karar verme çok önemli ve değerli bir işlemdir. Bu tezde, örnek olarak 2 durum incelenmiştir. Sınavo sisteminde öğrencilerin performanslarını sistemin depoladığı istatistikler üzerinden bayes metodlarını kullanarak tahmin etmek için yeni bir yol önerilmiş, ayrıca soruları zorluklarına göre gruplandırmak için bir metot gösterilmiştir.Anahtar Kelimeler: buyuk veri, veritabanı, veri modeli, sql, ili¸skisel veritabanı, dokuman tabanlı veritabanı, grafik veritabanı, veri gudumlu karar verme.

With the increase in data generation, notion of Big Data emerged, along with new problems on the side. Traditional relational databases on single computers failed to perform at required eciencies. As a result, new approaches to hosting data emerged that uses clouds of commodity hardware. In addition, new database management system (DBMS) technologies are created under NoSQL movement, with new ways of modelling data.Different data models have their own advantages and disadvantages. Consequently, there is not one DBMS that is the best choice for every project. Instead, the way the project needs data to be stored and retrieved is a determinant factor on the choice. Some data models ensure data consistency and ease maintenance; whereas, others focus on performance. We analyse three different data models, namely relational, document based and graph databases, and conduct a case study on Sınavo, an online education system. We investigate each data model from their design to their performances on different queries. We show that different systems offer different qualities and perform better at some queries and worse at others.In addition to storing Big Data, making data-driven decisions is an important and valuable process. We investigate two exemplary cases on Sınavo. We introduce a novel approach to estimating student performances by applying bayesian statistics on data stored in Sınavo system. We also propose a way of classifying questions based on their diffculty levels.Keywords: big data, database, data model, sql, relational database, document store, document based database, graph database, data driven decision-making.