Analysis of big data using cloud computing

Abstract

Verilerin öncelikli önemi, doğru kararlar almak için bilgi sağlamasıdır. Verilerden bilgi çıkaramazsak veriler işe yaramaz hale gelir. Verilerin analiz süreci, bir kullanıcının karar verme sürecini kolaylaştırmak için ihtiyaç duyduğu belirli bir veri kümesinden bilgi çıkarma yeteneği anlamına gelir ve ayrıca doğru kararların alınmasında yardımcı olur. İlişkisel Veri Tabanı Yönetim Sistemlerinde (RDBMS) eski tasarımlarından dolayı birçok engel var. Bilgi teknolojisi sistemlerinin sürekli değişen ve sürekli artan ihtiyaçlarını karşılamak çok zor. Örneğin, bu sistemler exabyte veya zettabaytlardaki verileri işlemeyi zor buluyor. Bu kadar büyük ve yapılandırılmamış veriler `Büyük Veri` olarak adlandırılır. Bu tez, kontrol etmek ve analiz etmek için büyük ve ele alınması zor yapılandırılmamış verilerin nasıl işleneceğini açıklamaktadır. Bu problem, muazzam Veri Analitiği olarak da bilinen geleneksel sistemlere yararlı bir alternatif sunan Cloud Computing'in (CC) ortaya çıkmasını içeren farklı çözümler ortaya çıktığında vurgulanmıştır. Bu araştırmanın bir parçası olarak Altınbaş Üniversitesi'nden çok sayıda öğrenci, mühendis ve personel ankete katıldı. Bazı Libyalı katılımcılar da ankete katıldı. Katılımcılardan, Cloud Computing hizmetlerinin büyük verilerin işlenmesi ve analiz edilmesi için nasıl yardımcı olduğuna odaklanan 30 soruluk bir anket doldurmaları istendi. Neredeyse katılımcıların bulut bilişim hizmetleri hakkında hiçbir bilgisi olmadığını gördük; Böylece, bir meydan okuma oldu; Ancak, bu tez büyük veri ve bulut bilişim gibi konularda yeni bir ışık tutuyor. Büyük bir veri analizi projesi, en büyük veri kümelerinden birinin hızlı ve kolay bir şekilde nasıl analiz edileceğini gösterir. Tezin sonunda, kullanıcıları geleneksel bellek yerine Cloud Computing Platformları kullanmaya teşvik eden açık bir örnekle tam bir tanım sağlamayı hedefliyoruz.Anahtar Kelimeler: AWS, Büyük veri, Bulut Bilişim, GCP, RDBMS, MS Azure.

The primary importance of the data lies in the fact that it provides information to take correct decisions. The data becomes unhelpful if we are unable to extract information out of it. The process of analyzing data means the ability to extract information from a specific data set that a user requires to make the decision-making process easier, and besides, it is helpful to make accurate decisions. There are many obstacles in Relational Database Management Systems (RDBMS) because of their old design. It is very difficult to meet the ever-changing and continuously increasing needs of the information technology systems. For example, these systems find it difficult to handle data in exabytes or zettabytes. Such large and unstructured data is termed as `Big Data.` This thesis explains how to process magnanimous and difficult-to-handle unstructured data in order to control and analyze it. This problem has been highlighted when different solutions were introduced, which include the emergence of Cloud Computing (CC) that provides a useful alternative to the traditional systems, also known as massive Data Analytics. A large number of students, engineers, and staff members of Altinbas University participated in a survey as a part of this research. Some Libyan participants also participated in the survey. The participants were asked to fill in a questionnaire that had 30 questions focused on how Cloud Computing services are helpful to handle and analyze big data. We found almost of them participants had no knowledge of cloud computing services; so, it became a challenge; however, this thesis throws new light on the subjects like big data and cloud computing. A big data analysis project shows how to analyze one of the largest datasets in a quick and easy way. By the end of the thesis, we aim to provide a complete definition with a clear example that encourages users to use Cloud Computing Platforms instead of traditional memory.Keywords: AWS, Big data, Cloud Computing, GCP, RDBMS, MS Azure.