An infrastructure model for collecting electronic data to develop large scale corpus

Abstract

Dokuz Eylül Üniversitesi Bilgisayar Mühendisliği Bölümünde, Doğal Dil İşleme alanında farklı çalışmalar yürütülmektedir. Doğal Dil İşleme çalışmalarında dilin dilbilgisi kuralları belirlenmeli ve derlem olarak adlandırılan metin örnekleri hazırlanmalıdır. Bu örnekler dilin dilbilgisi kurallarını karşılamak zorundadır.Bu çalışmada, büyük ölçekli derlem için altyapı tasarlanmış ve gerçekleştirilmiştir. Gazete, rapor dergi, kitap, meclis tutanağı ve resmi gazete gibi 6 farklı doküman tipini destekleyen bir veri tabanı modeli tasarlanmıştır.Veri tabanı modeline bağlı olarak gerçekleştirilen uygulama ile 5 gazeteden 195256 makale indirilmiştir ve bu dokümanların üst verileri daha sonar yapılacak çalışmalar için depolanmıştır.

In the Dokuz Eylül University Computer Engineering Department, different studies on Natural Language Processing (NLP) have been carried out. For NLP research grammatical rules of the language must be determined and a text sample of that language, which is called as corpus, must be prepared. These sample texts should satisfy the grammar rules of language.In this study, an infrastructure for a large scale corpus is designed and implemented. A database model, which supports 6 different document type such as newspaper, report, magazine, book, parliamentary report and official gazette, is designed.By implementing the developed application depending on the database model, 195256 articles were downloaded from 5 newspapers, and their metadata was stored for future use.