Coğrafi veri modelleri arasında uygulamaya yönelik dönüşüm algoritmalarının geliştirilmesi

Abstract

Coğrafi verinin üretiminde kabul edilmiş bir veri standardının olmaması, nitelikli veri eksikliği, farklı kurumların aynı veriyi farklı amaçlara yönelik tekrarlı üretmesi ve her kurumun farklı formatta veri üretmesi gibi sorunlarla karşılaşılmaktadır. Coğrafi veri paylaşımında ise veri kullanımı için teknik altyapının uygun olmaması, özellikle kamu kurumlarındaki yasal engeller ve farklı formattaki verilerin dönüşümünde teknik problemler mevcuttur. Bu yüzden Coğrafi Bilgi Sistemleri (CBS) uygulamalarında farklı kaynaklardan gelen veriyi bir arada kullanmak ve verilerin birlikte çalışabilirliği olanaksız olmaktadır. Coğrafi veri yönetiminde yaşanan sorunlar, ortak standartta kullanıcı ihtiyaçlarını karşılayan coğrafi veri standartlarının üretilmesi gerektiğini ortaya çıkarmıştır. Bu kapsamda, özellikle gelişmiş ülkelerde ulusaldan yerel düzeye coğrafi verilerin birlikte çalışabilirliği için standart, politika ve teknoloji bileşenleri ile birlikte Konumsal Veri Altyapısı (KVA) geliştirimi söz konusudur.Bu yaklaşımla Türkiye'de Türkiye Ulusal CBS (TUCBS) kurulması sürecinde coğrafi veri temalarına yönelik coğrafi veri modelleri geliştirilmektedir. Tekil Modeleme Dili (UML) veri modelleri, ulusal düzeyde mevcut veri ve kullanıcı ihtiyaçlarına göre model bazlı yaklaşımla tasarlanmış yazılım-donanım bağımsız veri modelleridir. Coğrafi veri sağlayıcılarının UML'den üretilmiş Coğrafi İşaretleme Dili (GML) tabanlı ortak veri değişim formatları dikkate alınarak veri setlerini paylaşacağı kabul edilmektedir. Böylelikle coğrafi veri sağlayıcıları için mevcut kullandığı veritabanı modelinden ortak veri değişim formatına dönüşüm ve coğrafi veri kullacıları için ise ortak veri değişim formatından uygulama veritabanı modeline dönüşüm algoritmaları geliştirilmelidir.Tez çalışması kapsamında, etkin coğrafi veri yönetimi için gereksinimler belirlenerek standardize edilmiş uygulama şemaları, veri modellerine dönüşüm esasları ve algoritmaları geliştirilmiştir. Ortak bir veri formatı olarak GML tabanlı veri değişimi ve birlikte çalışabilirlik esasları uygulanabilirlik açısından analiz edilmiştir. Coğrafi veri dönüşümü (Spatial Extract-Transfer-Load) kavramı detaylandırılarak, ortak veri formaları ile uygulama veritabanı modelleri arasında dönüşüm esaslarının belirlenmiştir. Farklı kaynaklardan farklı veri sağlayıcılarına ait veritabanı modellerinden gelen veri setlerinin GML tabanlı ortak veri değişim formatlarına dönüşümü için örnek coğrafi veri dönüşüm algoritmaları geliştirilmiştir. `Topografik Harita` ve `Dijital Kent Atlası` uygulama örnekleri dikkate alınarak, ortak veri setlerinden veri madenciliği olarak da ifade edilen nitelikte uygulamaya yönelik veritabanlarında etkin kullanımına yönelik model bazlı veri dönüşüm algoritmaları ve gerçek zamanlı veri dönüşüm uygulamalarının geliştirilmesi irdelenmiştir. Bina, Ulaşım ve İdari Birim coğrafi veri temalarına ait örnek coğrafi veri dönüşüm uygulamaları için FME yazılım araçları kullanılarak ortak veri setlerinden uygulamaya yönelik farklı ölçek ve içerikteki veri setlerine dönüşümü senaryoları geliştirilmiş, dönüşüm ve genelleştirme araçları belirlenerek uygulamalar geliştirilmiştir. Kent Atlası örneğinde görüldüğü gibi üretilen veri setleri kullanılarak web, masaüstü ve çıktı harita ürünleri geliştirilmiştir.Anahtar kelimeler: Coğrafi Veri Modelleri, Veri Dönüşümü, Birlikte Çalışabilirlik, Genelleştirme

Geographic Information Systems (GIS) has become an effective tool in various application areas from urban applications to disaster management activities. GIS has importance for visualizing real-world entities and supporting decision makers. Almost all public institutions have started to use GIS techniques for their applications. Geographic data sets coming from different sources are required for all these application areas. GIS applications have been developed independently from one another and built on different hardware and software platforms. It is required to integrate geo-data sets in a GIS platform for data processing and analysis. Public institutions are producing maps and GIS applications according to their requirements and data structure. Geo-data users meet problems such as incompatibility in data standards, insufficient data content, different formats, and deficiency of data accuracy. Geo-data sets have been produced repeatedly by different public institutions and it is unclear which the institutions produce which data, in which scale and which standard. The primary problems in the GIS process include; updated data integration to GIS, lack of cooperation between the institutions and absence of data-business management structure. The main reasons which prevent the sharing of geo-date are; storing data in multiple platform and/or not suitable software, using different data formats and reference systems, security risks, and the unwillingness to share geo-data sets. Geo-data sets may be located in a variety of different data structures, formats, schemas, and disparate systems in different users and organizations. After accepting TUCBS geo-data themes, public institutions will produce geo-data sets depending on standardized content. But, public institutions generally want to work with their familiar software. Geo-data sets, therefore, should be transformed from a system to another system by using TUCBS application schemas as a data interchange format.Standardization is the priority requirement for interoperability and data sharing on geographic data management. As a general concept geo-data should be usable in every system, in other words `interoperable`. Therefore, numerous countries already developed and some of them are developing their own geo-data standards like Turkey National GIS (TUCBS), based on ISO/TC211 and OGC standards. International Standardization Organization/ Technical Committee 211 (ISO/TC211) and The Open Geospatial Consortium (OGC) have developed a variety of standards that provide the interoperability of geo-data sets and GIS applications. Based on this vision, TUCBS actions were triggered in Turkey. Specifications of base geo-data themes such as Administrative Unit, Building, Address, Transportation, and Hydrography were developed to provide geo-data interoperability and effective geo-data management. Application schemes developed for base geo-data themes meet national GIS application needs and data sharing needs. It is supposed that TUCBS stakeholders produce and exchange geo-data depending on application schemas of these geo-data themes. TUCBS data providers will share their data according to these standards. However, the users will continue to use their software and data structure in their GIS application or map production. Thus with producing ETL tools, data sets in any platform can transform to common data exchange format. Also user can transform from common data exchange format to their application database for their need and this process can be automatized. To make the data usable in different application areas and to exchange geo-data sets, data transformation is required with Spatial ETL (Extract-Transform-Load) tools from a system to another system. Hereby in parallel to standardization process within TUCBS, it is required to develop Spatial ETL transformation tools.Spatial Extract - Transform - Load (ETL) tools enable organizations to overcome interoperability challenges by providing accurate and defined geo-data sets to the users need it. Spatial ETL tool comprise of three steps to extract, transform, and load spatial data. A tool for ETL processing includes; ?Extract spatial data from a source system or database?Transform the data into the format and data model required by the target system or TUCBS application schema. ?Load the data into the target system or application database.In this way, Spatial ETL can be accepted as data transformation or semantic data translation tool. ETL controls the data flow from source data into destination by mapping geometry and attributes. Coordinate system, feature types, and attribute schemas can change as a result of ETL progress. Spatial ETL enables sharing geo-data sets in desired data models and formats. Therefore, Spatial ETL technology can be accepted as key technology for the implementation of TUCBS.In this study, public institutions as stakeholders of TUCBS were examined and the current situation on geo-data management was analyzed. Target application areas were determined as Web Urban Atlas and Topography Map. The basic issue is to determine schema matching from base geo-data themes or current geo-data sets to these application databases by using common geo-data exchange format, Geography Markup Language (GML). This transformation was defined independent from any software and hardware platforms. Case study was developed with FME workspace. This ETL tool was examined and tested for Turkish National GIS geo-data themes such as Administrative Unit, Building, and Transportation. Spatial ETL is extracting geo-data from a format, transforming with required tools and loading geo-data to another format. This transformation example can be based on content, scale or model based generalization of TUCBS.In case study, ETL tools were tested for transformation from TUCBS data themes to topographic map and urban atlas database. These maps includes details with natural and man-made features building, topography, hydrography, and transportation.For example, building geographic data sets come from different sources. Building GML was defined as target schema. Schema matching rules was defined with an ETL tool, from source geo-data model to target TUCBS application schema independent from any software-hardware, and then from TUCBS schemas to applications databases.In this way, it is supposed if GML schemas of TUCBS will be produced as a common format, ETL tools can be used to transform from XML based GML data sets to application geographic database like topographic map and web urban atlas automatically. Keywords: Geographic Data Model, Spatial ETL, Interaporability, Generalization