Named entity recognition in turkish using deep learning methods and joint learning

Abstract

Varlık İsimlerinin Tanınmasıö verilen bir döküman içindeki özel isimlerin belirlenip, doğru kategorilere ayrılmasını amaçlayan bir Doğal Dil İşleme görevidir. Bu alandaki erken çalışmaların büyük bir bölümü alandaki uzmanlar tarafından seçilmiş özelliklerin istatistik bazlı sistemler tarafından analizine dayanmaktadır. Yakın zamanda bu alandaki en başarılı sonuçlar ise kelimelerin vektörel olarak temsil edilmesinden faydalanan yapay sinir ağı bazlı sistemler tarafından elde edilmiştir. Birden fazla görevi birlikte öğrenen, birlikte öğrenme sistemleri, genelde verisetlerinin iki görev için de etiketlenmiş olmasını gerektirir. Bu çalışmada öncelikle Türçe için yapılmış daha önceki özellik bazlı çalışmaları detayli bir şekilde inceleyip, farklı özellikler kullanarak sonuçları iyileştiriyoruz. Bu aşamada bağlılık ayrıştırma ile ilgili özelliklerin varlık isimlerinin tanınmasında performansı iyileştirdiğini gösteriyoruz. Sonraki bölümde daha önce denenmemiş bir model kullanarak bağlılık ayrıştırma ve varlık isimlerinin tanınması görevlerinin beraber öğrenilmesini gösteriyoruz. Modelimiz benzer birlikte öğrenme sistemlerinden farklı olarak iki görev için de ayrı verisetlerinden faydalanıyor. Elde ettiğimiz sonuçlar, birlikte öğrenmenin ayrı verisetleri kullanarak yapılmasının, aynı verisetinin otomatik olarak etiketlenmesine kıyasla daha iyi performans verdiğini gösteriyor.

Named Entity Recognition (NER) is the task of detecting and categorizing the entities in a given text. It is an important task in Natural Language Processing (NLP) and forms the basis of many NLP systems. Previous work on NER that make use of statistical models can be categorized into two main categories: feature-based and embedding-based. Earlier work on NER made frequent use of manually crafted features. In order to use manually crafted features we either automatically annotate the dataset for the given features using third party software or manually annotate the dataset, both of which require additional work. Recent work make use of BiLSTM based neural networks and represent words with embeddings. This relieves systems from relying on manually created feature sets. In this work, we started with analyzing the performance of the feature based systems. In this phase, we reimplemented a previous work and improved the performance by making use of the dependency parsing features. Following these results, we implemented a novel method that makes use of both dependency parsing features and embeddings. We propose a novel BiLSTM CRF based neural model that makes use of the dependency parsing feature to learn both tasks jointly in a unique way. Our model jointly learns both dependency parsing and named entity recognition using separate datasets for each task. The model does not require the named entity recognition dataset to be annotated for the dependency parsing task. Our results show that performance increases when we use a joint learning model instead of annotating the named entity recognition dataset automatically.