Poverty level characterizations via feature selection and machine learning

Abstract

Yoksulluk seviye tespiti hassas, güncel ve güvenilir sosyo-ekonomik hane halkı verisine ihtiyaç duymaktadır. Öte yandan çoğu gelişmekte olan ülkede gelir, tüketim, yaşam türü verilerin güvenilir olarak elde edilmesi zor ve pahalıdır. Bu tür veriler uzun ve detaylı anketler gerektirir. Gelişmekte olan ülkelerin bu tür veri elde etmelerindeki güçlük nedeniyle veri azdır; bu da hane halklarına yönelik iyileştirme politikalarını geliştirme aşamasında zorluklara neden olmaktadır. Zira, ekonomik karakteristiklerin hassas ölçümü toplum politikaları üretmek açısından elzemdir. Bu tür durumlarda makine öğrenmesi yaklaşımlarını ele almak son derece faydalı olabilir. Maalesef makine öğrenmesi algoritmaları genel olarak `kara kutu` formatında olup, gerçekleştirdiği öğrenmenin ve sınıflandırmanın hangi parametrelere ve özniteliklere dayandığı çoğunlukla belirsizdir. Detay vermek gerekirse; bir hanenin yoksul olarak categorize olmasına neden olan niteliklerin neler olduğu konusunda makine öğrenme yöntemleri doğrudan sonuç üretmemektedir. Bu nedenle, bu çalışmada yoksulluk konusuna sadece `gelirin belli seviyenin altında kalması` şeklindeki tek boyutlu yaklaşımı kullanmayarak, bunun yerine çok boyutlu bir perspektif ele alınmaktadır. Yöntemimizin uygulaması ve faydalı olup olmadığı Inter-Amerikan Gelişim Bankası tarafından Kaggle'a yüklenen Kosta Rika veri seti üzerinden değerlendirilmiştir. Anahtar Kelimeler: Yoksulluk karakterizasyonu, Yoksulluk ölçümü, Çok boyutlu yoksulluk, Öznitelik çıkarımı, Makine öğrenmesi

Targeting poverty requires access to accurate, timely and reliable quantitative data on socio-economic characteristics of households. However, in many developing countries, collecting accurate, timely, and reliable data on household characteristics is expensive, time-consuming, and unreliable, often requiring long and detailed surveys. Reliable data on economic status remain scarce in developing countries, hampering efforts to study these outcomes and to design appropriate policy responses to improve household welfare. In such situations machine learning algorithms can be of a great help. However, these models are normally designed in the form of black boxes; if the model is trained on a certain known data and predicted on unseen data, it doesn't give any information about the features that discriminate between classes. In other words, it is very tough to extract the features indicating that someone falls under specific category of poverty. Moreover, in poverty identification, measurement or classification, it is crucial to know how such features contribute to each class of poverty. Therefore, we designed an approach that extracts a subset of features that best characterize each poverty class, examines how this subset affect the chosen class and finally employ ensemble models to best classify between these classes. Through this approach we look at poverty from a multidimensional perspective contrary to a single dimension perspective defined as living on consumption expenditure of less than a predefined income threshold. The application and usefulness of our proposed framework is tested on a Costa Rican dataset collected from Kaggle website and provided by Inter-American Development Bank.Keywords: Poverty Characterization, Poverty Measurement, Poverty Identification, Multidimensional Poverty, Feature Extraction, Machine Learning.