Optimizing the lifetime of wireless sensor networks using deep reinforcement learning in a software-defined network architecture

Abstract

Farklı uygulamalardaki verilerin günümüzde gittikçe artan önemi ile birlikte, çevreden söz konusu verileri toplayabilmek adına Kablosuz Sensör Ağları (Wireless Sensor Networks/WSN) yaygın bir biçimde kullanılmaktadır. Bu ağların görevlerini yerine getirebilmek için ihtiyaç duymuş oldukları esnekliği sağlamak adına, küçük boyutlarda ve bu sayede yüksek hareketliliğe sahip sensörler kullanılır. Ancak, bahsedilen sensörlerin küçük boyutlu olması, güç ve enerji kaynaklarının işlenmesi gibi, devrelerin donatılabilecek oldukları kaynak sayısını sınırlandırmaktadır. Ayrıca, internet erişiminin kolaylaşması ile birlikte, söz konusu ağlar, Nesnelerin İnternetini (Internet of Things) oluşturan bir merkez birimde toplamış oldukları verileri gönderebilmek için internete bağlanmaktadır. Kablosuz Sensör Ağlarının (WSN) değişmekte olan devre topolojilerine adapte olabilmesi adına, devreler, bir sunucudan diğer sunucuya, kendilerinden gönderilen paketlere ek paket göndermeye yönlendirilirler. Dolayısıyla, kendi görevini yerine getirebilmek ve paketlerini iletebilmek adına ihtiyaç duyduğu kaynaklara ek olarak, devreden ihtiyaç duyulan kaynaklar, iletilmesi gereken paketlerin sayısına bağlıdır. Böylelikle, devrelerdeki kaynak tüketiminin optimizasyonu, paketlerin hedeflerine ulaşabilmek için kullandıkları yolların optimizasyonunu gerektirmektedir.Modern ağların değişmekte olan topolojisine göre, sabit ağ veri yönlendirme kuralları artık kullanılmamaktadır. Söz konusu kısıtlandırmanın aşılması adına, merkezi bir denetçinin paket verilerinin yönlendirilmesinde karar veren role sahip olduğu Yazılım Tanımlı Ağlar (SDN) kullanılır. Söz konusu denetleyici, bir paketin hedefine ulaşmak için takip etmesi gereken yolu belirlemek adına, paketin bilgilerine ek olarak, ağ hakkında da veri toplar. Fakat, WSN'nin topolojisinde gelişen karmaşıklık ve etkili yönlendirmenin önemi ile birlikte, SDN'nin denetçisinde karar verme sürecini kontrol etmek adına ML (Makine Öğrenimi) teknikleri kullanılmaktadır. Bu çalışmada, SDN kullanmakta olan WSN içerisindeki kaynak tüketiminin optimizasyonunu sağlamak adına yeni bir yöntem sunulmaktadır. Sunulan yöntem, WSN'nin ömrü bazında, RL (Takviyeli Öğrenme) kullanımı ile eğitilen bir nöral ağdan yararlanmaktadır. WSN'nin ömrünü uzatabilmek için, nöral ağın en ideal rotaların kullanılması gereken ağlardaki devrelerin güç tüketimini optimize etmesi gerekmektedir. Bu tez çalışmasında üç tür nöral ağ değerlendirilmketedir; İleri Beslemeli Nöral Ağ (Feed-Forward Neural Network – FF-NN), 2 Boyutlu Evrişimsel Nöral Ağ (2D- Convolutional Neural Network – 2D-CNN) ve 3D-CNN. Bu modellerin değerlendirmesi; gelişen en son teknoloji ile var olan 578122.2 Saniye ömür süresini %17 değerinde uzatarak, 678251.6 Saniye ortalama ömür süresi ile 3D-CNN'nin en iyi performansı elde ettiğini ortaya koymaktadır. Bu model dahilinde, bir paketin hedefine ulaşabilmesi için gerekli ortalama sıçrama değeri, ortalama %85.07'lik Paket Aktarım Oranı (Packet Delivery Rate - PDR) ile 9.81 sıçramadır. Ayrıca, 2D CNN modeli, paket başına ortalama 12.37 sıçrama ve %82.47'lik PDR ile 638169.2 Saniye ömür süresi elde etmiş, FF-NN modeli ise paket başına 8.31 sıçrama ve %83.37 PDR ile 578381.6 Saniye ömür süresine ulaşmıştır. Sonuçlar, 3D-CNN modelinin üstünlüğüne ek olarak, en kısa yolların kullanımının, yoğun trafiği kontrol altında tutan bölgelerde konumlandırılmış olan bazı devrelerin kaynaklarında tükenme meydana getirdiğini ve WSN'nin toplam ömrünü kısalttığını da göstermiştir. Yani, ömrün uzatılması, söz konusu tükenmeden kaçınabilmek adına alternatif, yani daha uzun, rotaları tercih etmeyi gerektirmektedir.

According to the changing topologies of modern networks, the use of static routing rules has become obsolete. Software-Defined Networks (SDNs) are being used to overcome such limitation, where a central controller handles the decision-making role regarding packets routing. This controller collects information about the network, in addition to the packet information, to decide the route a packet should follow to reach its destination. However, with the growing complexity of WSNs topologies and the importance of efficient routing, Machine Learning (ML) techniques are being used to handle the decision making in the SDN controller. In this study, a new method is proposed to optimize the resources consumption in a WSN that uses SDN. The proposed method employs a neural network that is trained using Reinforcement Learning (RL), based on the lifetime of the WSN. To extend the lifetime of WSN the neural network is required to optimize the power consumption of the nodes in that network, in which the optimal routes must be used. Three types of neural networks are evaluated in this thesis; Feed-Forward Neural Network (FF-NN), 2D-Convolutional Neural Network (2D-CNN) and 3D-CNN. The evaluation of these models show that the using the 3D-CNN has achieved the best performance, with an average lifetime of 678251.6 seconds, with an extension of 17% of the 578122.2 seconds using the existing state-of-the-art method. The average number of hops a packet is required to travel through, to reach its destination, in this model is 9.81 hops with an average Packet Delivery Rate (PDR) of 85.07%. Additionally, the 2D-CNN model has achieved 638169.2 seconds lifetime, with an average of 12.37 hops per packet and 82.47% PDR, whereas the FF-NN has achieved 578381.6 seconds lifetime with 83.37% PDR and 8.31 hops per packet. In addition to the superiority of the 3D-CNN, the results also show that the use of the shortest paths causes an exhaustion to the resources of certain nodes, positioned in locations that handle extensive traffic, which reduces the overall lifetime of the WSN. Thus, the extension of the lifetime requires using alternative, i.e. longer, paths to avoid such exhaustion and extend the lifetime of the network.