Centralized reinforcement learning for the internet of things devices

Abstract

İnternetin geniş çeşitliliği ve farklı tipteki cihazların bu ağa bağlanmasını sağlayan iletişim programları Nesnelerin İnterneti (IoT) olarak ortaya çıkmıştır. IoT aygıtları veri toplamak ve komutları yürütmek için farklı ortamlarda konuşlandırılıyor, böylece belirli görevler gerçekleştirilebiliyor. Ancak, bu cihazlardaki sınırlı kaynaklar, bunları kullanan uygulamaların kapsamını kısıtlar. Ayrıca, makine öğreniminde ve yapay zekadaki hızlı gelişme, bu görevlere olan talebi IoT cihazlarından arttırmaktadır. Güçlendirme Öğrenimi (RL), farklı çevreleri ve görevleri tanıma ve bunlarla etkileşime girme yeteneğine göre, son yıllarda yaygın olarak araştırılan bu tekniklerden biridir. Bu çalışmada, IoT cihazlarında RL için kullanılan sinir ağlarını eğitmek ve bu cihazların işlemlerini güncellemek için merkezi bir bilgisayar kullanan yeni bir yöntem. Önerilen yöntem kullanılarak iki yaklaşım değerlendirilir. İlk yaklaşım, tüm IoT cihazları için tek bir sinir ağı kullanır. Bu sinir ağı, IoT cihazlarından gelen tüm veriler kullanılarak eğitilmiştir. İkinci yaklaşım, her bir IoT cihazı için ayrı bir sinir ağı kullanır ve onu yalnızca o cihazdan gelen verileri kullanarak eğitir. Devletlerin sinir ağlarına temsili de iki yaklaşım kullanılarak gerçekleştirilir. İlk yaklaşımdaki ortamın durumu, görüntü bilgisinde herhangi bir değişiklik yapmadan, sinir ağına olduğu gibi sunulur. Bu yaklaşımda, sinir ağı, arabanın yönü, hızı ve yolun konumu gibi tüm önemli bilgilerin çıkarılmasını öğrenmek için gereklidir. İkinci yaklaşımda, hız, direksiyon ve sürüklenme hakkındaki bilgiler çevreyi temsil eden görüntüden çıkarılır ve sinir ağına sayısal değerler olarak sunulur. Ayrıca görüntüden sadece dikey ve iki diyagonal görüş çizgisindeki pikseller görüntüden toplanır ve sinir ağına iletilir. Daha verimli olan ikinci gösterim, sinir ağının öğrenme hızında önemli bir gelişme göstermiştir, çünkü veriler daha konsantre ve daha az gürültülüdür, IoT cihazından aktarılan verilerin boyutunda belirgin bir düşüşe ek olarak merkezi bilgisayara.

The wide availability of the internet and communications schemes that allow connecting different types of devices to that network has emerged the Internet of Things (IoT). IoT devices are being deployed in different environments to collect data and execute commands, so that, certain tasks can be achieved. However, the limited resources on these devices restrict the range of applications that utilize them. Moreover, the rapid development in machine learning and artificial intelligence increases the demand for these tasks from IoT devices. Reinforcement Learning (RL) is one of these techniques that has been widely investigated in recent years, according to its ability to recognize and interact with different environment and tasks. In this study, a new method that uses a centralized computer to train neural networks that are used for RL in IoT devices and update the operations of these devices. Two approaches are evaluated using the proposed method. The first approach uses a single neural network for all IoT devices. This neural network is trained using all the data incoming from the IoT devices. The second approach uses a separate neural network per each IoT device and train it using only the data incoming from that device. The representation of the states to the neural network is also conducted using two approaches. The state of the environment in the first approach is presented to the neural network as is, without any modification to the image information. In this approach, the neural network is required to learn the extraction of all the important information, such as the direction of the car, its speed and the position of the path. In the second approach, the information about the speed, steering and drifting are extracted from the image that represents the environment and provided as numerical values to the neural network. Moreover, only pixels from the vertical and two diagonal lines of sight are collected from the image and delivered to the neural network. The second representation, which is more efficient, has shown significant improvement to the learning rate of the neural network, as the data is more concentrated and less noisy, in addition to the significant reduction in the size of the data being transmitted from the IoT device to the central computer.