A model of active and attentive vision

Abstract

Biyolojik görme sistemleri fiziksel ve zihinsel ilgi mekanizmaları kullanarak bilgi işlem kaynaklarını ilginç görüntü bölgelerine yoğunlaştırırlar. Bu aktif ve ilgiye dayalı görme davranışının sonucunda farklı alanlardan farklı zamanlarda alınmış bir dizi görüntü elde edilir. Ancak beyindeki zamansal işlem ve birleştirme mekanizmaları bu veriyi değerlendirmemizi ve ortamın sabit, durağan bir görüntüsünü algılamamızı sağlar. Bu tür ilgi ve algı mekanizmalarına ait modeller insan görme sisteminin anlaşılmasını sağlarken bir yandan da, insana yakın bir başarıma ulaşmak amacıyla, robot ve yapay zeka araştırmacıları tarafından kullanılmakta ve geliştirilmektedir. Benzer bir girişimle bu raporda, varolduğunda biyolojik kanıtlara dayanan, yeni ve tam bir aktif görme davranışı modeli öneriyoruz. Model bir ilgi sisteminden, zamansal görüntü dizilerini işleyen algoritmalardan ve birleştirici bir görsel bellekten oluşmaktadır. Modelin tüm bileşenleri hareketli robotumuz APES üzerinde uygulanmıştır. Deneyler sırasında bakış kontrolü, dizilere dayalı görüntü tanıma ve görsel birleştirme işleri yapılmıştır. Bakış kontrolü deneylerinde açıkça belli parametrelerle kontrol edilebilen insansı seçici ilgi davranışı gözlenmiştir. Tanıma ve birleştirme deneylerinde çeşitli basit ve karmaşık görüntüler başarıyla modellenmiş ve sınıflandırılmıştır. Ayrıca ilgiye dayalı görüntü dizileri üzerindeki çalışmalarımız bir kısmı bu raporda cevaplanan bazı ilginç sorulan ortaya çıkarmıştır. Anahtar Sözcükler: Seçici ilgi, robotla görme, aktif görme, ilgiye dayalı görme, göz hareketleri, temporal tanıma, görüntü tanıma.

Biological vision systems explore their environment by allocating their resources to interesting parts of a scene, using both physical and mental attention mechanisms. The result of this active and attentive vision behavior is a sequence of images obtained from different spatial locations at different times. However, temporal processes and integration mechanisms in the brain enable us to interpret this information and perceive a stable image of the environment. While models of such attention and perception mechanisms are invaluable to understand human vision, they are also increasingly used and improved by robotics and artificial intelligence researchers to achieve human-like performance. In a similar attempt, we propose a new and complete model of active vision behavior, based on confirmed biological evidence where available. The model consists of an attention system, temporal image sequence processing algorithms and an integrative visual memory. All components of the model are implemented on our mobile robot APES. Gaze control, sequence based scene recognition and visual integration tasks are assumed during experiments. Results of gaze control experiments clearly demonstrate a human-like selective attention behavior, which can be fully controlled by a number of parameters. In recognition and integration tasks, simple and complex scenes were successfully modeled and classified. Furthermore, our work on attentional image sequences raised a number of interesting questions, some of which have been answered in this thesis. Keywords: Selective attention, robot vision, active vision, attentive vision, eye movements, temporal recognition, scene classification.