Visual tracking: An integration of control and vision

Abstract

Ill KISA ÖZET Bu tez çalışmasında, bir montaj hattı üzerinde hareket eden birden fazla cisimden birinin takibi için konum-tabanlı ve gerçek zamanda çalışan bir görsel takip sistemi kurulmuştur. Görme kısmında, ilk olarak ön öğrenme bölümü yer almaktadır. Bu bölümde alttan-üste doğru aşamalı gruplama yönteminin değiştirilmiş bir hali geliştirilmiştir. Asıl yöntemden farklı olarak başlangıçta ön bir gruplama yapılmaktadır. Bu ön gruplama için En Yakın Merkeze Sınıflandırma yönteminin mantığından yararlanılmıştır. Bu bölümün sonunda görüntü alanı içinde kalan bütün cisimler ayrıştırılmış ve konum ve hız bilgileri edinilmiş olur. ilk öğrenme bölümünden sonra, hesaplama zamanını azaltmak amacıyla yönü belli doğrusal hareketler için geçerli olan bir hareket dörtgeni yöntemi geliştirilmiştir. Kontrol kısmında PD ve kendinden ayarlamalı dene timcilerden yaralanılmış ve bu denetimcilerin verilen bir yörüngeyi yakalama hızları ve gürültüye karşı bağışıklıkları sınanmıştır. Kontrol ve görme kısımlarının bütünleştirilmesi sırasında hedef cisimlerin konumları, üssel unutan En-Küçük Kareler Kestiricisi kullanılarak kestirilmekte ve yörüngenin takibi sırasında takip eden cismin hareketinin düzgün ve kararlı olmasını sağlamak amacıyla bir yörünge planlayıcısı oluşturulmaktadır. Takip eden araç olarak önce küresel koordinatlarda hareket eden bir kamera düzeneği öngörülmektedir ve benzetimler yoluyla öngörülen görsel takip sis teminin başarısı değerlendirilmektedir. Daha sonra, montaj hattında hareket eden cisimleri toplayan altı eksenli bir robot kolu üzerinde, geliştirilen görme sisteminin gerçek zamanda uygulanabilirliği denenmektedir. Sonuçlar geliştirilen sistemin gerçek zamanda kullanabileceğini göstermektedir.

11 ABSTRACT In this thesis, a position-based visual servoing system is constructed in order to track moving multiple objects on a conveyor belt in real-time. In the vision part, first, an initial learning part scheme is constructed in where a modified aggleiomerative hierarchical clustering technique which differs from the original technique by an initial clustering step utilizing the logic of the Nearest-Centioid Classification technique is introduced for segmenting each ob ject and getting the visual information. After an initial learning part, a motion rectangle approach which is valid only for linear motions in one known direc tion such as a conveyor motion is developed for a reduced computation time. In the control part, PD and self-tuning controllers are designed and compared with respect to their tracking speed and noise immunity performances. During the integration of control and vision, the Least-Squares Estimator with exponential forgetting is used in estimating the target positions and a trajectory planner is designed for a smooth and stable motion of the tracking device joints. As the tracking device a pan-tilt camera mount is proposed at first and the performance of the proposed visual servoing system is evaluated by the simulations. Then the real-time applicability of the introduced vision system is experimented on a 6-DOF robotic manipulator in picking parts on a conveyor belt and the results show that the introduced system can be used as a real-time system.