3d reconstruction, classification and mechanical characterization of microstructures

Abstract

3B mikroskopik yapıların modellenmesi ve sınıflandırılması hassas mikromanipülasyonda önemli aşamalardır. Bu çalışmada, bazı görsel rekonstrüksiyon ve sınıflandırma algoritmaları, mikromanipülasyonda kullanılan 3B mikroskopik yapılar üzerinde değerlendirilmiştir. Ayrıca mikroskopik yapıların mekanik nitelendirilmesi de ele alınmıştır. Özellikle, görsel rekonstrüksiyon algoritması (Odak bilgisi üzerinden şekil - SFF) 3B uzaklık imgesi elde etmek için bir mikroskopik nesnenin farklı odaklama seviyelerinde yakalanarak elde edilen 2B imge dizisini kullanır. Sonra, görsel sınıflandırma algoritması giriş olarak uzaklık imgesini alır ve türevsel geometriye dayalı olan eğrilik tabanlı bölütleme metodunu, HK bölütlemesi, kullanır. Nesne, yüzeyinin eğriliğine göre yüzey yamalarına bölütlenir. Görsel rekonstrüksiyon algoritmasının yapay ve gerçek imge verisi üzerinde başarılı bir şekilde çalıştığı gösterilmiştir. Uzaklık imgeleri mikroskopik nesnelerin yüzeylerinin eğriliklerine göre HK bölütleme algoritması ile sınıflandırılmalarında kullanılmıştır. Ayrıca hücre ve embriyo için bir mekanik özellik nitelendirme tekniği sunulmuştur. Bir zebra balığının embriyo koryonu hücre sınırı deformasyonu kullanılarak mekanik olarak nitelendirilmiştir. Embriyonun elastik modülü ve gelişimsel evresi, görsel bilgi kullanarak başarılı bir şekilde elde edilmiştir. Bunlara ek olarak, kalibre edilmiş imge tabanlı görsel geri beslemeli kontrol algoritmalarının performansı, mikro ölçektekiçeşitli uygulamalarda deneysel olarak değerlendirilmiştir. Optik sistem kalibrasyonu ve imge tabanlı görsel geri beslemeli kontrolün mikro konumlandırma ve yörünge takibi uygulamalarında kullanılması ile ilgili deneysel sonuçlar sunulmuştur.

Modeling and classifying 3D microstructures are important steps in precise micromanipulation. This thesis explores some of the visual reconstruction and classification algorithms for 3D microstructures used in micromanipulation. Mechanical characterization of microstructures has also been considered. In particular, visual reconstruction algorithm (shape from focus - SFF) uses 2D image sequence of a microscopic object captured at different focusing levels to create a 3D range image. Then, the visual classification algorithm takes the range image as an input and applies a curvature-based segmentation method, HK segmentation, which is basedon differential geometry. The object is segmented into surface patches according to the curvature of its surface. It is shown that the visual reconstruction algorithm works successfully for synthetic and real image data. The range images are used to classify the surfaces of the micro objects according to their curvatures in the HK segmentation algorithm. Also, a mechanical property characterization technique for cell and embryo is presented. A zebrafish embryo chorion is mechanically characterized using cell boundary deformation. Elastic modulus and developmental stage of the embryo are obtained successfully using visual information. In addition to these, calibrated image based visual servoing algorithm is experimentally evaluated for various tasks in micro domain. Experimental results on optical system calibration and image-based visual servoing in micropositioning and trajectory following tasksare presented.