2D to 3D video conversion

Abstract

Bu çalışmada, tek bir kamera ile çekilmiş 2 boyutlu (2B) videodan 3 boyutlu (3B) stereo video elde etmek için yeni bir yöntem önerilmiştir. 3B stereo görüntü oluşturabilmek için sahnenin derinlik bilgisi gereklidir. Önerilen yöntemde, verilen 2B görüntü üzerindeki resimsel özelliklerden sahne derinliği kestirilmiştir. Bunun için, tek bir görüntü üzerindeki kaçış noktası ve birbirine yakınsayan düz çizgiler gibi geometrik özellikler çıkarılmış ve arka plan sahnesinin genel derinlik bilgisi çıkarılmıştır. Ön plandaki nesneler üzerinde derinlik etkisi oluşturmak için ise, sahne hareketine bağlı iki farklı yöntem önerilmiştir. İlk yöntemde, sahnedeki hareketli nesneler Gaussian karışım modelleri (GMM) ile çıkarılmış ve bu nesnelere arka plan derinlik haritasında bulundukları konuma bağlı bir derinlik ataması yapılmıştır. İkinci yöntemde ise, yatay kamera hareketi içeren görüntü dizilerinde, sahne üzerindeki paralaks etkisinden faydalanılarak ön plandaki nesnelere farklı bir ayrıklık kazandırılması amaçlanmıştır. Bunun için, farklı iki zamanda alınmış çerçeveler arasındaki arka plan geometrisinin hareketi kestirilmiş ve geri çatılmıştır. Böylece, ön plandaki nesneler üzerinde marjinal bir ayrıklık elde edilmiştir. Sonuç olarak elde edilen bu arka plan ve ön plan derinlik ve ayrıklık bilgileri birleştirilmiş ve tüm sahne için bir ayrıklık haritası oluşturulmuştur. Verilen 2B imgenin pikselleri, bu ayrıklık haritasına bağlı olarak kaydırılarak yeni bir imge oluşturulmuştur. Orijinal imge sağ göze, elde edilen yeni imge sol göze sunulmak üzere 3B stereo imge elde edilmiştir. Sonuçlar bir grup kullanıcı tarafından değerlendirilmiş ve performansları var olan ticari 2B-3B çeviriciler ile karşılaştırılmıştır.

Stereoscopic 3D visualisation is increasingly embedded into social life through the use of commercially available 3D-TV sets. In this work, a hybrid approach for 2D to 3D conversion is presented to produce stereoscopic 3D video automatically from 2D mono video frames. Each frame is synthesized to stereo pairs. Disparity/depth information required for 3D view is extracted from mono frame sequences based on motion and geometrical cues. Depth estimation of the scene is considered separately for background and foreground. Background geometry of the scene is determined by using geometrical cues such as vanishing point and straight lines in the image. According to this geometry, relevant information on the background depth field of a single image is estimated to generate a canonic disparity map of the background. For foreground depth estimation, on the other hand, two approaches are presented. First approach is based on detection of moving foreground objects. A depth value is assigned to each object based on its corresponding location in the background depth map. In the second approach, background registration is applied for consecutive frames that are captured by a moving camera. By this method, disparity in foreground regions is distinguished from background disparity that leads to a distinctive 3D effect on foreground regions. Consequently, depth/disparity information of foreground regions is combined with background canonic disparity map. According to these final disparity maps, pixels of the original frames are shifted to generate virtual frames to enable 3D views. This work is accompanied by a subjective evaluation on the basis of user test which compare our 3D results with commercially available 3D-TV sets.