End-to-end stereoscopic video streaming system

Abstract

Duraksız çoğul ortam iletimi aktif araştırma alanlarından biri olmuştur. Bu konudakiaraştırmalar doksanlı yılların başlarından beri etkin ve kullanışlı ortam kodlama teknikleri,eşzamanlama, bant genişliği, paket kaybı ve paket gecikme sorunları, teslim protokolleri,gelişmiş ortam oynatıcıları ve görüntüleme sistemleri gibi birçok konuda devametmektedir. Günümüzde, aktarım sistemlerini oluşturmak için değişik audio ve videoçeşitlerini destekleyen birçok açık kaynak kodlu veya ticari ürün mevcuttur. Klasik ikiboyutlu video iletimini sağlayan duraksız iletim sistemlerinin geliştirilmesinden sonra ilgiüç boyutlu sistemler üzerinde yoğunlaşmıştır. Bu ilgi üç boyutlu görüntülemecihazlarındaki ve çok görüşlü video kodlama tekniklerindeki ümit verici gelişmelersonucunda doğmuştur.Çok görüşlü video, aynı sahnenin birkaç kamera tarafından farklı perspektiflerdenyakalanan görüşlerini içerir. Herhangi bir zamanda bu görüşlerin sadece iki tanesi birizleyici tarafından izlenebilir. Bu durum stereo videoların duraksız aktarımını sağlayan veçok görüşlü videolara adapte edilebilen sistemlerin geliştirilmesi fikrini akla getirmiştir. Busistemlerin adaptasyonu izleyicinin o andaki perspektifine bağlı olarak ilgili iki görüşünseçilmesi ve gösterilmesiyle sağlanır. Bu tez çalışması dizayn edilen bir uçtan uca duraksızstereo video aktarım sisteminin gerçekleşmesini içermektedir. Sistem gerçek zamanlıduraksız aktarım protokolü(RTSP), gerçek zamanlı ağ protokolü(RTP), oturum duyuruprotokolü (SAP) ve oturum tanımlama protokolü (SDP) gibi iyi bilinen ve aynı zamandaticari ve açık kaynak kodlu mono duraksız aktarım sistemleri tarafından da kullanılanstandart protokoller kullanılarak kurulmuştur. Sistem mimarisi mono ve stereo videotransferi için mevcut bant genişliği veya kullanıcının alıcı ve görüntüleme kapasitesine görekendini ayarlayabilecek şekilde düşünülmüştür. Bunu başarabilmek için de sistem ikigörüşün farklı kanallar üzerinden bağımsız transferini sağlayacak şekilde kurulmuştur.1Çoğul ortam sunucusu bir RTSP sunucusunun gerektirdiği ana fonksiyonlarla dizaynedilmiş ve geliştirilmiştir. Alıcı tarafta ise iki kanal üzerinden alınan stereo videodizilimlerinin işlenmesi ve gösterilmesi için açık kaynak kodlu VideoLAN Client monoortam oynatıcısı genişletilmiştir. Bunun yanında, Live555 RTSP kütüphanesi ve FFMPEGkodlayıcı-kodçözücü kütüphanesi stereo bit dizgilerini işleyebilecek hale getirilmiş veortam oynatıcısına uygun olarak kaynaştırılmıştır. Sonuç olarak geliştirilen uçtan ucaaktarım platformu daha önceden kodlanmış stereo videoları aktaran sunucudan ve RTPüzerinden alınan ortamların istemci tarafında senkronize olarak gösterimini sağlayan birortam oynatıcısından oluşturulmuştur. Sistem stereo için genişletilmiş H.264 videokodlayıcı-kodçözücüsü kullanılarak sıkıştırılan stereo video dizileri kullanılarak,izleyicilerin stereo videoları projektörler ve polarize edilmiş gözlükler vasıtasıylagörebildikleri bir görüntüleme sistemiyle test edilmiştir.Ekteki Dosya İsimleri:Selen_Pehlivan_StereoVLC.zipSelen_Pehlivan_StereoRTSPServer.zip2

Media streaming has been an active research area where efficient and network friendlymedia coding techniques, synchronization, bandwidth, packet loss and delay issues,delivery protocols, and, integrated media players and display systems have all beenaddressed since early 90?s. Today, there exist several open source and commercial productsthat can be used to build an integrated streaming environment supporting various audio andvideo formats. After the developments of streaming systems that feature classical, 2Dvideo, the attention now is focused on the third dimension; mostly because of the promisingprogresses in 3D displays and multi-view video coding techniques.Multi-view video contains views of the same scene from multiple perspectives capturedby several cameras. However, only two of these views can be watched by a human viewerat any given time. This brings the idea of developing streaming system delivering stereovideo that can be adapted to multi-view by selecting the two views displayed based on theuser?s current perspective. This thesis presents design and implementation of an end-to-endstereoscopic streaming system. The system has been constructed using the standardprotocols: Real Time Streaming Protocol (RTSP), Real-time Transport Protocol (RTP),Session Announcement Protocol (SAP) and Session Description Protocol (SDP) that arealso used in well known commercial and open source monoscopic streaming systems. Thesystem architecture is based on independent transmission of two channels of the stereovideo in order to achieve selective transmission of mono or stereo video depending on theavailable bandwidth or the user?s receiver and display equipment. The server side designedand developed to implement the basic functionalities required from an RTSP server. On thereceiver side, open source VideoLAN Client media player has been extended in order toprocess and display received stereo video sequences over two logical channels. Also, opensource Live555 RTSP library and FFMPEG codec library are integrated into the media1player for extending it to handle stereo streams. The resulting end-to-end platform consistsof a pre-encoded stereo-video-streaming server and a media player providing synchronizedstereo display on the client side with media delivery over RTP. The system is tested usingstereo video sequences compressed using H.264 Extension video codec and a displaywhere end users can view the stereo video using two projectors and polarized glasses.Attached File Names:Selen_Pehlivan_StereoVLC.zipSelen_Pehlivan_StereoRTSPServer.zip2