Distributed stream-processing framework for graph-based sequence alignment

Abstract

Kısa okuma genom verilerinin işlenme süresini en aza indirmek için optimize edilmiş okuntu hizalama sistemleri gerekmektedir. Günümüzde birçok dizilim hizalama aracı mevcut, fakatbunlardan sadece birkaçı akıntı halindeki baz-çağrışımlarını doğrudan işleyebilme yeteneğine sahiptir. Anaakım hizalayıcıların okuntuları referansa hizalamaya başlayabilmesinden önce okuma işleminin bütünüyle tamamlanması gerekir. Okuma işleminin tamamlanması günler sürebilir. Çıktılar daha sonra, coğullama cözme işlemiyle, tekil okumalara dönüştürülür, bu işlem fazladan bir kaç saat daha sürebilir. Uçtan uca genom analiz süresi, yeni okumalar henüz üretilmekte iken hizalandırların aşamalı olarak hesaplanması halinde, önemli miktarda kısaltılabilir. Özellikle hayati durumlarda genom analizinin mümkün olduğunca çabuk yapılması önem taşımaktadır.Bu tez, kısa okumaların genom çizge yapılarına hizalandırılması için dağıtık akıntı işleme sistemi sunar. Genom okuma verilerinin yüksek miktarda paralel veri sunan doğasına karşılık yüksek miktarda paralel veri işleyebilen bilgisayım mimarisi gerekir. Bu nedenle {/algname{}} adlı sistemimizi bir çok okumayı aynı anda de Bruijn çizgesine hizalayabilecek şekilde tasarladık. Yöntemimiz Illumina gibi baz-çağrışım tabanlı okuma teknolojileri için özelleşmiştir. Sonuçlar okuma aygıtından son bazlar üretildikten kısa bir süre sonra çıkarılır.

Optimized the sequence alignment pipelines are needed to minimize the time required to complete processing the short-read genomic data. Today there are many sequence alignment tools exist, yet few of them are capable of directly ingesting the streaming base-call data. The sequencing has to be entirely completed before the mainstream aligners can begin mapping the reads to the reference. The sequencing process can take days to complete. The output is then needs to be demultiplexed into individual reads and aligned to the reference, which can take several more hours. Overall time of a genomic analysis can be shortened significantly by progressively computing the alignments at the time when the reads are still being generated. It is important to have genomic analysis done as quickly as possible, especially in life critical situations.Here we introduce a distributed stream processing framework for aligning short-reads into a graph representation of the genome. The massively parallel nature of the genomic sequencing data requires a massively parallel computation architecture. Thus we have designed our pipeline called {/algname{}} to align many reads to a de Bruijn graph in parallel. Our aligning method is specialized for the sequencing technologies that are based on base-call cycles, such as produced by Illumina. The results are made available soon after the final bases from the sequencing devices has been emitted.