Deep learning based crack detection with applications to structural health monitoring

Abstract

Bilgisayar görmesi, son yıllarda geniş uygulama alanları ile birlikte popülaritesi artan bir araştırma konusu olmuştur. Literatürde çeşitli uygulamalarda farklı tespit teknikleri bulunmaktadır. Bilgisayar görmesi uygulamalarından biri olan, köprüler, barajlar, kaldırımlar, betonlar veya metal yapılar gibi farklı yapılar üzerinde görüntülerden çatlak tespiti, oldukça popüler olan bir araştırma alanıdır. veri hacmi ve yapının boyutu nedeni ile yapılardaki çatlakların ve kusurların manuel olarak incelenmesi zaman alıcı ve hatta bazen imkansızdır. Yorgunluk, sorumsuz muayene, zayıf göz görme ve hatta sabotaj gibi çeşitli nedenlerden dolayı çatlak ve kusurların yapılarda incelenmesi insan hatalarına açıktır. Ek olarak, çatlaklar ve çevresindeki alanlar arasında düşük kontrastlı olanlar gibi bazı yapısal kusurlar, tespit etmek için çıplak göze zordur. Yapısal ve güvenlik bakımı, çatlakların ve diğer anomalilerin tutarlı bir şekilde incelenmesini gerektirir. Denetimler, yapıların yaşam durumuna ilişkin bilgi sağlamakta ve yapısal sağlık ve onarım maliyetlerini tahmin etmek için bilgi vermektedir. Bu denetimlerin otomasyonu, manuel denetimlere olan güvensizliği ve hatayı azaltabilir. Otomatik muayenenin yapılması, denetimlerin sıklığını artırabilir ve insan denetçisine çeşitli şekillerde yardımcı olabilir.Bu nedenle, Bu zorlukların üstesinden gelmek için görüntü işleme tekniklerini ve bilgisayarlı görü tabanlı algoritmaları kullanmak iyi bir fırsat ve uygun bir çözüm sunar. Geçmişte, çeşitli başarı derecelerinde otomatik görsel çatlak tespiti sorununu ele almak için çeşitli görüntü işleme teknikleri kullanılmıştır. Bu çalışmada, hem klasik görüntü işleme hem de derin öğrenme metodolojilerinden teknikleri kullanan yeni bir çatlak tespit çerçevesi önerilmiştir. Bu çalışmanın ana katkısı, işleme öncesi aşamadaki görüntü verilerine filtre uygulanmasının, convolutional bir sinir ağı temelli modelin sınıflandırma performansını önemli ölçüde artırabileceğini göstermesidir. Özellikle ön işleme görüntü için IPT'lerin geniş kullanımı, önceki en iyi yöntemleri geride bırakan sonuçlara ulaşmamıza yardımcı oldu.Önerilen vizyon temelli yöntem, yapılardaki çatlakları tespit etmek için ana mekanizma olarak convolutional sinir ağlarını (ConvNets veya CNN'ler) kullanır. Tasarlanan CNN mimarisi, 650 görüntü üzerinde eğitildi; ki, özel bir açıklama aracıyla etiketlenmiştir ve kırık yüzey görüntülerinin bir veri kümesi üzerinde,görüntü bloklarında, 96,26% sınıflandırma doğruluğu elde edildi. Bir dizi CNN parametreleri arasında şebeke arama yoluyla, CNN ağı modelimizi eğitmek için en iyi ağ olarak belirlenmiştir. Geliştirilmiş özel şebeke araştırması, katman sayısı, etkinleştirme fonksiyonları, nöron sayısı, sınıf sayısı, giriş boyutu, bırakma değeri ve max pooling katmanları dahil olmak üzere çeşitli parametreleri kabul eder. Parametre arama teknikleri (bu çalışmada şebeke arama) parametrelerin mümkün olan en iyi kombinasyonunu sağlayabilmesine rağmen, modelin başarısına katkıda bulunan başka faktörler de vardır. Bu çalışmada, önerilen yeni teknik nedeniyle IPT'lerin dahil edilmesi ile doğruluk sağlanmıştır. IPT'ler doğruluğu artırabilirler ve aralarında, bilateral filtering, ön işleme ve kolaylaştırma tekniği olarak CNN'lerle tespit etmek için çok iyi performans gösterdiği gözlenmiştir.Modelin başannsında, CNN grapısı ve ön işleme tekniklerine ilave başka faktörlerde. Katkı sağlamaktadır. Araştrmalara göre,veristınin doğruluğu,modelin genelliştirme başarısında önemlı faktörlerden birdir. Verisetinim kalitesi ve özellikleri anlamındır. Ğerçi CNN giriş kalıtesinin artmas için, ön işleme teknikleri önerilmiştir, yineke veri toplama ve işaretleme işlemlerı dikkatli ve doğru birşekilde yaplımalıdır.Bu çalişmada özel veri işaretleme aracı, yukarıda anlatılan amaç için geliştirilmiştirç.Bu çalışmada, CNN mimarileri, parametreleri ve anların modelın başarı ya da başarısızlıgında olan etkileri daha ayrıntılı ve eksızce anlatılmıştır. Ek olarak, IPT'lerin dahil edilmesi ve bu tür ön işleme tekniklerinin etkisi araştırılmış ve sonuçlar ayrıntılı olarak tartışılmıştır.

Computer vision has been a hot research topic for years with broad applications. Various detection applications and detection techniques exist in the literature. Crack detection from images is a popular problem since it applies to different structures like bridges, dams, pavements, concretes or metals structures and etc. Manual visual inspection (VI) of structural defects and cracks is very time-consuming, and sometimes unfeasible due to the volume of data and the size of the structure. Manual inspection of cracks and defects in structures is prone to human error for a range of reasons like fatigue, irresponsible inspection, weak eyesight, and even sabotage. In addition, some structural defects like the ones with low contrast between cracks and the surrounding areas are challenging to the naked eye to detect. Structural and safety maintenance require a consistent inspection of cracks and other anomalies. The inspections provide information regarding the life condition of the structures and yield information for estimating structural health and repair costs. Automation of such inspections, can reduce the reliance on manual inspections and reduce the error. Incorporating automatic inspection can increase the frequency of inspections and assist human inspector in a variety of ways. Hence, incorporating Image processing techniques (IPTs) and computer vision-based algorithms provides a good opportunity and a viable solution to deal with these challenges. Various image processing techniques have been used in the past to address the problem of automated visual crack detection, with varying degrees of success. In this work, a novel crack detection framework is proposed, which utilizes techniques from both classical image processing and deep learning methodologies. The main contribution of this work is demonstrating that applying filters to image data in the pre-processing phase can significantly boost the classification performance of a convolutional neural network-based model. Wide utilization of IPTs, especially for image pre-processing, helped us in achieving the results that have outperformed the prior best methods. The proposed vision-based method utilizes convolutional neural networks (ConvNets or CNNs) as its main mechanism for detecting cracks in the structures. The designed CNN architecture has been trained on 650 images, which was labeled by a custom annotation tool and a classification accuracy of 96.26 /% was achieved on image blocks, on a dataset of cracked surface images. Through grid searching among a range of CNN parameters, a CNN network was nominated as the best network for training our model. The developed custom grid search accepts a variety of parameters, including the number of layers, activation functions, number of neurons, number of classes, input dimension, the value of dropout and max-pooling layers. Although the parameter search techniques (grid search in this case) can provide the best possible combination of parameters, there are other factors contributing to the success of a model. In this work, the accuracy has been achieved due to the novel technique proposed, which is the incorporation of IPTs. IPTs can improve the accuracy and among them, bilateral filtering has been observed to perform very well as a pre-processing and smoothing technique for detection with CNNs. In addition to the CNN structure and pre-processing techniques, there are other factors contributing to the success of a model. The research findings show that the quality of the dataset is one of the most important factors of model generalization success. Dataset quality means the balance of classes, quality of images and their properties. Although the pre-processing techniques are introduced to improve the quality of CNN input, annotation and data acquisition should be performed with care and precision. In this work, the customs data annotation tool has been developed for this reason. In this work, a further and complete analysis of CNN architectures, parameters, and their contribution to the failure or success of the model has been discussed in detail. Additionally, incorporation of IPTs and the impact of such pre-processing techniques have been studied and the results have been discussed in detail.