A context aware notification framework based on distributed focused crawling

Abstract

Web üzerindeki kaynaklardan üretilen veri miktarı her geçen gün artmaktadır. Bu kaynaklardan üretilen bilgileri takip etmek ve en son bilgilere ulaşmaya çalışmak zaman alan işlerdir. İnsanlar için Web üzerindeki bilgilere yaygın olarak ulaşma yöntemi genellikle sorgulama esaslıdır. İnsanlar en son blog yazılarını, web sitelerini, haberleri ve hatta hava durumu raporlarını bulmak için Web'i belli zaman aralıklarında sorgulamaktadırlar. İlgili bilgiye doğru zamanda ulaşmak hem insanların hem de işletmelerin daha verimli ve üretken olabilmeleri için çok önemlidir. Ayrıca, doğru zamanda ulaşılamayan bilginin insanlar ve işletmeler için değeri ortadan kaybolabilir. Geleneksel sorgulama bazlı bilgiye ulaşma yöntemi önemli bir bilginin gözden kaçabilmesine ya da geç fark edilebilmesine sebep olabilir. RSS gibi teknolojiler insanların web siteleri üzerinden bildirim bazlı bilgiye ulaşabilmelerine olanak sağlasalar da insanların çok fazla bilgiye, uygun olmayan zamanlarda maruz kalmalarına çözüm olamamaktadırlar. İnsanların doğru bilgiye doğru zamanda ulaşabilmeleri için bağlam bilinçli bildirim bazlı bir çözüme ihtiyaç vardır. Her ne kadar literatürde bu problemi çözmeye yönelik bazı çalışmalar olsa da bunlar günümüz büyük veri gereksinimlerini karşılamak için yeterli değildir. Biz bu çalışmada, dağıtık hesaplama ve büyük veri analiz yöntemlerindeki en son gelişmelerden yararlanarak, insanların doğru bilgiye doğru zamanda ulaşabilmelerini sağlayan, dağıtık çalışan odaklanmış tarama temelli bağlam bilinçli bir bildirim uygulama çatısı öneriyoruz.

The amount of data generated from sources on the Web has been increasing on a daily basis. Hence, it is time-consuming to follow all these sources to reach the latest information. The way people access information on the Web is usually pull-based, meaning that they query the Web over time to find the most recent blog posts, websites, news, and even weather reports. Accessing the right information at the right time is crucial for both people and businesses to be more productive and efficient. Moreover, the information that cannot be accessed at the right time may lose its value over time. Traditional pull-based methods for obtaining information may cause important knowledge to be overlooked or too late to be noticed. Technologies like RSS enable people to access information from websites through push-based notifications, but they cannot provide a proper solution for people who are being exposed to too much information at inappropriate times. Accordingly, a push-based context aware solution is needed for people who are in need of accessing the right information at the right time. Although some promising studies in the literature have tried to solve this problem, they appear to be insufficient to meet today's big data requirements. In this study, we propose a context aware notification framework based on distributed focused crawling, in order for people to get notifications on relevant information at the right time and location by leveraging the latest advancements in distributed computing and big data analytics technologies.