Anomaly Detection Using Log Stream Clustering
Anomaly Detection Using Log Stream Clustering
Anomaly Detection Using Log Stream Clustering
نوع: Type: thesis
مقطع: Segment: masters
عنوان: Title: Anomaly Detection Using Log Stream Clustering
ارائه دهنده: Provider: Mahsa Moradi
اساتید راهنما: Supervisors: Dr. Moharram Mansourizadeh
اساتید مشاور: Advisory Professors:
اساتید ممتحن یا داور: Examining professors or referees: Dr. Mehdi Sakhainia and Dr. Reza Mohammadi
زمان و تاریخ ارائه: Time and date of presentation: 17/10/2023 6:30 PM
مکان ارائه: Place of presentation: Class 27
چکیده: Abstract: Today, the science of data mining has provided a platform so that by using new technologies such as artificial intelligence and machine learning, one can analyze and extract concepts hidden in data and use them for different and important tasks. Data mining is the science of extracting patterns, information and analysis from raw data sets that have been produced in an organization or in any other set. These data are produced at a high speed, which sometimes form a stream of data. Data streaming is the continuous transfer of data at a constant and high speed. In some cases, information systems generate a stream of logs. A log is a rich source of information for detecting and predicting errors or abnormal behaviors in systems, which includes all events, occurrences and errors in the execution of a software or operating system. These errors can be discovered through the analysis of logs using big data algorithms. One of the methods for analyzing streaming data and detecting anomalies is the clustering algorithm. The purpose of data clustering is to separate a set of objects into separate groups, and one of these data flow clustering algorithms is the AutoCloud algorithm. AutoCloud is an online and one-step recursive algorithm for data stream clustering based on Euclidean distance. This algorithm is based on the concept of typicality and eccentricity data analysis, which is mainly used for anomaly detection tasks. Also, AutoCloud is able to manage inherent problems in data flow, such as concept drift and concept evolution. But due to the fact that the accuracy of performing the operation in AutoCloud is not very suitable for most data sets, it seems that using other types of distances is more appropriate and by adding methods to AutoCloud, the accuracy can be improved. to find Therefore, in this research, by implementing some ideas, it has been tried to check if changing AutoCloud can lead to its improvement or not. The first idea is to use Mahalanobis distance for this algorithm. The results show that if AutoCloud is based on Euclidean distance, it works better than Mahalanobis distance. That's why using Mahalanobis distance in AutoCloud is not very effective. In AutoCloud, the formation of clusters can be effective in absorbing data; Therefore, the second idea is to add the Kmeans algorithm to the beginning of AutoCloud. In this idea, the first 1000 data samples are processed offline and the rest of the data are processed online. The purpose of the second idea is to create clusters by Kmeans and then absorb the data with Eccentricity so that by using Kmeans and the concept of Eccentricity and considering the appropriate selection of clusters, better clustering can be achieved. In general, the results obtained with this method are worse than the basic method. The third idea works like the second idea, with the difference that the threshold limit for the condition of absorbing data samples into clusters has been changed. The threshold limit has been calculated using the concept of Eccentricity in Kmeans clusters. Finally, in order to detect anomalies in the log, the "σ gap" principle has been implemented in the AutoCloud algorithm. The results show that the accuracy of detecting anomalies in the log using the proposed method is very low. The results show that the proposed methods perform worse than the AutoCloud algorithm
به اطلاع متقاضیان دکترای سال تحصیلی 1404-1403 رشته های مهندسی (مکانیک - کامپیوتر - برق - مواد - عمران - صنایع) دانشگاه بوعلی سینا می رساند، فهرست اساتید پذیرنده دانشکده مهندسی...
به اطلاع می رساند یک شرکت دانش بنیان در اصفهان نیازمند خدمات تحقیقاتی دانش آموختگان رشته های مواد و شیمی بوده و استخدام می کند. علاقمندان جهت کسب اطلاعات بیشتر و هماهنگی با شماره 03133879868 در...
به گزارش بسنا، مراسم افتتاحیه این پروژه با حضور محمدعلی زلفیگل وزیر علوم، تحقیقات و فناوری و دکتر علیرضا قاسمیفرزاد استاندار همدان، معاونان وزارتخانههای علوم و مسئولان استانی و ریاست...
دفتر هدایت استعدادهای درخشان دانشگاه بوعلیسینا فهرست اسامی دانشجویان برگزیده آموزشی پژوهشی پانزدهمین همایش سالانه دفتر هدایت استعدادهای درخشان سال ۱۴۰۲ را منتشر کرد. اسامی دانشجویان...
بهراد توتونچی دبیر انجمن علمی دانشجویی مهندسی عمران دانشگاه بوعلی سینا، در جلسه ای با حضور نمایندگان دانشگاه های سراسر کشور، با کسب اکثریت آرا انتخابات، به عنوان دبیر...
در هشتمین نشست از دوره یازدهم هیأت ممیزه دانشگاه بوعلیسینا، آقای دکتر علیرضا حاتمی دارای مدرک دکتری در رشته مهندسی برق با ر أ ی اعضاء از مرتبه...
بدینوسیله انتخاب آقای دکتر آرش فتاح الحسینی را به عنوان پژوهشگر برگزیده دانشگاه در گروه فنی و مهندسی به ایشان و خانواده علمی دانشکده مهندسی تبریک عرض نموده و از خداوند متعال...
بدینوسیله انتخاب دو تن از دانشجویان دانشکده مهندسی مهندس راضیه چهارمحالی در مقطع دکتری رشته مهندسی مواد شاخه خوردگی و مهندسی سطح و مهندس امین نظری در مقطع...
بدینوسیله انتخاب سه عضو هیات علمی دانشکده مهندسی جناب آقایان دکتر جواد بهنامیان ، دکتر حسن علم خواه و دکتر محسن گودرزی در...
براساس اطلاعات پایگاه شاخصهای اساسی علم (ESI)، حضوردکتر محمد حسن مرادی از گروه مهندسی برق دانشکده مهندسی در زمره پژوهشگران پراستناد یک درصد برتر دنیا استمرار پیدا کرد. ...
بدینوسیله انتخاب اعضا محترم هیات علمی سرکار خانم دکتر سموئی (گروه مهندسی صنایع)، جناب آقایان دکتر بابائی (گروه مهندسی عمران)، دکتر حاتمی (گروه مهندسی برق)، دکتر ختن لو (گروه مهندسی...
بدینوسیله انتخاب چهار عضو هیات علمی دانشکده مهندسی جناب آقای دکتر جواد بهنامیان از گروه مهندسی صنایع به عنوان پژوهشگر اول برگزیده، جناب آقای دکتر حسن علم خواه از گروه...
به گزارش بسنا و به نقل از سازمان سنجش، آزمون مرحله نهایی بیست و هشتمین دوره المپیاد علمی دانشجویی کشور با حضور نفرات برگزیده آزمون کارشناسی ارشد (متمرکز) و آزمون غیرمتمرکز المپیاد در دانشگاههای...
به اطلاع دانشجویان محترم می رساند سایت کامپیوتر کارشناسی دانشکده مهندسی به دلیل انجام ثبت نام دانشجویان کارشناسی ورودی 1402 از شنبه 1402/7/22 به مدت یک هفته تعطیل می باشد.
به گزارش بسنا و به نقل از معاونت علمی فناوری ریاست جمهوری، در هشتمین دوره تجلیل از سرآمدان علمی کشور در سال ۱۴۰۲ که با حضور معاون علمی و فناوری و اقتصاد دانشبنیان رئیسجمهور و وزیر علوم...
به اطلاع دانشجویان ورودی جدید تحصیلات تکمیلی (ارشد و دکترا) می رساند، یکشنبه 23 مهر ساعت 11 الی 13 در محل آمفی تئاتر دانشکده مهندسی جلسه معارفه با هیات رییسه دانشکده برگزار می شود. ...
بر اساس اطلاعات جدید نمایه استنادی معتبر scopus ۲۰۲۳، با بررسی مقالات مربوط به ۲۰۲۲، 4 عضو هیات علمی و 1 دانش آموخته دانشکده مهندسی و با بررسی کل مقالات مربوط به سال های مختلف، 1 نفر از اعضای هیات...
نظر به مراتب تعهد، تخصص و تجارب ارزشمند جناب آقای دکتر حسن علم خواه و بنا به پیشنهاد رئیس دانشکده مهندسی، به موجب ابلاغی ایشان با حفظ سمت آموزشی به مدت 2 سال به عنوان...
در حکمی از طرف ریاست دانشگاه آقای دکتر امیرسامان خیرخواه به عنوان مدیر گروه رشته مهندسی صنایع منصوب گردید. در این حکم آمده است : « با احترام و آرزوی توفیق الهی، نظر به مراتب تعهد و تجارب...
در حکمی از طرف ریاست دانشگاه آقای دکتر صالح رازینی به عنوان مدیر گروه رشته مهندسی برق منصوب گردید. در این حکم آمده است : « با احترام و آرزوی توفیق الهی، نظر به مراتب تعهد و تجارب ارزنده...