Adwertorial
Najciekawsze wnioski pojawiają się na styku technologii. Analizę logów znamy od dawna. Reagujemy na błędy systemów i aplikacji. A jak reagować na zdarzenia, których nie znamy? Zobaczmy, czy matematyka może nam w tym pomóc.
Informatycy mówią o „logu”, gdy widzą fragment tekstu opatrzonego datą, pochodzący z systemów operacyjnych i ich aplikacji. Na rynku dostępne są centralne systemy gromadzenia logów. Wśród nich znajduje się Energy Logserver. Dzięki centralizacji logi wpadają w jedno miejsce, w którym operator wykonuje prace analityczne, szukając przyczyny zgłaszanych problemów. Pracując ręcznie z logami, powiela swoje codzienne zadania. Dobrze, jeśli efektem pracy jest utworzenie reguły alertowej, która dla przyszłych okresów wykona automatyczną detekcję problemu. Twórcy Energy Logserver postawili sobie pytanie: czy tego zagadnienia nie można zautomatyzować?
Pojęcie „sztuczna inteligencja” to jedno z najbardziej pustych haseł wśród opisów systemów IT. Już sam fakt użycia wyliczeń średniej arytmetycznej urasta do rangi „odkrywania wiedzy”, a dopasowanie wiadomości do wzorca jest dla działów handlowych przykładem „sztucznej inteligencji”. Jest to naturalne, gdyż systemy tworzą informatycy, którzy w obszarze analizy zbiorów danych nie radzą sobie najlepiej.
W Energy Logserver powołano zespół składający się z profesorów Wydziału Matematyki i Nauk Informacyjnych Politechniki Warszawskiej, programistów i automatyków devops ze znajomością matematycznych bibliotek python, takich jak: pandas, scikit, jupiter oraz tensorflow. W firmie zadano wszystkim pytanie: jakie nowoczesne metody naukowe wykorzystać, aby o logach wiedzieć więcej?
Przed zespołem postawiono kilka zadań. Jednym z nich było zajęcie się problemem analizy tekstu. Podstawą działania dla zespołu jest model danych. Logi podzielono na słowa, które zaczęto zliczać w podziale na typy. Administrator IT intuicyjnie pomija logi, które dobrze zna. Wykonując klastrowanie logów danego typu, wykonano statystykę rozkładu i prawdopodobieństwa występowania słów w logu. Wynik prawdopodobieństwa to punkty, które przyznano w ramach całego komunikatu. Dla każdego loga wyliczono współczynniki, takie jak: number of rare words, average anomaly score, max anomaly score oraz total anomaly score. Na wyniki prac trzeba będzie chwilę poczekać, testy są jednak obiecujące.
Więcej informacji
Artur Bicki – CEO
energylogserver.com
sales@energylogserver.com
22 625 39 40
