ELK Stack(Elasticsearch + Logstash+Kibana+FileBeats) 개요

ELK Stack(Elasticsearch + Logstash+Kibana+FileBeats)

기존 운영중인 여러 서버로 부터 로그 파일을, 관리 분석하기 힘들었다. 

하지만 나만 힘들었겠냐? 그래서 앞서서 고민했던 분들이 만들기 시작했다.

정리하면 Logstash 을 통해 Collection, Transport 하고,  Elasticsearch cluster가 Storage , Analytics 하고

그리고 Kibana를 통해 데이터를 시각화 합니다. 

추가적으로 Beats등을 통해서 파일을 수집하는데,
Logstack 사이에 다른 로그 저장소를 넣어서 이중 관리하는 형태도 있다는 점을 참고합니다.

•  ElasticSearch : Distributed , RESTful search and analytics.(데이터 검색, 분석 및 저장) 
  
  Apache Lucene을 기반으로 개발한 분산 검색엔진으로 비정형 데이터를 쉽게 저장하고 처리할 수 있으며,
  실시간 검색과 플러그인을 이용한 확장을 지원하는 장점을 가지고 있음.
  인덱스 갱신 주기도 빠른 편이며, 운영중인 스키마 변경이 가능
  
  
• Kibana : Visualize your data. Navigate the Stack
  
  Kibana는 데이터를 시각화하고, Elastic Stack의 모든 기능을 구성 및 관리할수 있는 확장 가능한 UI 도구랍니다.
  
  
• Logstash : 확장가능한 플러그인 에코시스템으로 구성된 동적 데이터 수집 파이프 라인
  
  오픈 소스 서버측 데이터 처리 파이프 라인으로, 다양한 소스에서 동시에 데이터를 수집하고 변환하여 자주 사용하는 Stash 보관소로 보냄
  하나 또는 여러 개의 입력값(streams)을 간단하게 우리가 원하는 데이터로 변경해 주는 ETL(for Extract , Transform, Load) 라고 생각.
  설정은 JSON 형태로 input, filter, output 만 선언해 주면 되며, input의 형태는 file 이나 S3 bucket(Amazon AWS),
  RabbitMQ, Redis등을 지원.
  
  
• Beats  : 단말 장치의 데이터를 Logstash 및 Elasticsearch로 전송하는 경량 수집기용 플랫폼
  
  서버에 에이전트로 설치하여 다양한 유형의 데이터를 Elastic Search 또는 Logstack 에 전송하는 오픈 소스 데이터 발송자 
  
  
• x-Pack 
  
  보안 , 경고, 모니터링, 보고,  그래프 탐색 및 머신러닝과 같은 편리한 기능이 통합된 단일 확장 제품.

ELK (Elastic Search + Logstash  + Kibana)

Logstash 와 Kibana는 2013년까지 타 개발자들이 개발되었으나, Elastic search 로 합류 !!

ELK Stack (Elastic Search + Logstash  + Kibana +Beats )

ELK Solution에서 Beats 가 추가되면서 ELK Stack 이라고 불림 

각각의 가이드를 보면서 설치해보고 따라합시다.

1.Elasticsearch 

• 다운로드 : https://www.elastic.co/kr/downloads
• 설치 가이드 : https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html

2. kibana

• 다운로드 : https://www.elastic.co/downloads/kibana
• 설치가이드 : https://www.elastic.co/guide/en/kibana/current/getting-started.html

3. logstash

• 다운로드 : https://www.elastic.co/downloads/logstash
• 설치 가이드 : https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html

4. FileBeat

• 다운로드 : https://www.elastic.co/downloads/beats/filebeat

이렇게 해보고 나서... 다시 그림을 그려봅시다.