DB&NoSQL(28)
-
ELK 설치 하고 실습 하기 3 - logstash & Filebeats 설치
logstash & Filebeats 설치 아래 모든 설치 전에 사전에 java 최소 버전은 8이어야 한다고 당부 . *주의!!! 이 문서는 ELK에 있는 getting started Guide을 되는대로 번역을 해 놓은 것입니다. (장담할수없어요.. 참고만 하세요)설치다운로드 : https://www.elastic.co/downloads/logstash설치 가이드 : https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html첫번째 이벤트를 stash 하는 법을 배운후에, 아파치 웹 로그을 가져오는 보다 발전된 파이프 라이인을 생성하는 것을 진행합니다. (input, parses the logs , writes t..
2017.06.16 -
ELK 설치 하고 실습 하기 2 - Kibana 설치
ELK 설치 하고 실습 하기 2 - Kibana 설치아래 모든 설치 전에 사전에 java 최소 버전은 8이어야 한다고 당부 . *주의!!! 이 문서는 ELK에 있는 getting started Guide을 되는대로 번역을 해 놓은 것입니다. (장담할수없어요.. 참고만 하세요)설치 다운로드 : https://www.elastic.co/downloads/kibana설치가이드 : https://www.elastic.co/guide/en/kibana/current/getting-started.htmlLoad a sample data set into ElasticsearchDefine an index patternExplore the sample data with DiscoverSet up visualizatio..
2017.06.16 -
ELK 설치 하고 실습 하기 1 - Elasticsearch 설치
ELK 설치 하고 실습 하기 - Elasticsearch 설치 아래 모든 설치 전에 사전에 java 최소 버전은 8이어야 한다고 당부 . *주의!!! 이 문서는 ELK에 있는 getting started Guide을 되는대로 번역을 해 놓은 것입니다. (장담할수없어요.. 참고만 하세요) Elasticsearch설치 다운로드 : https://www.elastic.co/kr/downloads설치 가이드 : https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.htmlbin/elasticsearch.bat잘 기동되면... 여러 로그 메시지와 함께 최종적으로 아래 문구를 볼수 있다. 이름이 "b9bA1yj 인 노드가 시작되고..
2017.06.16 -
ELK Stack(Elasticsearch + Logstash+Kibana+FileBeats) 개요
ELK Stack(Elasticsearch + Logstash+Kibana+FileBeats) 기존 운영중인 여러 서버로 부터 로그 파일을, 관리 분석하기 힘들었다. 하지만 나만 힘들었겠냐? 그래서 앞서서 고민했던 분들이 만들기 시작했다.정리하면 Logstash 을 통해 Collection, Transport 하고, Elasticsearch cluster가 Storage , Analytics 하고그리고 Kibana를 통해 데이터를 시각화 합니다. 추가적으로 Beats등을 통해서 파일을 수집하는데, Logstack 사이에 다른 로그 저장소를 넣어서 이중 관리하는 형태도 있다는 점을 참고합니다. ElasticSearch : Distributed , RESTful search and analytics.(데이터..
2017.06.16 -
RabbitMQ Tutorial - 6. RPC
Remote Procedure Call (RPC) 두번째 튜토리얼에서 다수의 작업자들사이에 시간이 소요되는 업무에 대해서 분산처리하는 Work Queue에 대한 사용법에 대해서 배웠습니다. 원격 컴퓨터에서 함수를 호출하고 그 결과를 기다려야 할 필요가 있다면?글쎄, 그런 좀 어려운 이야기 인데.이 패턴은 일반적으로 RPC 라고 알려진 패턴이죠. 이 튜토리얼에서는 클라이언트 와 확장가능한 RPC 서버 -RPC 시스템을 빌드하기위해 RabbitMQ을 사용 할 것입니다.분산처리할 가치가 있는 시간이 걸리는 업무를 갖고 있지 않기 때문에, 우리는 피보나치 수열(Fibonacci numbers)을 리턴하는 더미 RPC 서비스를 만들도록 하겠습니다. 1. Client interface RPC 서비스를 사용할수 있는..
2017.05.17 -
RabbitMQ Tutorial - 5. Topics
Topics : Receiving messages based on a pattern (topics) 이전 장에서는 우리 로깅 시스템을 발전시켰습니다.오직 더미 방송하는 능력의 fanout Exchange를 사용하는 대신에direct Exchange를 사용했고, 로그를 선택적으로 받는 가능성을 얻었습니다. 우리 시스템을 발전시키기 위해 direct Exchange를 사용하는 것 역시, 제한을 가지고 있습니다.- 여러가지 조건(multiple criteria)에 기반한 라우팅을 할수 없습니다. 우리 로깅 시스템에서 오직 severity에 기반한것 외에도, 로그가 발행된 소스 상의 로그들도 구독하길 원할수도 있습니다. severity(info/warn/crit...) 와 facility(auth/cron/ke..
2017.05.17