[ELK Stack] ELK 설치하기

티스토리 뷰

Software/Data Analytics

[ELK Stack] ELK 설치하기 - 2. Kibana

Arc Lab. 2016. 11. 24. 21:04

[업데이트 2016.12.01 01:15]

2) Kibana

Kibana의 경우도 설치된 path의 bin 디렉토리로 이동 후, kibana.bat를 실행하면 됩니다. 그리고 localhost 5601포트로 접속합니다. 참고로 Elasticsearch를 통해 Visualization해주기 때문에, Elasticsearch 서비스가 실행 되어 있어야 합니다.

http://localhost:5601/

다음과 같이 실행됨을 확인 후, 웹브라우저에서 위의 주소로 접속합니다.

다음와 같이 Kibana의 첫 화면을 볼 수 있습니다.

처음에 접속해보면 Elasticsearch index 식별을 위해 적어도 하나의 index pattern을 지정하라고 나옵니다. 해당 index에 time-based field가 없을 경우 Index contains time-based events를 uncheck 합니다.

* 참고: https://www.elastic.co/guide/en/kibana/current/connect-to-elasticsearch.html

* 참고: https://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html

아래와 같이 @timestamp field가 있어야 Index contains time-based events를 사용할 수 있습니다.(Tutorial 링크 참고)

{
    "memory": INT,
    "geo.coordinates": "geo_point"
    "@timestamp": "date"
}

테스트를 해보기 위해서 위의 Tutorial에서 제공하는 json dataset을 curl을 통해 Elasticsearch에 import 합니다. 참고로 curl은 데이터 전송을 위한 command line 툴입니다. 보통 REST API 등 테스트를 위해 자주 사용한다고 합니다.

* 참고: https://www.lesstif.com/pages/viewpage.action?pageId=14745703#curl설치및사용법-HTTPGET/POST,RESTAPI연계등-개요

* 참고: https://winampplugins.co.uk/curl/

위의 Tutorial 내용을 참고하여 shakespeare란 데이터에 대한 mapping 정보를 import합니다. 저는 Kibana > Dev Tools > Console을 통해 import하였습니다. 아래의 내용을 복사하면 자동으로 import하도록 변경됩니다.

curl -XPUT http://localhost:9200/shakespeare -d '
{
 "mappings" : {
  "_default_" : {
   "properties" : {
    "speaker" : {"type": "string", "index" : "not_analyzed" },
    "play_name" : {"type": "string", "index" : "not_analyzed" },
    "line_id" : { "type" : "integer" },
    "speech_number" : { "type" : "integer" }
   }
  }
 }
}
';

이제 bulk API를 통해 json 데이터를 import합니다.

참고로 Windows 기준으로 HTTP 주소를 쓸때, 겹따옴표를 써야 합니다.("http://xxx:xxx")

curl -XPOST "http://localhost:9200/bank/account/_bulk?pretty" --data-binary @accounts.json
curl -XPOST "http://localhost:9200/shakespeare/_bulk?pretty" --data-binary @shakespeare.json
curl -XPOST "http://localhost:9200/_bulk?pretty" --data-binary @logs.jsonl

Import후 Kibana Web Console 또는 curl을 통해 index pattern에 대해 검색해보면(_cat API 사용) 정상적으로 추가 되었음을 확인 할 수 있습니다.