Arc Lab.'s Blog

[업데이트 2017.02.14 11:15] Elasticsearch로 입력하는 데이터의 field가 많고, 특정 field는 number로 변환이 되어야 하는 경우에 _default_ mapping에 numeric_detection를 true로 설정하여 사용합니다. 그러나 version 체계(예: 1.00)를 명시하는 field의 경우 Elasticsearch에 입력시 잘못된 데이터 타입 변환으로 아래와 같이 오류가 발생할 때가 있습니다. :response=> { "index"=> {"_index"=>"logstash-data-2016.01", "_type"=>"data", "_id"=>"14173638", "status"=>400, "error"=> {"type"=>"illegal_argument_ex..

[업데이트 2017.01.06 17:55] 예를 들어 다음과 같은 시나리오가 있을 때, 특정 text field에 포함된 문자열의 개수를 counting 하는 방법을 찾아보았습니다. 현재 찾은 방법은 text field에 동일한 문자열이 여러개 있더라도 document당 1개로 count를 합니다. - index: logstash-app-name - type: data1 - field: AppNameList * field의 analyzed 속성이 true여야 full text 검색이 가능합니다. - field text : "word, test, word, rundll32, autocad, autocad" 먼저 Logstash 등을 통해 Elasticsearch에 데이터를 insert할 때, 해당 fiel..

[업데이트 2016.12.29 10:39] Logstash에서 Ruby Filter를 통해 데이터 제어를 보다 더 풍부하게 처리 할 수 있습니다. 아래의 내용은 XML 데이터를 가져와서 배열 형태로 만든 후, 각 배열 아이템의 key name을 다시 저장하는 Ruby 코드입니다.filter { xml { source => "xml" store_xml => "false" xpath => [ "/root/data/appname", "APPName" ] remove_field => [ "xml" ] } xml { source => "APPName" force_array => "false" target => "APPName" } if ( [APPName] ) { ruby { add_field => { "APPN..

[업데이트 2016.12.28 00:45] Logstash 수행시 Log4j2를 이용해 log를 남길 수 있는데, 아래와 같은 오류 발생시 --path.settings를 통해 config directory를 다시 지정해줍니다. 만약 Logstash root directory가 C:/logstash-5.0.1 인 경우 아래와 같습니다. (Windows기준) "Could not find log4j2 configuration at path /logstash-5.0.1/config/log4j2.properties. Using default config which logs to console" logstash.bat -f logstash-test.conf --path.settings=/c:/logstash-5.0..

[업데이트 2016.12.29 23:26] 이번 포스팅에서는 Logstash를 통해 RDB로 부터 데이터를 가져온 후, 데이터중 XML 데이터를 가지고 있는 field를 접근하여 XML 데이터 Parsing후 최종적으로 JSON으로 변환하여 Elasticsearch로 데이터가 insert 되도록 구현해보고자 합니다. 사용될 Logstash Plugin들은 다음과 같습니다. - Input: jdbc - Filter: xml, mutate - output: stdout, elasticsearch RDB 및 XML 데이터 구조는 다음과 같다고 가정합니다. - User Name: admin - Password: 1234 - IP: 192.168.0.1 - Port: 1500 - SID: MYDB - Table ..

[업데이트 2016.12.29 23:31] Logstash에서 JDBC Input Plugin을 통해 Oracle DB도 연동이 가능합니다. 만약 Oracle DB 정보가 아래와 같이 구성되어 있다면 다음과 같이 연결 할 수 있습니다. Username : admin Password : 1234 Hostname : 192.168.0.1 Port : 1500 SID : MYDB input { jdbc { jdbc_driver_library => "C:\oracle-jdbc-driver\ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" jdbc_connection_string => "jdbc:oracle:thin:@192.168...

[업데이트 2016.12.09 10:28] Node Instance를 실행 할 때, 하나의 Cluster안에서 동작하려면 각각의 Elasticsearch configuration 파일에 동일한 Cluster 이름을 명시해야 합니다. cluster.name: big-data-cluster-1 Node별 다른 역할 부여를 위해 다음과 같이 설정 합니다. 또한 각 Node의 이름은 다르게 구별되어야 합니다. # Master Node node.name: node-1 node.master: true node.data: false node.ingest: false # Load Balancer Node node.name: node-2 node.master: false node.data: false node.inges..

[업데이트 2016.12.08 19:40] 여러대의 서버 PC에 Node를 분산하여 처리하기 위해 한 PC에서 사용했던 Elasticsearch 폴더를 그대로 복사하여 Node Instance를 실행을 했었는데, 아래와 같은 이슈가 발생하였습니다. 내용의 의미는 다른 node instance가 실행 되었는데, 같은 id를 가지고 있다는 의미입니다. 해결 방법은 Elasticsearch 폴더 내에 있는 data 폴더의 내용을 삭제후 모든 Node를 재시작하면 해결됩니다. ... RemoteTransportException can't add node found existing node with the same id but is a different node instance * 참고: http://stacko..

[업데이트 2016.12.29 23:42] Elasticsearch에서 제공하는 Cluster에 대해 개념 정리 및 구축에 대해 포스팅을 해보고자 합니다. High Availability, Near Realtime(NRT), Distributed, Document-Oriented(JSON), RESTful API 등 다양한 특징들이 있지만, Cluster 구축에 관련된 개념들에 대해서 정리를 해보고자 합니다. * 참고: https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html - High Availability, Cluster, Node, Index, Shards & Replicas Elasticsearch는 ..

[업데이트 2016.12.01 01:15] 3) Logstash Logstash도 마찬가지로 아래의 주소에서 설치 파일을 다운로드한 후, 원하는 위치에 압축을 해제합니다. bin 디렉토리로 이동 후, logstash.bat를 실행하면 되는데, 실행 시 파라메터로 configuration 파일을 넘겨주어야 합니다. * 참고: https://www.elastic.co/downloads/logstash * 참고: https://www.elastic.co/guide/en/logstash/current/configuration.html 위의 configuration 파일 생성 및 실행을 참고하여 Logstash를 실행합니다. Logstash는 아래와 같이 Pipeline 아키텍쳐를 가지고 있습니다. inputs ..