Arc Lab.'s Blog

[업데이트 2017.01.06 17:55] 예를 들어 다음과 같은 시나리오가 있을 때, 특정 text field에 포함된 문자열의 개수를 counting 하는 방법을 찾아보았습니다. 현재 찾은 방법은 text field에 동일한 문자열이 여러개 있더라도 document당 1개로 count를 합니다. - index: logstash-app-name - type: data1 - field: AppNameList * field의 analyzed 속성이 true여야 full text 검색이 가능합니다. - field text : "word, test, word, rundll32, autocad, autocad" 먼저 Logstash 등을 통해 Elasticsearch에 데이터를 insert할 때, 해당 fiel..

[업데이트 2016.12.29 10:39] Logstash에서 Ruby Filter를 통해 데이터 제어를 보다 더 풍부하게 처리 할 수 있습니다. 아래의 내용은 XML 데이터를 가져와서 배열 형태로 만든 후, 각 배열 아이템의 key name을 다시 저장하는 Ruby 코드입니다.filter { xml { source => "xml" store_xml => "false" xpath => [ "/root/data/appname", "APPName" ] remove_field => [ "xml" ] } xml { source => "APPName" force_array => "false" target => "APPName" } if ( [APPName] ) { ruby { add_field => { "APPN..

[업데이트 2016.12.22 10:00] Tistory에 공부하는 내용들을 정리하면서 소스 코드를 깔금하고 보기 좋게 올리는데 어려움이 있었는데, JavaScript 기반의 SyntaxHighligher라는 오픈소스를 알고 적용해보게 되었습니다. 아래의 위치에서 zip파일을 받아 압축을 해제합니다. * 참고: http://alexgorbatchev.com/SyntaxHighlighter/manual/installation.html 압축을 해제하면, scripts, styles 2개의 폴더가 있는데, 해당 폴더에 있는 .js, .css 파일 모두를 Tistory > 관리 > 스킨 꾸미기 > HTML/CSS 편집으로 이동 후, 파일 업로드 매뉴를 통해 모두 업로드합니다. 이제 해당 JavaScript 파일..

[업데이트 2016.12.28 00:45] Logstash 수행시 Log4j2를 이용해 log를 남길 수 있는데, 아래와 같은 오류 발생시 --path.settings를 통해 config directory를 다시 지정해줍니다. 만약 Logstash root directory가 C:/logstash-5.0.1 인 경우 아래와 같습니다. (Windows기준) "Could not find log4j2 configuration at path /logstash-5.0.1/config/log4j2.properties. Using default config which logs to console" logstash.bat -f logstash-test.conf --path.settings=/c:/logstash-5.0..

[업데이트 2016.12.28 00:47] 카카오톡에 대한 대화를 분석해보았습니다. PC카톡에서 채팅방 > 매뉴 > 대화 내용 > 대화 내보내기를 통해 txt 파일을 받은 후 분석을 진행했습니다. 일단 채팅방 사람들 이름을 명사로 등록하여 이름을 구분하도록 하였고, 그 외에 불필요한 단어들을 삭제했습니다.(날짜 등) # Install wordcloud package and related packages. #install.packages('KoNLP') # For Korean #install.packages('SnowballC') #install.packages('wordcloud') #install.packages('RColorBrewer') #install.packages('plyr') #install..

[업데이트 2016.12.29 23:26] 이번 포스팅에서는 Logstash를 통해 RDB로 부터 데이터를 가져온 후, 데이터중 XML 데이터를 가지고 있는 field를 접근하여 XML 데이터 Parsing후 최종적으로 JSON으로 변환하여 Elasticsearch로 데이터가 insert 되도록 구현해보고자 합니다. 사용될 Logstash Plugin들은 다음과 같습니다. - Input: jdbc - Filter: xml, mutate - output: stdout, elasticsearch RDB 및 XML 데이터 구조는 다음과 같다고 가정합니다. - User Name: admin - Password: 1234 - IP: 192.168.0.1 - Port: 1500 - SID: MYDB - Table ..

[업데이트 2016.12.29 23:31] Logstash에서 JDBC Input Plugin을 통해 Oracle DB도 연동이 가능합니다. 만약 Oracle DB 정보가 아래와 같이 구성되어 있다면 다음과 같이 연결 할 수 있습니다. Username : admin Password : 1234 Hostname : 192.168.0.1 Port : 1500 SID : MYDB input { jdbc { jdbc_driver_library => "C:\oracle-jdbc-driver\ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" jdbc_connection_string => "jdbc:oracle:thin:@192.168...

[업데이트 2016.12.09 10:28] Node Instance를 실행 할 때, 하나의 Cluster안에서 동작하려면 각각의 Elasticsearch configuration 파일에 동일한 Cluster 이름을 명시해야 합니다. cluster.name: big-data-cluster-1 Node별 다른 역할 부여를 위해 다음과 같이 설정 합니다. 또한 각 Node의 이름은 다르게 구별되어야 합니다. # Master Node node.name: node-1 node.master: true node.data: false node.ingest: false # Load Balancer Node node.name: node-2 node.master: false node.data: false node.inges..

[업데이트 2016.12.08 19:40] 여러대의 서버 PC에 Node를 분산하여 처리하기 위해 한 PC에서 사용했던 Elasticsearch 폴더를 그대로 복사하여 Node Instance를 실행을 했었는데, 아래와 같은 이슈가 발생하였습니다. 내용의 의미는 다른 node instance가 실행 되었는데, 같은 id를 가지고 있다는 의미입니다. 해결 방법은 Elasticsearch 폴더 내에 있는 data 폴더의 내용을 삭제후 모든 Node를 재시작하면 해결됩니다. ... RemoteTransportException can't add node found existing node with the same id but is a different node instance * 참고: http://stacko..

[업데이트 2016.12.08 18:24] Java Runtime Engine을 설치 후, JRE 기반 Web Service를 실행 할 때, 아래와 같은 메세지가 발생하며 실행이 안될 때가 있는데, 이때 해결하는 방법을 찾아보니 다음과 같았다.(Windows용 버전 1.8.0_111 기준) no 'server' JVM at C:\Program Files\Java\jre1.8.0_111\bin\server\jvm.dll' JDK를 설치 후, 아래의 폴더 안에 있는 파일들을 JRE가 설치되어 있는 bin폴더 아래에 server 폴더를 만든후 해당 파일들을 복사한다. C:\Program Files\Java\jdk1.8.0_111\jre\bin\server\ => Copy to C:\Program Files\J..