[업데이트 2016.12.29 10:39] Logstash에서 Ruby Filter를 통해 데이터 제어를 보다 더 풍부하게 처리 할 수 있습니다. 아래의 내용은 XML 데이터를 가져와서 배열 형태로 만든 후, 각 배열 아이템의 key name을 다시 저장하는 Ruby 코드입니다.filter { xml { source => "xml" store_xml => "false" xpath => [ "/root/data/appname", "APPName" ] remove_field => [ "xml" ] } xml { source => "APPName" force_array => "false" target => "APPName" } if ( [APPName] ) { ruby { add_field => { "APPN..
[업데이트 2016.12.28 00:45] Logstash 수행시 Log4j2를 이용해 log를 남길 수 있는데, 아래와 같은 오류 발생시 --path.settings를 통해 config directory를 다시 지정해줍니다. 만약 Logstash root directory가 C:/logstash-5.0.1 인 경우 아래와 같습니다. (Windows기준) "Could not find log4j2 configuration at path /logstash-5.0.1/config/log4j2.properties. Using default config which logs to console" logstash.bat -f logstash-test.conf --path.settings=/c:/logstash-5.0..
[업데이트 2016.12.28 00:47] 카카오톡에 대한 대화를 분석해보았습니다. PC카톡에서 채팅방 > 매뉴 > 대화 내용 > 대화 내보내기를 통해 txt 파일을 받은 후 분석을 진행했습니다. 일단 채팅방 사람들 이름을 명사로 등록하여 이름을 구분하도록 하였고, 그 외에 불필요한 단어들을 삭제했습니다.(날짜 등) # Install wordcloud package and related packages. #install.packages('KoNLP') # For Korean #install.packages('SnowballC') #install.packages('wordcloud') #install.packages('RColorBrewer') #install.packages('plyr') #install..
[업데이트 2016.12.29 23:26] 이번 포스팅에서는 Logstash를 통해 RDB로 부터 데이터를 가져온 후, 데이터중 XML 데이터를 가지고 있는 field를 접근하여 XML 데이터 Parsing후 최종적으로 JSON으로 변환하여 Elasticsearch로 데이터가 insert 되도록 구현해보고자 합니다. 사용될 Logstash Plugin들은 다음과 같습니다. - Input: jdbc - Filter: xml, mutate - output: stdout, elasticsearch RDB 및 XML 데이터 구조는 다음과 같다고 가정합니다. - User Name: admin - Password: 1234 - IP: 192.168.0.1 - Port: 1500 - SID: MYDB - Table ..
[업데이트 2016.12.29 23:31] Logstash에서 JDBC Input Plugin을 통해 Oracle DB도 연동이 가능합니다. 만약 Oracle DB 정보가 아래와 같이 구성되어 있다면 다음과 같이 연결 할 수 있습니다. Username : admin Password : 1234 Hostname : 192.168.0.1 Port : 1500 SID : MYDB input { jdbc { jdbc_driver_library => "C:\oracle-jdbc-driver\ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" jdbc_connection_string => "jdbc:oracle:thin:@192.168...
[업데이트 2016.12.09 10:28] Node Instance를 실행 할 때, 하나의 Cluster안에서 동작하려면 각각의 Elasticsearch configuration 파일에 동일한 Cluster 이름을 명시해야 합니다. cluster.name: big-data-cluster-1 Node별 다른 역할 부여를 위해 다음과 같이 설정 합니다. 또한 각 Node의 이름은 다르게 구별되어야 합니다. # Master Node node.name: node-1 node.master: true node.data: false node.ingest: false # Load Balancer Node node.name: node-2 node.master: false node.data: false node.inges..
[업데이트 2016.12.08 19:40] 여러대의 서버 PC에 Node를 분산하여 처리하기 위해 한 PC에서 사용했던 Elasticsearch 폴더를 그대로 복사하여 Node Instance를 실행을 했었는데, 아래와 같은 이슈가 발생하였습니다. 내용의 의미는 다른 node instance가 실행 되었는데, 같은 id를 가지고 있다는 의미입니다. 해결 방법은 Elasticsearch 폴더 내에 있는 data 폴더의 내용을 삭제후 모든 Node를 재시작하면 해결됩니다. ... RemoteTransportException can't add node found existing node with the same id but is a different node instance * 참고: http://stacko..
[업데이트 2016.12.29 23:42] Elasticsearch에서 제공하는 Cluster에 대해 개념 정리 및 구축에 대해 포스팅을 해보고자 합니다. High Availability, Near Realtime(NRT), Distributed, Document-Oriented(JSON), RESTful API 등 다양한 특징들이 있지만, Cluster 구축에 관련된 개념들에 대해서 정리를 해보고자 합니다. * 참고: https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html - High Availability, Cluster, Node, Index, Shards & Replicas Elasticsearch는 ..
[업데이트 2016.12.16 2:39] 한글 데이터에 대해 분석 시에는 KoNLP 라이브러리를 사용하여 분석합니다. 기본적으로 txt 파일을 통해 데이터를 읽어온 후, koNLP 라이브러리의 함수를 이용해서 한글 명사만 추출하도록 합니다. (sapply 함수) 그리고 filter, gsub을 통해 삭제하길 원하는 숫자, 특수문자 등을 지정하여 제거 합니다. 그리고 wordcloud 라이브러리를 이용하여 한글 wordcloud를 표시합니다.추가로 Bar chart로도 표시를 해보았습니다. (주석 참고) # Install wordcloud package and related packages. #install.packages('KoNLP') # For Korean #install.packages('Snowb..
[업데이트 2016.12.01 01:15] 3) Logstash Logstash도 마찬가지로 아래의 주소에서 설치 파일을 다운로드한 후, 원하는 위치에 압축을 해제합니다. bin 디렉토리로 이동 후, logstash.bat를 실행하면 되는데, 실행 시 파라메터로 configuration 파일을 넘겨주어야 합니다. * 참고: https://www.elastic.co/downloads/logstash * 참고: https://www.elastic.co/guide/en/logstash/current/configuration.html 위의 configuration 파일 생성 및 실행을 참고하여 Logstash를 실행합니다. Logstash는 아래와 같이 Pipeline 아키텍쳐를 가지고 있습니다. inputs ..
- Total
- Today
- Yesterday
- Ragdoll
- belief
- Game Engine
- project
- Physical Simulation
- #ApacheSpark
- GOD
- #REST API
- ate
- Library
- Jekyll and Hyde
- Memorize
- Sea Bottom
- 도커
- OST
- #TensorFlow
- ILoop Engine
- sentence test
- Badge
- Worry
- English
- SSM
- Meow
- #ELK Stack
- aws #cloudfront
- #ApacheZeppelin
- docker
- Mask R-CNN
- 2D Game
- some time ago
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |