Arc Lab.'s Blog

[업데이트 2016.12.01 01:15] 2) Kibana Kibana의 경우도 설치된 path의 bin 디렉토리로 이동 후, kibana.bat를 실행하면 됩니다. 그리고 localhost 5601포트로 접속합니다. 참고로 Elasticsearch를 통해 Visualization해주기 때문에, Elasticsearch 서비스가 실행 되어 있어야 합니다. http://localhost:5601/ 다음과 같이 실행됨을 확인 후, 웹브라우저에서 위의 주소로 접속합니다. 다음와 같이 Kibana의 첫 화면을 볼 수 있습니다. 처음에 접속해보면 Elasticsearch index 식별을 위해 적어도 하나의 index pattern을 지정하라고 나옵니다. 해당 index에 time-based field가 없을 ..

[업데이트 2016.12.01 01:14] ELK Stack은 로그(빅데이터) 분석을 위해 사용되는 Open Source 프로젝트로 다음의 3가지의 약자입니다. 다음의 그림과 같이 결국 데이터가 가공되어 시각화됩니다. 기존에 운영 중인 서버로부터 로그 파일을 Logstash를 통해 Elasticsearch가 검색 및 분석할 수 있도록 JSON형태로 변환하여 전송합니다. 그리고 최종적으로 Kibana를 통해 데이터들을 시각화 합니다. * 참고: http://www.thedevlog.com/wp/wp-content/uploads/2015/09/General-ELK-Stack.png - Elasticsearch: JSON 문서 기반의 데이터 검색 및 분석 엔진. - Logstash: 각종 수집된 로그를 JSO..

[업데이트 2016.11.16 02:29] Spark를 R과 연동하기 위해 아래의 주소로 접속하여 Spark 최신 버전을 다운로드합니다. (V2.0.1 / Windows 기준으로 작성하였습니다.) https://spark.apache.org/downloads.html 다운로드후 받은 압축파일을 아래와 경로에 압축 해제합니다. C:\spark-2.0.1\ 이제 Windows에서 Computer > Properties > Advanced system settings > Environment Variables로 이동후, System variables의 Path에 다음과 같이 R과 Spark의 실행파일이 위치한 경로를 지정합니다. C:\Program Files\R\R-3.3.1\bin; C:\spark-2.0...

[업데이트 2016.11.23 15:08] R 언어에서 ODBC를 통해 MySQL이 접근 가능하며, 기존에 사용하던 DB의 데이터 분석시 유용한 것 같습니다. 특히 SQL Query를 통해 불러오게 되는 데이터 형태가 data.frame이라 바로 그래프나 Word Cloud 같은 기능에 적용하기 편리한 것 같습니다. 1) MySQL ODBC for Windows 설치 저는 R Studio를 Windows에서 사용중이기 때문에, MySQL ODBC를 Windows용으로 설치하였습니다. 아래의 주소로 접속하여 Windows용 최신 버전 MySQL ODBC를 다운로드 및 설치합니다. 참고: https://dev.mysql.com/downloads/connector/odbc/ 2) MySQL ODBC 설정 My..

[업데이트 2016.11.16 02:05] R언어에서 텍스트와 같은 비정형 데이터에 대해 Word Cloud를 만들어 보여줄 수 있는 패키지가 있습니다. 해당 패키지로 Word Cloud를 만드는 방법에 대해 정리해보려고 합니다. 1) 패키지 설치 아래와 같이 4가지 패키지를 설치합니다. 1 2 3 4 > install.packages('tm') > install.packages('SnowballC') > install.packages('wordcloud') > install.packages('RColorBrewer') 2) 패키지 선언 패키지 설치 후, 사용을 위해 아래와 같이 선언합니다. 1 2 3 4 5 > library(NLP) > library(tm) > library(SnowballC) > l..

[업데이트 2016.11.15 03:50] 1) R 프로그래밍 언어 설치 R 프로그래밍 언어를 사용하기 위해서 아래의 R Project 공식 주소로 접속하여 설치파일을 다운로드 받습니다. 1. Download > CRAN 선택 2. Mirror 사이트 선택 3. Download R for Windows 선택 4. Base 선택 및 R 3.3.1 설치 파일 다운로드 ** 공식 사이트: https://www.r-project.org/ ** Direct 다운로드 링크 R-3.3.1 for Windows (32/64 bit) : https://cran.r-project.org/bin/windows/base/ 설치후 RGUi를 실행하여 R Console창이 정상적으로 표시 되는지 확인합니다. 2) R Studio..

[업데이트 2016.10.14 01:30] R 프로그래밍 언어는 통계 계산과 그 결과를 Visualization 할 수 있는 프로그래밍 언어입니다. 현재 통계 소프트웨어 개발 및 자료 분석에 널리 활용되고 있습니다. 참고: https://en.wikipedia.org/wiki/R_(programming_language) 요즘 화두가 되고 있는 Big Data 분석을 위한 언어로 활용되고 있어, 흥미를 가지고 접하게 되었습니다. 예를 들어 어떤 목표를 향해 의사결정이 필요한 경우가 있는데, 논리적 의사결정을 위해 그에 타당한 근거 자료가 뒷받침되어야 합니다. 그래서 Big Data를 수집하고, 수집된 Data에서 의사결정에 유용한 정보를 Data Mining하고 Visualization 할 수 있는 과정이..