Arc Lab.'s Blog

[업데이트 2016.12.29 23:42] Elasticsearch에서 제공하는 Cluster에 대해 개념 정리 및 구축에 대해 포스팅을 해보고자 합니다. High Availability, Near Realtime(NRT), Distributed, Document-Oriented(JSON), RESTful API 등 다양한 특징들이 있지만, Cluster 구축에 관련된 개념들에 대해서 정리를 해보고자 합니다. * 참고: https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html - High Availability, Cluster, Node, Index, Shards & Replicas Elasticsearch는 ..

[업데이트 2016.12.16 2:39] 한글 데이터에 대해 분석 시에는 KoNLP 라이브러리를 사용하여 분석합니다. 기본적으로 txt 파일을 통해 데이터를 읽어온 후, koNLP 라이브러리의 함수를 이용해서 한글 명사만 추출하도록 합니다. (sapply 함수) 그리고 filter, gsub을 통해 삭제하길 원하는 숫자, 특수문자 등을 지정하여 제거 합니다. 그리고 wordcloud 라이브러리를 이용하여 한글 wordcloud를 표시합니다.추가로 Bar chart로도 표시를 해보았습니다. (주석 참고) # Install wordcloud package and related packages. #install.packages('KoNLP') # For Korean #install.packages('Snowb..

[업데이트 2016.12.02 13:52] REST API 테스트를 위해 HTTP Request/Response 확인을 위한 툴을 찾아보던 중, Firefox의 Plugin중 하나인 Poster를 사용해보게 되었습니다. 먼저 Firefox 브라우저를 설치한 후, 아래의 주소에서 또는 부가 기능 검색을 통해 Poster를 설치합니다. 참고: https://addons.mozilla.org/en-US/firefox/addon/poster/ 아래의 그림과 같이 GET/POST/PUT/DELETE HTTP Request에 대해 테스트 가능하며, 파라메터/파일/헤더에 대해서 테스트가 가능합니다.

[업데이트 2016.12.01 15:03] 만약 REST API WAS 서버를 구축하여 API를 open하게 될 때, 해당 WAS 서버에 대한 직접적인 접근을 허용하기에는 보안상 문제가 될 수 있습니다. 따라서 보통 REST API WAS 서버는 내부망에 위치하게 하고, Reverse Proxy 서버가 Client에서 요청한 REST API Request에 대해 대신 Response를 하게 됩니다. Proxy는 Forward/Reverse Proxy 두가지가 있는데, 보통 Forward Proxy는 사내망 Client에서 외부에 있는 웹서버를 접근할 때 사용되며(미리 Proxy 지정이 필요함), Reverse Proxy는 Client에서 웹서버에 접근 할 때, 내부망에 위치한 WAS서버를 대신하여 요청한..

[업데이트 2016.11.29 16:59] PhpStorm에서 REST API 테스트를 위해서 실제 웹브라우저를 통한 테스트를 해야 하는데, 원격으로 디버깅하는 방법에 대해 설정하는 방법입니다. 먼저 php.ini 파일에서 아래와 같이 XDebug remote debug 설정을 합니다. 참고로 PhpStorm에서 지정한 remote debug포트와 동일해야 합니다. xdebug.extended_info=1 xdebug.remote_enable=1 xdebug.profiler_enable=true xdebug.remote_handler=dbgp xdebug.remote_mode=req xdebug.remote_host=localhost xdebug.remote_port=9000 아래와 같이 Run/Debu..

[업데이트 2016.12.01 01:15] 3) Logstash Logstash도 마찬가지로 아래의 주소에서 설치 파일을 다운로드한 후, 원하는 위치에 압축을 해제합니다. bin 디렉토리로 이동 후, logstash.bat를 실행하면 되는데, 실행 시 파라메터로 configuration 파일을 넘겨주어야 합니다. * 참고: https://www.elastic.co/downloads/logstash * 참고: https://www.elastic.co/guide/en/logstash/current/configuration.html 위의 configuration 파일 생성 및 실행을 참고하여 Logstash를 실행합니다. Logstash는 아래와 같이 Pipeline 아키텍쳐를 가지고 있습니다. inputs ..

[업데이트 2016.12.01 01:15] 2) Kibana Kibana의 경우도 설치된 path의 bin 디렉토리로 이동 후, kibana.bat를 실행하면 됩니다. 그리고 localhost 5601포트로 접속합니다. 참고로 Elasticsearch를 통해 Visualization해주기 때문에, Elasticsearch 서비스가 실행 되어 있어야 합니다. http://localhost:5601/ 다음과 같이 실행됨을 확인 후, 웹브라우저에서 위의 주소로 접속합니다. 다음와 같이 Kibana의 첫 화면을 볼 수 있습니다. 처음에 접속해보면 Elasticsearch index 식별을 위해 적어도 하나의 index pattern을 지정하라고 나옵니다. 해당 index에 time-based field가 없을 ..

[업데이트 2016.12.01 01:14] ELK Stack은 로그(빅데이터) 분석을 위해 사용되는 Open Source 프로젝트로 다음의 3가지의 약자입니다. 다음의 그림과 같이 결국 데이터가 가공되어 시각화됩니다. 기존에 운영 중인 서버로부터 로그 파일을 Logstash를 통해 Elasticsearch가 검색 및 분석할 수 있도록 JSON형태로 변환하여 전송합니다. 그리고 최종적으로 Kibana를 통해 데이터들을 시각화 합니다. * 참고: http://www.thedevlog.com/wp/wp-content/uploads/2015/09/General-ELK-Stack.png - Elasticsearch: JSON 문서 기반의 데이터 검색 및 분석 엔진. - Logstash: 각종 수집된 로그를 JSO..

[업데이트 2016.11.23 14:59] 인라인 문서화를 위해 PHP 코드에 주석을 다는 것은 코드 가독성 등의 측면에서 필요한 작업인데, PhpStorm에서 이러한 Doc Block 완성을 자동으로 쉽게 해주는 기능이 있습니다. ** DocBlock 발췌: https://phpdoc.org/docs/latest/glossary.html#term-docblock ** PhpStorm DocBlock 발췌: https://www.jetbrains.com/help/phpstorm/2016.2/creating-php-documentation-comments.html 다음과 같이 Alt+Insert를 누른 후, PHPDoc Blocks...를 선택합니다. 다음과 같이 namespace부터 class, clas..

[업데이트 2016.11.23 14:16] PHP 개발을 위해 IDE를 알아보던 중, Jetbrains사 PhpStorm을 알게 되었습니다. 아래의 주소로 접속 후, Windows용 IDE를 다운로드 받았습니다. 설치 완료 후, 몇가지 셋팅을 통해 localhost상에서 PHP 코드를 디버깅 및 테스트를 해볼 수 있었습니다.(2016.2.2 버전 기준) ** 발췌: https://www.jetbrains.com/phpstorm/ 설치 완료후, 아래와 같이 Create New Project를 실행합니다. 이제 Location, PHP language level, Interpreter를 지정합니다. - Location: AutoSet을 통해 설치된 Apache web server root path를 지정합니..