Arc Lab.'s Blog

[업데이트 2017.03.17 13:28] Windows 환경에서 Zeppelin Release 0.7.0 버전 기준으로 Apache Zeppelin-Spark Interpreter 연동시 아래와 같은 에러를 접하게 되었습니다. 구글링을 하면서 찾다보니 문제 해결 방법에 대한 힌트를 아래의 사이트를 통해 얻게 되었습니다. * 참고: https://issues.apache.org/jira/browse/ZEPPELIN-1584 Zeppelin에서 Spark Interprester를 실행하는데, 이때 Spark Interpreter 실행시 넘겨주는 파라메터 처리 이슈로 Spark Interpreter가 정상적으로 실행이 안되어 문제가 발생한 것으로 보입니다. 아래는 로그 내용입니다. 결국 connect tim..

[업데이트 2017.03.15 16:46] Apache Zeppelin의 경우 초보자도 사용하기 쉽게 가이드가 구성되어 있었습니다. 아래의 주소로 접속 후, 먼저 Zeppelin 최신 버전을 받습니다. 2017.03.15 기준 0.7이 최신입니다. Windows 기준으로 설치 및 실행에 대해 정리하였습니다. * 참고: https://zeppelin.apache.org/ 아래의 다운로드 페이지로 이동 후 , Binary package with all interpreters를 다운로드합니다. * 참고: https://zeppelin.apache.org/download.html 다운로드 후, tgz 압축 파일을 압축 해제 후, 적절한 위치에 7zip으로 한번 더 압축을 해제 합니다. 아래의 7.0 버전의 문서..

[업데이트 2017.03.13 20:16] Spark에서 Oracle DB 접근에 대한 포스팅입니다. Windows 환경에서 Python을 가지고 테스트를 해보았습니다. 1. Oracle DB JDBC jar 파일 다운로드 및 spark-defaults.conf 설정하기 다운로드 받은 Oracle DB JDBC jar파일을 적절한 위치에 복사한 후, Spark home/conf 폴더의 spark-defaults.conf의 spark.driver.extraClassPath에 해당 jar 파일 경로를 추가 합니다.spark.driver.extraClassPath C:\\oracle-jdbc-driver-11g\\ojdbc6.jar 2. Oracle JDBC test .py 파일 작성 및 실행 다음과 같이 O..

[업데이트 2017.03.13 17:20] Windows에서 Spark 설치를 위해 많은 부분을 해맸었는데, 아래의 링크를 통해 설치를 마무리 할 수 있었습니다. 가장 중요한 부분은 Windows 환경 변수 설정 부분으로 이 부분만 잘 하면 Spark가 Windows 환경에서도 정상적으로 동작하게 됩니다. 추가로 아래의 포스팅에는 Python에 대한 설정이 없는데, 다음과 같이 Path에 C:\Python27와 같이 home directory를 설정하면 됩니다. * 참고: https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/

[업데이트 2017.02.24 14:18] REST API를 구현함에 있어서 Modern PHP 기능 중 하나인 PDO 객체를 이용하여 MySQL query부터 JSON 객체 생성까지 간단히 정리한 코드입니다. HTTP request에 대해 php 페이지가 응답한 결과입니다.{ "status":200, "response": { "total":2, "result": [ {"idx":1,"content":"http:\/\/arclab.tistory.com\r\n\ub098\uc758 \ud50c\ub85c\uadf8"}, {"idx":3,"content":"http:\/\/www.coursera.com\r\nCoursera \uc628\ub77c\uc778 \uac15\uc758 \uc0ac\uc774\ud..

[업데이트 2017.02.14 11:15] Elasticsearch로 입력하는 데이터의 field가 많고, 특정 field는 number로 변환이 되어야 하는 경우에 _default_ mapping에 numeric_detection를 true로 설정하여 사용합니다. 그러나 version 체계(예: 1.00)를 명시하는 field의 경우 Elasticsearch에 입력시 잘못된 데이터 타입 변환으로 아래와 같이 오류가 발생할 때가 있습니다. :response=> { "index"=> {"_index"=>"logstash-data-2016.01", "_type"=>"data", "_id"=>"14173638", "status"=>400, "error"=> {"type"=>"illegal_argument_ex..

[업데이트 2017.02.10 15:39] 1. JAVA_HOME 오류 HADOOP_HOME/etc/hadoop/hadoop-env.cmd 수정.(Program Files space때문에 오류 발생) symbolic link로 지정함.mklink /D \java_home "C:\Program Files\Java\jre1.8.0_111" set JAVA_HOME=\java_home * 참고: http://stackoverflow.com/questions/26990243/hadoop-installation-on-windows 2. util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Coul..

[업데이트 2017.02.21 16:07] REST API에 대해 기술적으로 학습 및 정리를 하기 위해 다양한 자료를 수집하다보니 정작 구현에만 집중하고 있는 자신을 발견하게 되었습니다. OSI 7 계층 중에서 응용 계층에 속하는 HTTP 프로토콜에 대한 배경 지식을 먼저 아는 것이 REST API를 제대로 학습하는 길이라 생각 되었습니다. 그래서 해당 포스팅을 통해 간략히 OSI 7 계층 및 HTTP 프로토콜에 대해 정리하고자 합니다. 먼저 HTTP 프로토콜이 OSI 7 계층 중에 어떤 것에 속하는지부터 정리를 해보려고 합니다. 1. OSI 7 계층 OSI 7 계층은 이름에서 알 수 있듯이 7개의 계층으로 구성됩니다. 자세한 내용은 아래 WiKi 정보를 참고하시기 바랍니다. 7개 계층에서 우리가 자주 ..

[업데이트 2017.02.01 21:00] cURL로 GET/PUT/POST/DELETE에 대해 REST API 테스트 환경을 구축 후, 해당 http request가 발생 할 때 마다 자동으로 xDebug가 실행되도록 설정을 하고 싶었는데, 아래와 같이 xdebug.remote_autostart를 1로 설정하면 쉽게 디버깅이 가능했습니다.xdebug.remote_autostart=1 xdebug.extended_info=1 xdebug.remote_enable=1 xdebug.remote_autostart=1 xdebug.profiler_enable=true xdebug.remote_handler=dbgp xdebug.remote_mode=req xdebug.remote_host=localhost xd..

[업데이트 2017.02.03 01:17] PHP에서 REST API 구현을 위한 간단한 HTTP Request 정보 추출 방법을 정리하였습니다. 크게 3가지에 대해 정보에 대해 추출을 해보았습니다. - Request Method - Request URI Path - Request URI Query Parameter 다음은 해당 정보 추출에 대한 소스코드입니다. (예외처리를 신경쓰지 않은 코드입니다)/* * Get the data from $_SERVER variable * - Request Method * - Request URI Path * - Request URI Query Parameter */ $requestUri = $_SERVER['REQUEST_URI']; $requestMethod = $..