Arc Lab.'s Blog

[업데이트 2019.01.14 15:10] Linux에서 Docker 실행시 아래와 같은 에러 발생시 해결 방법입니다. Got permission denied while trying to connect to the Docker daemon socket... 다음과 같이 $USER 사용자를 docker 그룹에 추가합니다. 그리고 리부팅을 수행합니다.여기서 $USER는 현재 로그인한 사용자 입니다. (echo $USER로 현재 사용자 확인 가능) sudo usermod -a -G docker $USER sudo reboot * 참고[1] https://techoverflow.net/2017/03/01/solving-docker-permission-denied-while-trying-to-connect-to-..

[업데이트 2018.11.16 16:40] Git에서 하위 디렉토리 및 디렉토리 파일만 clone하고 싶을 때 다음과 같이 수행 할 수 있습니다. (Windows 10 기준) 1. Powershell을 수행합니다. 2. git init project01 cd project01 3. git config core.sparseCheckout true 4. git remote add -f origin https://github.com/asyncbridge/tsinghua-tencent-100k.git 5. echo "code/caffe/*"> .git/info/sparse-checkout 아래와 같은 폴더 구조를 가정했을 때, code/caffe 하위 디렉토리만 clone하기 위해서 "code/caffe/*" ..

[업데이트 2018.11.10 18:03] Ubuntu 16.04에서 reverse proxy 설정 방법.(https://www.digitalocean.com/community/tutorials/how-to-use-apache-as-a-reverse-proxy-with-mod_proxy-on-ubuntu-16-04) * 참고[1] https://www.digitalocean.com/community/tutorials/how-to-use-apache-as-a-reverse-proxy-with-mod_proxy-on-ubuntu-16-04

[업데이트 2018.11.03 20:57] Git에서 파일을 추가하려고 할때 git status로 상태를 확인해보면 추가할 대상으로 파일이 인식이 안될때가 있는데, 아래와 같이 --force 명령어를 사용하여 추가하면 목록에서 보이고 commit을 할 수 있게 됩니다. # 파일 추가git add --force test/test.cpp # 폴더 및 하위 폴더/파일 추가git add --force test/ * 참고[1] https://superuser.com/questions/583673/cant-add-folder-in-git

[업데이트 2018.11.03 19:19] GitHub에 소스 코드를 올릴 때 100M 이상 파일 올려야 하는 상황에서 오류가 발생하여 방법을 찾아보던중, git-lfs를 통해 대용량 파일을 업로드하는 방법을 찾게 되었습니다. 기본적으로 아래와 같은 절차로 진행합니다. (Mac 기준) 1) ./install.sh아래의 주소로 접속하여 git-lfs를 다운로드 및 ./install.sh 실행하여 설치합니다. https://git-lfs.github.com 2) git lfs install위와 같이 git-lfs을 셋업합니다. Updated git hooks. Git LFS initialized. 3) git clone xx.gitsource code를 원하는 디렉토리에 git으로부터 clone합니다. 4)..

[업데이트 2018.09.13 11:16] 본 포스팅에서는 Windows에서 AWS EC2 리눅스에 접근하여 FTP 파일전송을 손쉽게 할 수 있는 방법에 대해 작성합니다. 다음의 절차로 PuTTY와 WinSCP를 사용하면 쉽게 파일을 전송할 수 있습니다. 1. PuTTY 설정아래의 링크를 참고하여 Windows에서 PuTTY를 설치 및 EC2 인스턴스의 리눅스에 접근할 수 있도록 ssh 설정을 완료합니다. AWS PuTTY 설정 가이드 : https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/putty.html 2. WinSCP 설치 및 실행다음의 위치에서 Windows용 WinSCP를 다운로드합니다. 다운로드 : https://winscp.net/eng..

[업데이트 2018.03.21 15:43] Proxy를 거치는 네트워크에서 GitHub 연동시 아래와 같이 proxy를 설정하면 해결됩니다. git config --global http.proxy http://proxyUsername:proxyPassword@proxy.server.com:port * 참고 : https://gist.github.com/evantoli/f8c23a37eb3558ab8765

[업데이트 2017.06.30 08:44] Jupyter Notebook을 통해 대화형으로 Python을 실행하고 그 결과를 마치 Notebook처럼 관리할 수 있습니다. 1. 설치를 하기에 앞서 먼저 Python이 설치되어 있어야 합니다. Jupyter설치를 위한 Python 버전은 아래와 같습니다. Jupyter installation requires Python 3.3 or greater, or Python 2.7 2. Python 설치후 pip(Python Package Manager) 통해 Jupyter를 설치합니다. 가장 최신 pip 사용을 위해 아래와 같이 업데이트합니다.pip3 install --upgrade pip 3. 2번 완료후 아래와 같이 Jupyter 작업 디렉토리를 하나 만든 후..

[업데이트 2017.03.21 10:42] Windows에서 Standalone Cluster 실행하는 방법에 대한 포스팅입니다. 1. Master Node 실행C:\spark-2.1.0\bin>spark-class.cmd org.apache.spark.deploy.master.Master 다음과 같이 master node에 대한 web UI(기본적으로 http://localhost:8080으로 실행됩니다)를 접속하여 정상적으로 master node가 실행 되었는지 확인 할 수 있습니다. 또는 다음과 같이 특정 IP/Port를 지정하여 실행 할 수 있습니다. C:\spark-2.1.0\bin>spark-class.cmd org.apache.spark.deploy.master.Master -i 192.16..

[업데이트 2017.03.17 15:51] Zeppelin Spark Interpreter(Scala/Python)를 이용한 Oracle DB 연동 테스트 입니다. 테스트 해본 결과 확실히 Scala가 더 빠른 응답속도를 보여주었습니다. Spark에서 Scala에 더 최적화가 되어 있음을 확인 할 수 있습니다. * 참고: http://bcho.tistory.com/1031 ** 추가 업데이트: 원문 도표를 보면 core 개수가 적을 때는 Scala가 빠르지만, core 개수가 많아지면 Python도 동등한 수준임을 알 수 있습니다. 제가 테스트한 DB table query 기준으로 퍼포먼스에 있어서 상당한 차이가 있었습니다. 아래는 제가 테스트 했을 때 확인한 응답 속도입니다. [응답 속도] Scala ..