Arc Lab.'s Blog

[업데이트 2019.07.04 10:46] 지난번 포스팅에 이어서 web service 기반의 Object Detector를 만들어보았습니다. 기존에 만들었던 base docker container를 포함하도록 하였습니다. 따라서 기존의 Caffe 등을 그대로 사용할 수 있게 됩니다. 기존 base 이미지에서 참조하는 폴더 구조를 기반으로 해당 서비스가 참조하도록 구성하였습니다. TT100K 데이터셋에 대해 교통 표지판 검출이 가능하도록 REST API 인터페이스를 구현 하였으며, 웹서비스를 만들기 위해 Python 기반의 Flask를 사용하였습니다. Flask의 경우 micro-framework로 작은 단위의 기능을 마이크로 서비스로 구현할 때 용이합니다. Docker 서비스를 배포하기 위해 AWS E..

[업데이트 2019.07.02 11:40] 기존에 특정 리눅스 버전과 Nvidia 그래픽카드 드라이버 버전 및 CUDA와 같은 라이브러리의 버전을 설치 및 셋팅을 해야 Caffe를 통해 TT100K 벤치마크에 대해 빌드 및 테스트가 가능했었습니다. 초기에 환경 셋팅을 하는 것 때문에 여러번 리눅스를 다시 설치했던 경험이 있는데요. 이러한 모든 것을 O/S 레벨에서 가상화 및 배포, 관리를 용이하게 만드는 Docker를 사용하여 한번만 잘 만들어 놓으면 Docker Engine이 있는 어떤 환경에서든지 쉽게 사용이 가능하게 됩니다. TT100K 벤치마크 사용을 쉽게 할 수 있도록 Docker Container를 만들어보았습니다. 아래 GitHub에서 알 수 있듯이 Docker 이미지는 다음과 같이 구성되어..

[업데이트 2019.05.20 10:02] 이번 포스팅에서는 Tesseract라는 OCR엔진에 대해 설치부터 실행까지 알아보도록 하겠습니다. Python까지 지원하여 간단히 OCR을 수행해볼 수 있었습니다. Python으로 실행 가능하기 때문에 웹서비스로 만들어서 OCR 기능을 수행하는 웹어플리케이션을 만들 수도 있을 것 같습니다. 이번 포스팅에서는 Windows 10 x64 기준으로 설치 및 실행까지 알아보도록 하겠습니다. 1. Tesseract 설치 아래의 위치로 접속하게되면, tesseract-ocr-w64-setup-v4.1.0.20190314 (rc1) (64 bit) 다운로드 링크를 확인 하실 수 있습니다. 다운로드 링크를 클릭하여 설치 파일을 다운로드합니다. (2019.05.20 기준 버전)..

[업데이트 2019.03.18 12:49] Caffe 딥러닝 프레임워크를 통해 학습을 수행할 때, train/test loss에 대해 그래프로 확인하며, 학습 모델을 튜닝해야 할때가 있습니다. 이번 포스팅에서는 Jupyter Notebook을 통해 train/test loss 그래프를 확인할 수 있는 방법에 대해 공유하고자 합니다. 1) 먼저 Caffe를 통해 학습을 수행 할 때, 로그 파일로 저장하도록 합니다. ../caffe/build/tools/caffe train --solver ../model/solver.prototxt 2>&1 | tee TT100K_TRAIN_90000.log 2) 학습이 완료되면 아래의 Jupyter Notebook 파일을 실행한 후, 로그 파일 위치를 지정합니다. imp..

[업데이트 2019.03.07 10:59] Caffe를 통해 학습을 할때 시작과 종료를 확인 할 수 있도록 Notification을 해주면 편리하겠다는 생각을 했었습니다. Ubuntu에서 mail을 사용하여 학습 시작과 종료 시 메일 전송을 할 수 있었습니다. 아래와 같이 bash script를 만들면 학습 시작과 종료시 이메일을 통해 통보를 받아볼 수 있습니다. mail -s "Start training task" deeplearning@gmail.com

[업데이트 2018.11.21 11:28] keras 사용시 backend로 tensorflow를 쓰는데, softmax부분에서 tensorflow와 호환성 문제로 오류가 발생할 수 있습니다. 아래와 같이 tensorflow_backend.py를 수정 및 컴파일을 수행합니다. Ubuntu 14.04, python 2.7 기준으로 작성하였습니다. 1. 아래의 위치로 이동합니다. cd /usr/local/lib/python2.7/dist-packages/keras/backend/ 2. tensorflow_backend.py 파일을 다음과 같이 수정합니다. 아래와 같이 return 부분을 axis=axis -> dim=axis로 수정 def softmax(x, axis=-1): """Softmax of a t..

[업데이트 2018.11.21 01:55] Custom COCO Dataset 만드는 방법에 대해 찾아보니 공개 되어 있는 오픈소스가 있어 실행을 해보았습니다.(https://github.com/waspinator/pycococreator) 추가적으로 경계 상자와 레이블을 볼 수 있도록 파이썬 코드를 GitHub에 추가하였습니다.(https://github.com/asyncbridge/pycococreator) * 참고[1] https://github.com/waspinator/pycococreator[2] https://github.com/asyncbridge/pycococreator

[업데이트 2018.11.10 20:03] [Caffe] Flask systemd를 통한 Caffe Web Demo daemon service 등록하기(16.04 LTS) 1) mkdir lib/systemd/system/flask.service 2) tough lib/systemd/system/flask.service [Unit] Description=flaskapp [Service] Type=idle User=ubuntu Group=ubuntu Environment=export PYTHONPATH=/home/ubuntu/caffe/distribute/python:$PYTHONPATH; export LD_LIBRARY_PATH=/home/ubuntu/caffe/distribute/lib:$LD_LIBR..

[업데이트 2018.11.21 11:42] 1. Caffe Build Issues(HDF5, gflags, glog, LMDB, opencv_imgcodecs opencv_videoio) 해결 방법 링크.(https://github.com/BVLC/caffe/wiki/Commonly-encountered-build-issues) 2. pycaffe Build Numpy Issue ubuntu@servver:~/caffe$ make pycaffe CXX/LD -o python/caffe/_caffe.so python/caffe/_caffe.cpp python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: No such file or directory..

[업데이트 2018.11.02 17:42] Caffe에서 Layer관련 C++코드에 대해 디버깅 메세지를 확인해야 할 때가 있는데, 기존 코드를 살펴보면 Google Logging Library(GLog)를 사용하도록 되어 있습니다. 특정 위치에 로그가 생성되게 하기 위해서는 Ubuntu home directory로 이동후, .bashrc 파일을 열어 아래와 같이 GLog Path를 추가합니다. (/tmp path에 생성 되도록 추가) 다음과 같이 원하는 위치에 로그 파일이 생성됩니다. * 참고[1] https://codeyarns.com/2017/10/26/how-to-install-and-use-glog/