Arc Lab.'s Blog

[업데이트 2020.06.01 22:18] Kubernetes(이하 쿠버네티스)에 대해 스터디하면서 간략히 정리하였습니다. 이번 포스팅에서는 Google Cloud Platform(이하 GCP)에 쿠버네티스로 서비스를 구성 및 배포하여 확인하는 것을 목표로 하였습니다. 쿠버네티스로 할 수 있는 것은? 현대의 웹 서비스의 경우 24/7 항상 서비스가 이용 가능해야하며, 하루에 여러번 새로운 버전으로 배포해야 합니다. 컨테이너화는 패키지 소프트웨어를 중단없이 배포 및 업데이트 할 수 있도록 도와줍니다. 쿠버네티스는 컨테이너화 된 어플리케이션을 원하는 위치와 시간에 실행할 수 있고 작업에 필요한 리소스와 도구를 찾을 수 있도록 도와줍니다. 쿠버네티스는 컨테이너 오케스트레이션에 대한 구글의 축적 된 경험과 커뮤..

[업데이트 2020.05.27 17:20] 요즘 클라우드 네이티브라는 말이 많이 쓰여지고 있습니다. CNCF(Cloud Native Computing Foundation)에서 정의한 내용에 대해 발췌하였습니다. Cloud native technologies empower organizations to build and run scalable applications in modern, dynamic environments such as public, private, and hybrid clouds. Containers, service meshes, microservices, immutable infrastructure, and declarative APIs exemplify this approach. Th..

[업데이트 2020.05.27 17:13] 빅데이터 분석 및 시각화를 위해 Zeppelin과 Spark를 연동하여 사용하는 것에 대해 간단히 정리하였습니다. - https://zeppelin.apache.org/docs/latest/quickstart/install.html - http://zeppelin.apache.org/download.html Zeppelin docker image를 사용하여 실행해보도록 하겠습니다. 아래와 같이 8080포트로 실행합니다. docker run -p 8080:8080 --rm --name zeppelin apache/zeppelin:0.9.0 아래와 같이 docker volume 옵션을 사용하여 로그 및 노트북이 저장 가능합니다. docker run -p 8080:8..

[업데이트 2020.06.01 17:02] 1. VPC란? - Amazon Virtual Private Cloud(Amazon VPC)에서는 사용자가 정의한 가상 네트워크로 AWS 리소스를 시작할 수 있습니다. 이 가상 네트워크는 AWS의 확장 가능한 인프라를 사용한다는 이점과 함께 고객의 자체 데이터 센터에서 운영하는 기존 네트워크와 매우 유사합니다. - Amazon VPC는 Amazon EC2의 네트워킹 계층입니다. 다음은 VPC의 핵심 개념입니다. 1) Virtual Private Cloud(VPC) : 사용자의 AWS 계정 전용 가상 네트워크입니다. 2) 서브넷 : VPC의 IP 주소 범위입니다. 3) 라우팅 테이블 : 네트워크 트래픽을 전달할 위치를 결정하는 데 사용되는 라우팅이라는 규칙 집합입..

[업데이트 2020.03.02 17:50] 1. Elastic Load Balancing - 교차 영역 로드 밸런싱(Cross-zone load balancing) . 교차 영역 로드 밸런싱을 사용하면 Classic Load Balancer에 대한 각각의 로드 밸런서 노드가 활성화된 모든 가용 영역에 있는 등록된 인스턴스 간에 요청을 균등하게 분산합니다. . ALB는 default 값임 . Classic Load Balancer는 enable 필요. * 참고 https://aws.amazon.com/ko/elasticloadbalancing/?nc=sn&loc=0 https://aws.amazon.com/ko/elasticloadbalancing/faqs/?nc=sn&loc=6

[업데이트 2020.03.02 17:50] 1. Amazon DynamoDB - DynamoDB는 모든 규모에서 빠르고 유연한 비관계형 데이터베이스입니다. DynamoDB를 통해 고객은 분산 데이터베이스를 운영하고 AWS로 확장하는 데 따른 관리 부담에서 벗어날 수 있으며, 하드웨어 프로비저닝, 설정 및 구성, 처리 능력 계획, 복제, 소프트웨어 패치 또는 클러스터 확장에 대해서도 걱정할 필요가 없습니다. - 일관성 모델 . 최종적 일관된 읽기(기본값) : 최종 일관성 옵션은 읽기 처리량을 최대화합니다. 그러나 최종적 일관된 읽기는 최근 완료한 쓰기 결과를 반영하지 못할 수 있습니다. 모든 데이터 사본은 일반적으로 1초 내에 일관성을 가지게 됩니다. 짧은 시간 이후 읽기를 반복하여 갱신한 데이터를 반환해..

[업데이트 2020.02.21 17:46] 1. Amazon Redshift - Amazon Redshift는 속도가 빠른 완전관리형 데이터 웨어하우스로, 모든 데이터를 표준 SQL 및 기존 BI(비즈니스 인텔리전스) 도구를 사용하여 간편하고 비용 효율적으로 분석할 수 있습니다. - Amazon Redshift를 사용하면 정교한 쿼리 최적화, 고성능 스토리지의 열 형식 스토리지, 대량 병렬 쿼리 실행 기능을 사용하여 페타바이트 규모의 정형 데이터에 복잡한 분석 쿼리를 실행할 수 있습니다. 대부분 결과가 몇 초 내에 반환됩니다. - Amazon Redshift Spectrum이 포함되어 있어 로딩이나 ETL 없이 Amazon S3 데이터 레이크에 있는 엑사바이트 규모의 비정형 데이터에 대해 SQL 쿼리를 ..

[업데이트 2020.02.20 19:13] 1. VPC 흐름 로그(VPC Flow Logs) - VPC 흐름 로그는 VPC의 네트워크 인터페이스에서 전송되고 수신되는 IP 트래픽에 대한 정보를 수집할 수 있는 기능입니다. 플로우 로그 데이터를 Amazon CloudWatch Logs 및 Amazon S3로 게시할 수 있습니다. 플로우 로그를 생성한 다음 선택된 대상의 데이터를 가져와 확인할 수 있습니다. . 지나치게 제한적인 보안 그룹 규칙 진단 . 인스턴스에 도달하는 트래픽 모니터링 . 네트워크 인터페이스를 오가는 트래픽 방향 결정 * 흐름 로그 데이터는 네트워크 트래픽 경로 외부에서 수집되므로 네트워크 처리량이나 지연 시간에 영향을 주지 않습니다. 네트워크 성능에 영향을 주지 않고 흐름 로그를 생성하..

[업데이트 2020.02.19 15:39] 1. VPC 엔드포인트 - VPC 엔드포인트를 통해 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결을 필요로 하지 않고 AWS PrivateLink 구동 지원 AWS 서비스 및 VPC 엔드포인트 서비스에 비공개로 연결할 수 있습니다. - VPC의 인스턴스는 서비스의 리소스와 통신하는 데 퍼블릭 IP 주소를 필요로 하지 않습니다.(프라이빗 IP 주소) - VPC와 기타 서비스 간의 트래픽은 Amazon 네트워크를 벗어나지 않습니다. - VPC 엔드포인트에는 두 가지 종류가 있습니다. (인터페이스 엔드포인트 및 게이트웨이 엔드포인트) - 엔드포인트는 가상 디바이스입니다. 수평으로 확장된 고가용성 중복 VPC 구성 요소입..

[업데이트 2020.02.19 14:30] 1. Amazon S3 Glacier 1.1 검색 옵션 - 표준 검색(Standard): 표준 검색은 보통 3~5시간 이내에 완료됨. - 대량 검색(Bulk): S3 Glacier에서 가장 저렴한 검색 옵션으로 이를 통해 페타바이트 규모의 데이터도 하루 만에 저렴하게 검색할 수 있습니다. 대량 검색은 보통 5~12시간 이내에 완료됨. - 긴급 검색(Expedited): 긴급 검색을 사용하면 가장 큰 아카이브(250MB 이상)를 제외하고 모든 아카이브에 대해 보통 1~5분 이내에 데이터에 액세스할 수 있음. 긴급 검색에는 온디맨드와 프로비저닝된 요청이라는 2가지 유형이 있습니다. 온디맨드 요청은 AWS가 검색을 1~5분 이내에 완료할 수 있을 때 이행됩니다. 프로..