[AWS] Amazon Redshift

[업데이트 2020.02.21 17:46]

1. Amazon Redshift
- Amazon Redshift는 속도가 빠른 완전관리형 데이터 웨어하우스로, 모든 데이터를 표준 SQL 및 기존 BI(비즈니스 인텔리전스) 도구를 사용하여 간편하고 비용 효율적으로 분석할 수 있습니다. 

- Amazon Redshift를 사용하면 정교한 쿼리 최적화, 고성능 스토리지의 열 형식 스토리지, 대량 병렬 쿼리 실행 기능을 사용하여 페타바이트 규모의 정형 데이터에 복잡한 분석 쿼리를 실행할 수 있습니다. 대부분 결과가 몇 초 내에 반환됩니다. 

-  Amazon Redshift Spectrum이 포함되어 있어 로딩이나 ETL 없이 Amazon S3 데이터 레이크에 있는 엑사바이트 규모의 비정형 데이터에 대해 SQL 쿼리를 직접 실행할 수 있습니다.  

 

- Amazon Redshift는 데이터 웨어하우징 및 분석 워크로드에 사용하는 일반적인 데이터베이스보다 최대 10배까지 성능을 높이기 위해 여러 가지 혁신적인 기능을 사용

  . 열 형식 데이터 스토리지: 대용량 데이터 세트를 집계하는 열 기반 시스템은 데이터 웨어하우징에 적합함.

  . 고급 압축: 유사한 데이터가 순차적으로 디스크에 저장되므로 열 형식 데이터 스토어는 행 기반 데이터 스토어보다 훨씬 더 많이 압축될 수 있음.

  . 대규모 병렬 처리(MPP): Amazon Redshift는 데이터 및 쿼리 로드를 모든 노드 전체에 자동으로 분산함.

  . Redshift Spectrum: Redshift Spectrum을 사용하면 Amazon S3에 있는 엑사바이트 규모의 데이터에 대해 쿼리를 수행할 수 있습니다. 로딩이나 ETL은 필요가 없습니다.

 

- Amazon Redshift와 Amazon RDS는 각각 언제 사용합니까?

 . Amazon Redshift 및 Amazon RDS 모두 데이터베이스 관리를 오프로딩하면서 클라우드에서 기존 관계형 데이터베이스를 실행할 수 있도록 지원합니다. 고객은 주로 Redshift를 보고 및 분석에 사용하고, Amazon RDS 데이터베이스는 OLTP(온라인 트랜잭션 처리) 워크로드에 사용함

 

- Amazon Redshift 또는 Redshift Spectrum과 Amazon EMR은 각각 언제 사용합니까?

. Amazon EMR: Apache Spark, 하둡, Presto 또는 Hbase 같은 빅 데이터 처리 프레임워크에서 사용자 지정 코드를 사용하여 매우 방대한 양의 데이터 세트를 처리 및 분석하는 경우, Amazon EMR을 사용해야 함. Amazon EMR을 사용하면 기계 학습, 그래프 분석, 데이터 변환, 스트리밍 데이터 및 코딩할 수 있는 거의 모든 작업 등 애플리케이션의 다양한 확장 데이터 처리 작업을 실행함.

 

. Amazon Redshift: Amazon Redshift와 같은 데이터 웨어하우스는 인벤토리, 금융 및 소매 판매 시스템 등 서로 다른 여러 소스에서 데이터를 가져오도록 설계되었음. 대규모 정형 및 반정형 데이터에 대해 복잡한 쿼리를 수행하고 매우 빠른 성능을 얻어야 하는 경우 사용함.

 

. Redshift Spectrum: Redshift Spectrum 기능은 Amazon Redshift 및 S3에 저장된 데이터에 대해 쿼리를 수행하기에는 매우 적합하지만, 엔터프라이즈에서 Amazon EMR과 같은 처리 프레임워크를 사용하는 일반적인 유형의 사용 사례에는 적합하지 않음.

 

* 참고

https://aws.amazon.com/ko/redshift/

https://aws.amazon.com/ko/redshift/faqs/