Amazon Redshiftとは大規模なデータを格納するためのデータの貯蔵庫であり、別名データウェアハウス(DWH)と呼ばれています。

RedshiftはEC2のように個人開発で使う機会は少なく、使ったことがないとイメージが湧きづらいサービスだと思います。

そのため、Amazon Redshift未経験の方でもわかりやすいように本記事で解説できればと思います。

目次

AWSのデータウェアハウスサービス Amazon Redshiftとは?

Tranquilpeak RedshiftとはAWSから提供されているデータウェアハウス(DWH)サービスです。

データウェアウェアハウス(DWH)とはデータの貯蔵庫と直訳されますが、一言で言うと分析用途で使われるデータの貯蔵庫です。

Tranquilpeak

様々なデータソースからETL処理(分析等目的でデータを抽出・変換・出力する処理のこと)し、Redshiftに分析用に加工されたデータを格納します。

そしてRedshiftに蓄積された膨大なデータを利用し、データの解析やビジネスの戦略等に用いることができます。

また、Redshiftのメリットとしては下記のような項目が挙げられます。

Point

  • コストパフォーマンスが良い
  • 膨大なデータに対して高速なクエリを実行できる
  • 他のAWSサービスとの連携がしやすい
  • ネット上に多くの学習資料がありキャッチアップしやすい

一般的なデータベースとデータウェアハウスの違いとは?

データベースとデータウェアハウスは「データを格納する」という意味で共通していることから違いがよくわからないと聞くことがあります。

確かにデータを格納・保持するのは同じですが、データの保存目的、保存期間が異なります。

下記にそれぞれデータベースの特徴、データウェアハウスの特徴を列挙します。

一般的なデータベースの特徴とは?

まずは一般的なデータベースの特徴を下記の通り列挙いたします。

データベースの特徴

  • データの保存を目的とし、必要に応じてデータの取得・更新・作成・削除を行う
  • 長期的・膨大なデータの保存は向いていない(クエリ処理時間増につながるため)
  • 上記理由から、適宜データの削除・集約が必要となる

データウェアハウスの特徴とは?

続いてデータウェアハウスの特徴を列挙します。

データウェアハウスの特徴

  • データの長期的な保存に向いている
  • RDBMSでありテーブルを組み合わせてでのデータ取得が可能
  • 高コストのストレージを使用しクエリを実行できる
  • 膨大な量のデータ(ビッグデータ)の保存に向いている
  • 貯蔵したデータからBIツール(Tableau等)でデータの可視化を行う
  • 可視化したデータから分析を行い、効果的な意思決定を行う
  • 膨大なデータに対し高速なクエリを実行できるよう最適化されている
  • 想定ユーザはビジネスアナリスト

データレイク(DataLake)とデータウェアハウス(DWH)の違いとは?

Tranquilpeak データウェアハウスと対比されるサービスとしてデータレイクというサービスがあります。

どちらも膨大なデータを格納するという点で共通していますが、詳細な違いを説明する場合説明が難しいと思います。

また、AWSではデータレイク構築のサービスとしてAWS Lake Formationというサービスがあります。
(実際にデータレイクと呼ばれるデータの貯蔵先はAmazon S3にデータを格納します。)

今回の記事ではAWS Lake Formationの説明は省略させていただきます。

それではデータウェアハウスとデータレイクの違いについて明確にしていきましょう。

データレイクの特徴とは?

では早速データレイクの説明をしていきます。

簡単に言うと、データレイクとは加工しない大量の生のデータを保存するデータの貯蔵庫です。
Tranquilpeak

データレイクには下記のような特徴があります。

データレイクの特徴

  • 様々なタイプのデータ(画像や動画、バイナリデータ等)を格納
  • 膨大なデータの貯蔵・格納に向いている
  • 低コストのストレージを使用しクエリを実行できる
  • 貯蔵したデータをそのまま使える場合もある
  • 貯蔵したデータをAWS Glue等で加工し使う場合もある
  • 貯蔵したビッグデータは機械学習等で用いられる
  • 想定ユーザはデータサイエンティスト

データウェアハウスとの大きな違いはデータの利用用途と格納するデータの種類です。

まとめると下記がデータウェアハウス(Redshift)とデータレイク(Lake Formation + S3)の利用シーンです。

Point

  • データをBIツール等で可視化しビジネスを分析するならRedshift
  • 機械学習のための学習データの貯蔵ならデータレイク(Lake Formation + S3)

さいごに

ここまでお読みいただきありがとうございました。

本記事では詳細なRedshiftの仕様の話ではなく、Redshiftの概要、一般的なデータベースとデータレイクとの対比をメインで解説しました。

機会があれば、Redshiftの技術的な話(分散キーやソートキー)もしたいと思います。

僕のブログサイト「kzy.tech〜日本脱出のための教科書〜」どのようなサービスで作られているかが気になる方は以下別記事にてご説明していますので、ご覧いただけますと小躍りして喜びます💃

【コピペOK】HUGOでアフィリエイト用ブログサイトを作ろう

手間暇かけずにサクッとアフィリエイト用のブログサイトを作りたいという方向け。

ある程度自由にカスタマイズできる、かつコマンド一つで 記事の自動生成ができる静的サイトジェネレータ「HUGO」についてまとめました。

また、海外移住のために 英語とプログラミングを習得することを推奨しています。

これは私の経験則から言えることですが、上記二つのスキルがあれば海外移住は絶対に実現できます

以下に僕が実際に使って効率よくプログラミング学習ができるおすすめサービスを載せます😌

速習!おすすめプログラミング勉強法【Udemy】

いくつかプログラミング学習サービスを利用しましたが、一番効率よく勉強できると感じたのはUdemyでした。

Udemyでは動画での説明や解説等もあり親切で、学習教材も豊富にあることから プログラミング初学者の方が短期間でエンジニアを目指したいのであれば、非常に良い教材だと思います。

ちなみに私は文系卒で社会人になってから独学でudemyを使ってプログラミングの勉強をして、実際にエンジニアとして採用されました

Udemyのコースは1つ1,000円ほどなので、ITの参考本を一冊(3,000円)を買うよりもUdemyのコースを購入する方が安い上により効率的にプログラミングを勉強できると思います。
世界最大級のオンライン学習サイトUdemy

また、別記事にてダナンでの生活やIT関連についても記事を書いていますのでクリックいただけると嬉しくて踊ります💃

【Udemy】未経験から始める格安プログラミング講座4選

未経験だけどプログラミングを学んでエンジニアになりたい、社会人だから時間もそれほど多く無いので効率よく勉強したい。 私もその内の一人でした。今回の記事で最短でエンジニアになるためのおすすめUdemy講座4選をご紹介したいと思います。

【IT資格は無意味】未経験エンジニアがIT資格の勉強をおすすめしない4つの理由とは?

プログラミングを勉強し始めてIT資格を取ろうか悩んでいる方向け。 プログラミング未経験の方が資格勉強をされることは僕の経験上おすすめしません。 なぜ資格の勉強がプログラミング学習において、エンジニアの就活においてNGかこの記事で解説します。

【個人開発】副業でアプリを作りたいならサーバーは契約しない方がいい理由

個人で副業のためにアプリ開発をしてみたいと考えている方向け。 iOS/Androidの個人アプリ開発の場合データのやりとりを行うため、サーバを契約する人が多いです。 しかし、考えなしにサーバを契約するのは非常に大きなデメリットがあるため、私はあまりオススメしません。 ではどの様にしてお金をかけずにアプリ作りができるか、なぜFirebaseを使うべきなのかこの記事で解説していきます。

【海外にもある!?】海外就活でブラック企業を回避する方法

海外での就活を考えている方向けの記事です。 ブラック企業は日本企業のイメージがありますが、そんなことはありません。 日本の就活とは違う点、また海外の就活で失敗しないために事前に知っておいた方が良い情報を本記事にてまとめていきます。

【ダナンの物価】ダナン在住者が伝える2020年ベトナム最新状況!

最近観光地として人気が高まっているダナンですが、近年物価の変動が大きくなっていっているように感じます。 2019年〜2020年でのダナンの物価はどのようなものなのか、ダナン在住者として現地の声をお届けできればと思います

【残業大国】日本の異常な労働環境をベトナムで働いてみて実感した件

日本ってやっぱり「働く」ことに関しては異常ですよ。 「お客様は神様」精神、残業を美徳とする文化、過労死という言葉を作り出してしまう労働環境。 今回は日本の異常な労働環境をベトナムの労働環境と比較しながら説明したいと思います😱

【海外移住】ベトナムに移住したら日本の8億倍住みやすかった件

海外移住を始めて2年ほどが経過しました、日本に住んでいた時と今ベトナムに移住してからとでどのように生活が変わったのかをこちらの記事にまとめていこうと思います。

【ダナンの家賃】日本相場の半額以下!?ベトナム家賃相場調査!

ベトナム・ダナンへ移住を考えている方向け。 海外移住をする上で家賃相場を事前に知っておくことは生活費がどれくらいかかるのか計算ができるので非常に重要です。 こちらの記事で家賃相場、賃貸契約の流れ、賃貸契約時のトラブルについて解説していきます。

【おすすめ】Udemy講座でAWS ソリューションアーキテクト アソシエイトを一発合格できた件

AWS ソリューションアーキテクトの勉強をしている方向け。
Udemyでのおすすめ講座、一発合格のための勉強方法から受験の手順まで本記事でまとめました。
認定試験の受験を考えている方には必見です。

【python】文字認識で画像からテキストを出力するやり方をわかりやすく【Tesseract&PyOCR】

こんにちはkzyです。 今回は文字認識ライブラリのPyOCRとTesseractを使って画像からテキストを抽出したいと思います。 環境構築含めpythonでの文字認識のやり方を簡潔に説明できればと思います。

【コピペOK】flutterのSizedBoxとExpandedの違いをわかりやすく

flutterでオブジェクトのサイズ調整の理解が曖昧な方向け。 flutterでアプリ開発を行う際に頻出する項目の一つのため、この記事でなるべくわかりやすく解説します。

【python】文字認識したテキストをエクセルに出力するやり方をわかりやすく【PyOCR + XlsxWriter】

こんにちはkzyです。 今回はPyOCRで文字認識したテキストをエクセルに出力する方法を解説します。 具体的にはXlsxWriterというライブラリを使用してPythonスクリプトからエクセル操作を行います。