近年IT分野で注目の領域の一つであるビッグデータ。
ビッグデータとは一体何なのか、どのように使われているのか、どんな知識が必要なのか。
こちらの記事で自分で試せる環境構築手順含めわかりやすく解説します。
SQLをマスターしてデータ操作のプロになりましょう!
この記事は以下のような方を対象者としています。
本記事の対象者
- SQLの学習を始めたい方
- DBのローカル環境構築方法を探している方
- PostgreSQLを勉強中の方、もしくは勉強を始めたい方
目次
前置き: ビッグデータとは?
ビックデータとはその名の通り膨大なデータの集合体を指します。
例えば検索した情報、ツイート、買い物した情報等私たちはビックデータに囲まれています。
それらの膨大なデータを加工、集計しグラフ等でデータの可視化を行います。
それにより現在企業が抱えている潜在的な課題やニーズを見つけ出すことができます。
SQLを扱えるエンジニアはニーズが高く希少価値も高いため学ぶ価値は高いと思います!
ビッグデータをわかりやすく:データサイエンティストとビッグデータの関係
この膨大なデータを加工したり集計したりするためにはSQLというプログラミング言語を使います。
これらSQLを駆使しデータ分析や分類、データの可視化を行う人々をデータサイエンティストと呼びます。
パフォーマンスの高いクエリ、複雑なクエリ、こういった高度なSQLを組み立てる能力が必要とされます。
ビッグデータをわかりやすく:ビッグデータでよく使われるクエリとは?
膨大な量のデータが格納されたテーブルから効率よく必要なデータを加工し取得する。
これがビッグデータを扱う上で必要となるエンジニアの要件です。
具体的には集計関数(GROUP BY)やテーブルの結合(JOINやUNION)、サブクエリ等が柔軟に使えることが求められます。
また、近年ではRedshift(AWS)やBigQuery(GCP)といった複雑なクエリを高速で実行できるクラウドサービスの導入も主流となっています。
もし今後データサイエンティストを目指されているのであれば、上記サービスにも慣れておいた方が好ましいです。
※RedshiftやBigQueryの説明については別記事にて解説予定です。
SQLは敬遠しがちですが、不滅の分野のためぜひこれを機会に少しずつ練習しましょう!
ビッグデータをわかりやすく:ローカル環境を構築してクエリの練習環境を作ろう
今回はSQLを試せるローカル環境が欲しいという要件です。
そのためDocker等は使わず直接自分のPC上に※PostgreSQLをインストールします。
※PostgreSQLをインストールする理由はRedshiftがPostgreSQL互換のサービスのためです。
ちなみに今回の環境構築手順はこちらを参考にしました。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
|
<!-- ステップ1 : コマンドライン上で下記コマンドを実行しpostgresをインストール -->
brew install postgres
<!-- ステップ2 : コマンドライン上で下記コマンドを実行し、シンボリックリンクを作成 -->
ln -sfv /usr/local/opt/postgresql/*.plist ~/Library/LaunchAgents
<!-- ステップ3 : コマンドライン上で下記コマンドを実行しエイリアスを作成 -->
alias pg_start="launchctl load ~/Library/LaunchAgents/homebrew.mxcl.postgresql.plist"
alias pg_stop="launchctl unload ~/Library/LaunchAgents/homebrew.mxcl.postgresql.plist"
<!-- ステップ4 : コマンドライン上で下記コマンドを実行する -->
<!-- postgreの起動 -->
pg_start
<!-- postgreの停止 -->
pg_stop
<!-- ステップ5 : postgres内で操作するデータベースを作成する -->
createdb `test`
<!-- ステップ6 : postgres内で操作するユーザを作成する -->
createuser -s postgres
<!-- ステップ7 : postgresにアクセスする -->
psql
|
これで自分のPC上にpostgreSQLをインストールし、実際にログインするところまでできました。
別記事にて集計関数を試すためのテーブル作成、データ作成を行います。
さいごに
ここまでお読みいただきありがとうございました。
僕のブログサイト「kzy.tech〜日本脱出のための教科書〜」がどのようなサービスで作られているかが気になる方は以下別記事にてご説明していますので、ご覧いただけますと小躍りして喜びます💃
手間暇かけずにサクッとアフィリエイト用のブログサイトを作りたいという方向け。
ある程度自由にカスタマイズできる、かつコマンド一つで 記事の自動生成ができる静的サイトジェネレータ「HUGO」についてまとめました。
また、海外移住の 英語とプログラミングを習得することを推奨しています。
これは私の経験則から言えることですが、上記二つのスキルがあれば海外移住は絶対に実現できます。
以下に僕が実際に使って効率よくプログラミング学習ができるおすすめサービスを載せます😌
速習!おすすめプログラミング勉強法【Udemy】
いくつかプログラミング学習サービスを利用しましたが、一番効率よく勉強できると感じたのはUdemyでした。
Udemyでは動画での説明や解説等もあり親切で、学習教材も豊富にあることから プログラミング初学者の方が短期間でエンジニアを目指したいのであれば、非常に良い教材だと思います。
ちなみに私は文系卒で社会人になってから独学でudemyを使ってプログラミングの勉強をして、実際にエンジニアとして採用されました
Udemyのコースは1つ1,000円ほどなので、ITの参考本を一冊(3,000円)を買うよりもUdemyのコースを購入する方が安い上により効率的にプログラミングを勉強できると思います。
世界最大級のオンライン学習サイトUdemy
また、別記事にてダナンでの生活やIT関連についても記事を書いていますのでクリックいただけると嬉しくて踊ります💃
人気記事
未経験だけどプログラミングを学んでエンジニアになりたい、社会人だから時間もそれほど多く無いので効率よく勉強したい。
私もその内の一人でした。今回の記事で最短でエンジニアになるためのおすすめUdemy講座4選をご紹介したいと思います。
プログラミングを勉強し始めてIT資格を取ろうか悩んでいる方向け。
プログラミング未経験の方が資格勉強をされることは僕の経験上おすすめしません。
なぜ資格の勉強がプログラミング学習において、エンジニアの就活においてNGかこの記事で解説します。
個人で副業のためにアプリ開発をしてみたいと考えている方向け。
iOS/Androidの個人アプリ開発の場合データのやりとりを行うため、サーバを契約する人が多いです。
しかし、考えなしにサーバを契約するのは非常に大きなデメリットがあるため、私はあまりオススメしません。
ではどの様にしてお金をかけずにアプリ作りができるか、なぜFirebaseを使うべきなのかこの記事で解説していきます。
海外での就活を考えている方向けの記事です。
ブラック企業は日本企業のイメージがありますが、そんなことはありません。
日本の就活とは違う点、また海外の就活で失敗しないために事前に知っておいた方が良い情報を本記事にてまとめていきます。
ベトナム・ダナン生活関連
最近観光地として人気が高まっているダナンですが、近年物価の変動が大きくなっていっているように感じます。
2019年〜2020年でのダナンの物価はどのようなものなのか、ダナン在住者として現地の声をお届けできればと思います
日本ってやっぱり「働く」ことに関しては異常ですよ。
「お客様は神様」精神、残業を美徳とする文化、過労死という言葉を作り出してしまう労働環境。
今回は日本の異常な労働環境をベトナムの労働環境と比較しながら説明したいと思います😱
海外移住を始めて2年ほどが経過しました、日本に住んでいた時と今ベトナムに移住してからとでどのように生活が変わったのかをこちらの記事にまとめていこうと思います。
ベトナム・ダナンへ移住を考えている方向け。
海外移住をする上で家賃相場を事前に知っておくことは生活費がどれくらいかかるのか計算ができるので非常に重要です。
こちらの記事で家賃相場、賃貸契約の流れ、賃貸契約時のトラブルについて解説していきます。
技術メモ・プログラミング関連
AWS ソリューションアーキテクトの勉強をしている方向け。
Udemyでのおすすめ講座、一発合格のための勉強方法から受験の手順まで本記事でまとめました。
認定試験の受験を考えている方には必見です。
こんにちはkzyです。
今回は文字認識ライブラリのPyOCRとTesseractを使って画像からテキストを抽出したいと思います。
環境構築含めpythonでの文字認識のやり方を簡潔に説明できればと思います。
flutterでオブジェクトのサイズ調整の理解が曖昧な方向け。
flutterでアプリ開発を行う際に頻出する項目の一つのため、この記事でなるべくわかりやすく解説します。
こんにちはkzyです。
今回はPyOCRで文字認識したテキストをエクセルに出力する方法を解説します。
具体的にはXlsxWriterというライブラリを使用してPythonスクリプトからエクセル操作を行います。