2018-07-01から1ヶ月間の記事一覧

RedShiftにユーザー定義関数を追加し、データ抽出業務を効率化する

こんにちは。データサイエンティスト、兼データ基盤エンジニアのshobyです。 今回は、データ抽出業務を効率化するために、RedShiftにユーザー定義関数を追加する方法をご紹介します。 RedShiftのユーザー定義関数 RedShiftでは、SQLもしくはPythonを使用し、…

RedShiftの制約についての注意点

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 今回は、RedShiftの制約について注意すべき点をご紹介します。 概要 RedShiftの制約は違反できる DataPipelineを使った実質的なPrimary Key制約の実現 RedShiftの制約は違反できる…

RedShiftの列圧縮タイプを見直し、ディスク費用を節約する

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 今回は、RedShiftを長年運用していく中でディスク使用量が肥大化していく問題に対して、列圧縮タイプを見直し、ディスク費用を節約する方法をご紹介します。 概要 RedShiftのデー…

【イベントレポ】「Redash Meetup 3.0.0」に参加してきました!

はじめに こんにちわ、データ部の長野です。 TVISIONでは、非エンジニア向けのデータ抽出環境として少し前からRedashを使用しています。 社内で少しずつRedashが浸透していく中で 色々と便利だけど、他の会社ではどう使っているのだろうか(使えそうな事例が…

S3を用いて本番環境のRedShiftから開発環境のRedShiftにデータを移す

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは、開発環境のRedShiftでテスト用に本番データを使用したい場合にどうやってデータを移していますか? 今回は、S3を用いて本番環境のRedShiftから、開発用のRedShiftにデー…