2018-05-01から1ヶ月間の記事一覧

S3に保存された生ログファイルをSQLで分析できるようにする(Amazon Athena)

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは「S3の生ログデータを分析してくれ」と言われた場合、どうしていますか? ログ分析基盤に入っておらず、S3にしか存在しない生ログデータを分析するのは骨が折れる作業です…

RedashのAlert機能を使ってログデータの欠損や異常値をチェックする

初めまして。 データサイエンティスト兼、データ基盤エンジニアのshobyです。 突然ですが皆さんは、データウェアハウスに保存されたログデータの信頼性をどのようにチェックしていますか? 日々追加されるログデータが分析に耐えうる品質の物かをチェックす…