AWS S3に設置されたCSVをGCP BigQueryで分析した時にやったこと

今年の夏は長いなと思っていたらこのところ急に涼しくなったりで、冷房をつけるか悩む日々です。寒暖差がありますが、皆様は体調いかがでしょうか? さて今回は、お客様のシステムデータを分析するにあたって実施したAWSとGCPの連携の話です。今回の分析では、お客様側のシステムがAWSで動作しており、S3に定期的にデータをCSV出力されていました。今回これをBigQueryに取り込んで分析する必要があり、取り…

続きを読む
【BigQuery】再帰的な階層テーブルをWITH RECURSIVEを使って結合する方法

GLASSでは様々なお客様の広告、サイト、業務データなどを分析しております。分析にはBigQueryを利用することが多く、例えば、業務データをお客様のシステムからBigQueryに転送してSQLを駆使して様々な角度からデータを整形、分析、可視化しています。 今回、お客様が扱う業務データの中に再帰的な自己参照を行う階層テーブルが含まれていたので、BiqQueryにてこれを分析しやすい形に展開する必要…

続きを読む