「データ分析」タグの記事が1件件あります

初めに​

QUICKRIDEではユーザーが特定の操作を行った時に位置情報データを取得しています。 やり方もアプリからFirehoseを経由してS3にデータを流し込むだけのシンプルな物で、取ったデータを使っていないこと以外は何ら問題がないと思われていました。

大雑把な構成図

問題発覚​

そんな中、そろそろ社内でもデータ分析をしようという機運が高まる中、技術検証としてApache Supersetを試すことになりました。 Jsonlinesが入っているだけだし、とりあえずGlue+Athenaの簡易的な構成でクエリを試みよう。甘く考えてやってみると、なぜか古いデータしか返ってこない現象に見舞われます。 「なんで？」と言いつつS3の元データを見に行くと、ある時期を境に記録されているデータが変わっていること発見します。