メインコンテンツまでスキップ

GitHub Copilotを使ったログデータ整形への挑戦

· 約7分
Data Platform Engineer

初めに

QUICKRIDEではユーザーが特定の操作を行った時に位置情報データを取得しています。 やり方もアプリからFirehoseを経由してS3にデータを流し込むだけのシンプルな物で、取ったデータを使っていないこと以外は何ら問題がないと思われていました。

LocationData 大雑把な構成図

問題発覚

そんな中、そろそろ社内でもデータ分析をしようという機運が高まる中、技術検証としてApache Supersetを試すことになりました。 Jsonlinesが入っているだけだし、とりあえずGlue+Athenaの簡易的な構成でクエリを試みよう。甘く考えてやってみると、なぜか古いデータしか返ってこない現象に見舞われます。 「なんで?」と言いつつS3の元データを見に行くと、ある時期を境に記録されているデータが変わっていること発見します。

サイト開設の挨拶

· 約2分
Data Technical Manager

SREチームのデータ分析サイトを作成しました。

データ分析 メインキャラクター(ではありません)

このサイトを作成した目的は

組織にデータ分析の文化を根付かせることです。データ分析は、データを活用して意思決定を行うための重要なスキルであり、組織全体で共有されるべきです。

このサイトでは

データ分析の基本的な概念から、実践的なテクニック、ツールの使い方まで、幅広いトピックをカバーしています。また、最新のデータ分析のトレンドやニュースも取り上げていきます。

私たちは、データ分析の専門家だけでなく

初心者の方々にも役立つ情報を提供することを目指しています。データ分析に関する知識を深め、実践的なスキルを身につけるためのリソースとして、このサイトを活用してください。

最後に

私たちは、データ分析のコミュニティを築き、情報を共有し合うことを大切にしています。もし、あなたがデータ分析に興味を持っているなら、ぜひこのサイトをフォローしてください。また、フィードバックや質問があれば、お気軽にお問い合わせください。