lunaplus*

Athena Federated Queryとは… 突然ですが、S3以外のデータソースに対してAthenaからSQLを実行したい場合がありますよね。 前回紹介したAWSサービスの「セキュリティログ」だけでなく、LambdaやFargateといったサービスのログは Clowdwatch Logsに直接出力されていたりします

セキュリティログの活用 セキュリティインシデントの発生時の対応や各種証跡の保全のためにログを取得することは、これまでも一般的に行われてきました。 特にクラウドでは、セキュリティに関する各種のログが簡単に取得できる各種のサービスやツールが公開されており、企業や個人でも活用されている方は

久々のAthena データの集計をする必要が出てきたので、かなり久しぶりにAthenaを使ってみました。 エンジンもVersion 2でPresto 0.217になり、Glueの機能拡張も相まって、以前に利用した際と比べても明らかに使い易くなりました。 ヒストグラムグラフを作る必要があり count()

AWSを利用したデータ分析の話です。 蓄積されたログをはじめとする各種のデータを傾向分析や障害調査などでちょっと集計するような ことはよくあると思います。”ファイルを集めてきて必要な情報を切り取って平均値を求める” だけなのですが、数万のファイルを集めてその後Grepする？(マジで&h

オペレーション上の障害でログ調査が必要になり、Athenaを使い始めました。 Athenaを使うとS3上のログファイルに対してブラウザ上でクエリをちょこちょこと書いて検索するだけなので非常に便利です。ただ、現実には毎日や毎時ごとのパーティションを事前に作成する必要があり、この作業が