
近年、さらに注目が集まっているデータ分析。ただ、クラウド上のデータを分析するには、データの集約や転送コストが課題となりがちです。そこで活用したいのが、AWSのクエリサービス、Amazon Athenaです。Amazon Athenaを使えば、Amazon S3に保存されているデータを簡単に分析できます。本記事ではAmazon Athenaの特長や、同じデータ分析を用途とするAmazon Redshiftとの違い、活用事例などをご紹介します。
目次
Amazon Athenaとは
AWSが提供する「Amazon Athena(アテナ)」は、データ分析のためのクエリサービスです。サーバーレスのサービスであり、Amazon S3(Amazon Simple Storage Service)のデータに対してSQLクエリで操作を行えます。一般的にデータ分析において課題となるサーバー管理を気にせず、可用性の高い環境で迅速にデータ分析を行えるのが特長です。
構造化データ/非構造化データ問わず分析可能
Amazon Athenaは、構造化データ、半構造化データ、非構造化データなど、さまざまなフォーマットのデータをまとめて分析することに向いています。
- 構造化データ:行と列を持つ表形式の構造に整形されたデータ、集計や比較を行いやすい
- 非構造化データ:テキストファイルや動画ファイルなど、形式がない情報や順序付けされていないデータ
Amazon Redshiftとの違い
Amazon Athenaと似たサービスとして、「Amazon Redshift」が挙げられます。両者はともにデータ分析のサービスであり、Amazon S3のデータにアクセスできる点は同じです。
両者の異なる点は、主にリソースの割り当て方と、処理を得意とするデータの種類です。リソースについては、Amazon Athenaが自動で割り当てられることに対し、Amazon Redshiftは手動で割り当てる必要があります。また、Amazon Athenaは構造化データ・非構造化データ問わず分析が行えるのに対し、Amazon Redshiftは大量の構造化データを高速処理することに特化しています。定期的に行うデータ分析であれば、大容量のデータが対象となることから、Amazon Redshiftが適しているでしょう。一方、直近の売り上げの変化など、リアルタイムで分析を行う「アドホック分析」においては、Amazon Athenaが適しているといえます。
なお、Amazon Redshiftについては下記の記事で詳しく解説しています。興味のある方はあわせてご参照ください。
【データ分析入門】Amazon Redshiftとは? 活用事例や料金体系を紹介! | TOKAIコミュニケーションズ AWSソリューション
Amazon Athenaの特長
Amazon Athenaの特長を、もう少し詳しくみていきましょう。
事前の加工は不要でデータをそのまま分析
一般のデータ分析においては、分析の前にデータの加工やETL処理(データの抽出・変換・書き出し)を行う必要があり、手間と時間がかかりがちです。Amazon Athenaなら、Amazon S3に保存したデータに対してETL処理をすることなく、標準SQLを使用して直接クエリを実行でき、結果は数秒で返されます。そのため、事前の加工に時間をかけることなく、スムーズに分析できます。
高速なデータ処理
また、Amazon Athenaは高速な並列処理を行います。Amazon Athenaでは「パーティション」と呼ばれる単位でデータを分割し、パーティションごとにクエリを並列処理することが可能です。加えて、行指向よりも効率的にクエリを実行できる、列指向ストレージ形式もサポート。これによって、高速なデータ分析を実現しています。
Amazon S3で高い可用性を実現
Amazon Athenaで分析を行う際は、データセットをAmazon S3に保存するため、Amazon S3の可用性や耐久性、マルチAZ(アベイラビリティゾーン)による冗長化などの機能を活用できます。Amazon S3では、99.9%の高可用性や99.999999999%の耐久性を公表しており、データを保護するための機能もそろっています。高い可用性を持つデータ分析基盤の構築ができるのも、Amazon Athenaの強みです。
Amazon Athenaの料金体系
続いて、Amazon Athenaの料金体系をご紹介します。Amazon Athenaの料金は、基本的に実行されたSQLのクエリ単位で発生します。
料金体系1:SQLクエリ
通常のSQLクエリを東京リージョンで実行する場合、料金はスキャンデータ1TBあたり5 USDとなります。SQLのCREATE文やDELETE文などのDDLと呼ばれるクエリや、パーティション管理、キャンセルされたクエリには課金されません。対象となるクエリごとに、最小で10MBに対して課金されます。
SQLクエリの料金例
Amazon S3での合計サイズが 3 TBになるテーブルから、データ圧縮なしでデータを取得するとします。この場合には15 USDとなります。
3 TB * 5 USD/TB = 15 USD
GZIPというデータ圧縮フォーマットでファイルを圧縮すると、圧縮ファイルのサイズをもとに料金が計算されます。3TBが3分の1の1TBに圧縮された場合には、クエリの料金は5 USDとなります。
1 TB * 5 USD/TB = 5 USD
料金体系2:プロビジョニングされたキャパシティー
定額制の時間単位の料金体系を希望するなどの場合には、プロビジョニングされたキャパシティーを使用します。これは、クエリの実行に必要なリソースであるデータ処理ユニット (DPU) を購入し、それらを割り当てるという方法です。東京リージョンの場合、1つのDPUで1時間あたり0.43 USDが発生します。
プロビジョニングされたキャパシティーの料金例
必要なDPUが96、1日の稼働時間が12時間とします。この場合1日のコストは495.36 USDと計算されます。
96 DPU × 0.43 US/DPU × 12 時間 = 495.36 USD
Amazon Athenaの活用事例
最後に、Amazon Athenaの活用事例と、その効果をご紹介します。
株式会社ナビタイムジャパン
株式会社ナビタイムジャパン では、ナビゲーションサービス「NAVITIME」をはじめ、各種経路検索サービスを提供しています。同社は従来、オンプレミスでITインフラを運用していましたが、ピークを予測しながらサーバーを調達・運用することが難しくなっていました。当時月間約4,100万人、有料会員数約480万人というユーザー数に加え、季節や天候によってアクセス数が大きく変動するという、ナビゲーションシステムならではの事情があったためです。その後ストレージをAmazon S3、分析処理基盤を他社のクラウドサービスに移行したものの、新たにデータ転送によるコスト増が発生していました。
そこで、位置情報や移動軌跡、経路検索情報などのログの分析基盤をAmazon Athenaに移行。Amazon S3のデータを転送する必要がなくなったことで、インフラコストを全体で75%削減することに成功しました。また、1日に約8時間かかっていたデータ転送の処理が不要になったことにより、以前は2日要していたデータの確認を翌日には実施できるようになり、分析結果をよりスピーディーに反映させられるようになりました。
さらに、Amazon Athenaの導入により、人材確保の面でも効果が現れました。オンプレミスで運用していた頃は、インフラ部門は不人気でした。しかしAWSに興味を抱くエンジニアが増加し、配属希望者も急増したとのことです。
株式会社ドリコム
株式会社ドリコム は、「ONE PIECE トレジャークルーズ」などの、ゲームアプリの企画・開発・運用を手掛ける会社です。ソーシャルゲームはデータに基づいて、高速に改善・新規機能のリリースを行うことが求められます。しかし、同社が当時オンプレミスで運用していたデータ分析基盤は老朽化が進み、属人化・冗長化により運用効率が低下していました。そこで、データ分析基盤をAWSに移行し、Amazon AthenaおよびBIツールであるAmazon QuickSightの導入を決断しました。
その結果、データを集計するスピードの高速化や効率的な解析が実現でき、リリース直後のデータに基づいて次の施策を打てるようになりました。分析基盤のコストに関しては、60%もの費用削減に成功しています。システム運用の人的コストは80%削減を実現し、データアナリスト1人で複数のプロダクトを兼任できるようになりました。
なお、上記の例で登場したAmazon QuickSightについては、下記の記事で活用事例を紹介しています。BIツールの導入に興味のある方は、あわせてご参照ください。
Amazon QuickSight活用事例3選|さまざまな業界で広がるAmazon QuickSightを活用したデータ分析 | TOKAIコミュニケーションズ AWSソリューション
まとめ
Amazon Athenaは、構造化データや非構造化データを問わず、さまざまなデータをまとめて効率的に分析するのに適しているクエリサービスです。Amazon S3をすでに導入していてデータ分析を効率的に行いたい場合や、他社の分析システムでデータ転送コストが課題となっている場合には、Amazon Athenaの導入を検討してみてはいかがでしょうか。
なお、TOKAIコミュニケーションズでは、AWS上でのデータ分析基盤の構築をはじめ、AWSの導入・移行をサポートするさまざまなサービスを提供しています。AWSの導入実績豊富な当社が、お客様にあった最適な導入プランを提案いたします。興味のある方はお気軽にご相談 ください。
関連サービス
おすすめ記事
-
2020.06.23
Amazon Connectで在宅勤務でも対応できる問合せ窓口を立ち上げてみた
-
2020.08.17
Datadogで実現するモニタリングとオペレーションのオートメーション化
-
2020.04.27
Amazon FSx for Windows ファイルサーバーへの移行と活用方法
-
2020.06.11
Amazon WorkSpacesとは?その特長をまとめてみた
-
2020.06.23
AWSのDevOpsサービスと当社マネージドサービスを活用したDevOpsの実装①~概念編~