会社の規模が大きくなればなるほど、社内のドキュメント管理が大変になっていくもの。部署ごとに利用しているシステムが違うと、欲しい情報を探すのにも一苦労です。そんなときに役立つのが、社内のドキュメント管理を効率化してくれる検索サービスです。AWSは、AWSの上のデータを検索するサービスとして、「Amazon OpenSearch Service」を提供しています。Amazon OpenSearch Serviceを活用すれば、ナレッジの管理がしやすくなり、業務改善にもつながるでしょう。そこで今回は、AWS上での検索サービスの構築に役立つAmazon OpenSearch Serviceを実際の活用事例を交えてご紹介します。
目次
Amazon OpenSearch Serviceとは
Amazon OpenSearch Serviceは、AWS上に保存されたデータのナレッジ検索に特化したサービスです。サービスの概要は以下の通りです。
Amazon OpenSearch Serviceは、AWS上にアップロードした文書などのドキュメントデータを検索できるサービスです。もともとは「Amazon Elasticsearch Service」という名称でしたが、2021年9月に名称を変更し、後継のサービスとして「Amazon OpenSearch Service」をリリースしました。新しくOpenSearch Projectによって開発された「OpenSearch」は、オープンソースの高速全文検索エンジンで、「Amazon OpenSearch Service」はOpenSearchをAWS上で管理するためのサービスです。単なるテキストの検索だけではなく、半構造化、非構造化データの検索にも対応しているのが特長です。
そもそも構造化データとは、「行」と「列」を持つデータのことで、ExcelやCSVなどのデータが該当します。構造化データは、行と列によってデータが整理されているため、集計や分析がしやすいという特長があります。一方、非構造化データは、整理されておらず、生成されたままの状態で保存されているデータのことを指し、音声や画像、動画などが該当します。こうしたデータは整理されていないため、そのまま分析に使うことはできないものの、用途に応じて柔軟な活用ができる点が強みです。
また、非構造化データに含まれるものの、構造がある程度決まっているものは、「半構造化データ」と呼ばれます。メタデータを有するXMLファイルやJSONファイルなどが半構造化データに該当します。Amazon OpenSearch Serviceは、集計がしやすい構造化データだけではなく、扱いの難しい非構造化データや半構造化データにも対応しているのです。
Amazon OpenSearch Serverlessについて
Amazon OpenSearch Serviceには、「Amazon OpenSearch Serverless」というサーバーレスのオプションも用意されています。こちらはサーバーレスのため管理が不要で、スケーリングも自動で行ってくれます。数秒で開始できる気軽さに加え、自動のスケーリングによって必要な分だけリソースの追加を行ってくれるため、コストの最適化にもつながります。
Amazon OpenSearch Serviceの料金体系
Amazon OpenSearch Serviceの料金は、基本的に「インスタンス時間」「必要なストレージの量」「Amazon OpenSearch Serviceとの間の転送料金」という3つの軸で決まります。そしてストレージの料金は、ストレージの階層とインスタンスタイプによって変化します。なお、無料利用枠も用意されており、t2.small.searchまたはt3.small.searchインスタンスを月 750 時間まで無料で利用できます。また、オプションでAmazon EBSストレージを月10GBまで無料で利用可能です。
料金例として、東京リージョンで以下の条件で利用することを想定した料金をご紹介します。
条件 | 補足 | |
---|---|---|
インスタンス使用数 | 3 | サービスのテスト環境を想定 |
インスタンスタイプ | t3.small.search | 東京リージョンの場合、0.056 USD/時間 |
月の利用時間 | 2190時間(730時間×3台) | うち750時間は無料利用枠 |
ストレージ | 45GB(15GB×3台) | うち10GBは無料利用枠 |
優先ストレージオプション | Amazon EBS 汎用 SSD (gp2) ボリューム | 1GBあたり0.162 USD |
この場合の料金は、
(730時間×3台) - 750時間(無料枠)= 1440時間
1440 × 0.056 = 80.64 USD
(15GB×3台) - 10GB(無料枠) = 35GB
35 × 0.162 = 5.67 USD
80.64 USD + 5.67 USD = 86.31 USD
となり、1ヶ月にかかるコストは、86.31ドルとなります。
なお、これは2024年10月時点での料金であり、料金は変動する可能性があります。細かな料金体系などについて、詳しくは公式の料金ページをご確認ください。
Open-Source Search Engine - Amazon OpenSearch Service の特徴 - Amazon Web ServicesAmazon OpenSearch Serviceを利用するメリット
続いて、Amazon OpenSearch Serviceを利用するメリットを3つ紹介します。
低コストで利用できる
1点目は、コスト面での利点です。Amazon OpenSearch Serviceには、要件に応じたさまざまなインスタンスタイプ、ストレージオプションが用意されているうえ、リザーブドインスタンスにも対応しており、コストの最適化を実現できます。
「Ultrawarm」を使えば、既存のホットストレージオプションよりも、ギガバイトあたりのコストを90%近くも削減することができます。Ultrawarmは、大容量の読み取り専用のデータを効率的に保存できる特別なストレージで、ログなどのデータの保存に適しています。コールドストレージ(アクセス頻度の低いデータ向けのストレージ、すぐに取り出せないものの料金が安い)を活用すれば、実質的に無制限のデータへの高速アクセスを低コストで実現することも可能です。
さらに、追加料金なしでセキュリティーやモニタリング、Amazon OpenSearch Serviceをはじめとする機械学習などの全サービスを利用できる点も、大きなメリットといえるでしょう。
フルマネージドで管理にコストがかからない
Amazon OpenSearch Serviceはフルマネージドサービスであるため、管理のコストがほとんどかかりません。Auto-Tuneを使えば、パフォーマンスと使用状況に応じて、キューやキャッシュのサイズなどの設定も自動で調整してくれます。さらに、事前にポリシーを設定しておけば、インデックスの状態(hot/warrm/cold)を自動で切り替えてくれる運用も可能です。ほとんどの調整を自動で行ってくれるため、管理の手間がかからず効率的に運用できます。
強固なセキュリティー
強固なセキュリティーも、Amazon OpenSearch Serviceの強みの一つです。AWS IAM(Identity and Access Management)でのアクセス制御に加え、Securityプラグインが提供する詳細なアクセス制御を利用できるため、これらを組み合わせることで、きめ細かなアクセスコントロールを実現できます。また、保管中のデータの暗号化機能も内蔵されており、転送時もデータが暗号化されているため安心です。さらに、アクセスログにはユーザー名、アクセス先のインデックス名、アクセス元 IP アドレスなどが残るようになっており、トラブルが発生した際の追跡もしやすくなっています。
Amazon OpenSearch Serviceのユースケース
ここまで、Amazon OpenSearch Serviceの概要や強みについて紹介してきました。では、Amazon OpenSearch Serviceは、どのような場面で活用するのが望ましいのでしょうか。ここからは、3つのユースケースをご紹介します。
全文検索
最も一般的な活用方法としては、全文検索機能が挙げられます。会社のドキュメントをAmazon OpenSearch Serviceに登録し、全文検索で欲しい情報が得られるデータベースを構築すれば、全文検索で欲しいデータを検索できる機能が実装できます。Amazon OpenSearch Serviceは、非構造化データや半構造化データなどさまざまなデータに対応しているため、社内に蓄積されたあらゆるデータの中から、検索内容に関連したドキュメントを検索することができます。
ログ分析
2つ目の活用方法は、ログ分析です。ログ分析を行う際、トラブルの原因が複数のサービスをまたがっていると、それぞれのサービスのログを確認する必要があります。そのため、調査が大変になりがちです。Amazon OpenSearch Serviceを使えば、この問題を解決することができます。活用イメージは以下の通りです。
- 1.
各サービスのログがAmazon CloudWatch Logsに保存される
- 2.
Amazon CloudWatch Logsに保存されたログをETL(データの抽出・変換・書き出し)処理した上でAmazon OpenSearch Serviceに送る
- 3.
集約されたログをAmazon OpenSearch Serviceで確認し、調査を行う
このように、Amazon OpenSearch Serviceを使うことで、横断的にログ分析を行えるようになります。これによって複数のサービスにまたがったトラブルの特定がしやすくなり、原因の特定と問題解決までの時間も短縮されるでしょう。
RAGの実装
また、AWS上で生成AIアプリケーションを作成できるサービス「Amazon Bedrock」などと連携すれば、RAG(Retrieval-Augmented Generation:検索拡張生成)の実装も可能です。RAGとは、外部のデータベースと連携し、その検索結果を回答に活用することでハルシネーション(AIがもっともらしい虚偽の情報を出力してしまうこと)を防ぐ仕組みのことを指します。Amazon OpenSearch Serviceにクエリを投げ、ユーザーの質問内容に応じた検索結果を取得したら、その情報をプロンプトに含めてAmazon Bedrockを呼び出し、回答してもらう、というイメージです。
なお、Amazon Bedrockについては以下の記事で詳しく解説しています。AWSの生成AIサービスに興味のある方はあわせてご参照ください。
AWSの生成AIサービス「Amazon Bedrock」とは? 何ができる? メリットや料金体系を解説! | TOKAIコミュニケーションズ AWSソリューションAmazon OpenSearch Serviceの導入事例
最後に、Amazon OpenSearch Serviceの導入事例を2つご紹介します。
Atlassian(アトラシアン)
会社の概要
Atlassian(アトラシアン)は、オーストラリアのソフトウェア開発企業です。課題管理ツールの「Jira」や、ナレッジ管理・共有ツールの「Confluence」などを開発しています。
抱えていた課題
Atlassian社は、人気の製品に組み込まれている顧客検索プラットフォームについて、以前はElasticSearchの一部をオンプレミスで運用していました。しかし、5億件を超えるドキュメントに対して、顧客は1日あたり3,500万件ものユーザー検索を送信しており、スケーラビリティやレイテンシーの問題を抱えていました。これらの問題を解決するため、同社はAWS上へ移行し、Amazon OpenSearch Serviceを使ったサービスを構築することを決意しました。
導入による効果
Amazon OpenSearch Serviceに移行した結果、2つのクラスターでトラフィックの負荷を分散し、稼働率は99.99%を実現。大きなダウンタイムの発生がなくなりました。さらに、従来250ミリ秒程度かかっていたレイテンシーを、70から80ミリ秒まで削減に成功。約40%もの低レイテンシーを実現しました。
Autodesk(オートデスク)
会社の概要
Autodesk(オートデスク)は、アメリカのソフトウェア開発企業で、主に「AutoCAD」などの図面作成用のソフトウェアなどを開発しています。
抱えていた課題
Autodeskのソリューションは毎日2TBものデータを取り込んでおり、数年以内にはその容量は10TBまで増加すると見られていました。この膨大なデータ量に対応し、問題が発生した際に迅速に対応できるようにするため、AWSを活用した統合ログデータソリューションの構築を決意します。
導入による効果
Amazon OpenSearch Serviceを導入し、アプリケーションのパフォーマンスやダウンタイムなどのログデータを1カ所に集約したことにより、問題解決の効率は大幅に改善。Amazon OpenSearch Serviceにログが集約され、問題が発生した際にログイベント間の相関関係をリアルタイムに分析できるようになり、エラーの検出から復旧までにかかる時間の短縮に成功しました。
まとめ
社内で複数のシステムを使ってドキュメントなどのデータを管理している場合、目当てのデータを探すのに時間がかかってしまいます。Amazon OpenSearch Serviceは、こうした社内のナレッジ管理の問題を解決するのに役立つサービスです。全文検索システムの構築だけではなく、使い方次第でログの分析やRAGの実装などにも活用できます。低コストで運用できる上、セキュリティーも強固で安心して利用できる点もAmazon OpenSearch Serviceの魅力です。無料利用枠も用意されているため、この機会に試してみてはいかがでしょうか。
Amazon OpenSearch Serviceの導入やAWSへの移行を検討されている方は、当社までお気軽にご相談 ください。AWSの導入実績が豊富な当社が、お客様のニーズに合った最適なプランを提案いたします。
関連サービス
おすすめ記事
-
2020.06.23
Amazon Connectで在宅勤務でも対応できる問合せ窓口を立ち上げてみた
-
2020.08.17
Datadogで実現するモニタリングとオペレーションのオートメーション化
-
2020.04.27
Amazon FSx for Windows ファイルサーバーへの移行と活用方法
-
2020.06.11
Amazon WorkSpacesとは?その特長をまとめてみた
-
2020.06.23
AWSのDevOpsサービスと当社マネージドサービスを活用したDevOpsの実装①~概念編~