クラウドではじめるデータマネジメント
分析の質とデータ活用効果を高める
「ビジネスインテリジェンスとデータサイエンス」のあるべき姿
分析の質とデータ活用効果を高める「ビジネスインテリジェンスとデータサイエンス」のあるべき姿
本コンテンツは、当社が執筆している日経クロステック記事「実践DX、クラウドで始めるデータマネジメント 第17回「データから有益な知見を導く、「データサイエンス」もデータマネジメント領域の1つ」、18回「ビジネスインテリジェンスがデータ分析の基本、意思決定の質とスピードを上げる」の内容を一部要約しつつ独自コンテンツを加えたものです。日経クロステック記事の全文は上記リンクからご覧ください。
目次
この記事では、ビジネスインテリジェンス(BI)とデータサイエンスについて詳しく解説します。データ分析に関わるビジネスインテリジェンスとデータサイエンスは混同されがちですが、それぞれの目的や役割、関与者、使用手法といった違いをよく理解したうえでプロジェクトを推進することがデータ分析の質を高め、プロジェクトの成否に大きな違いをもたらします。これらの「あるべき姿」について解説します。
ビジネスインテリジェンスとデータサイエンス
「ビジネスインテリジェンス」は、売上レポートなど、過去や現在のデータを分析して正確に理解し、これを基にビジネスの意思決定を行うことを目的としています。一方、「データサイエンス」は、データから新しい知見やインサイトを発見することを目指します。どちらも「データ分析」を行いますが、追求する目標が異なります。
そのため、データサイエンスは専門のデータサイエンティストが行うのに対し、ビジネスインテリジェンスはビジネスの意思決定をするために一般のビジネスパーソンが使用します。目的・目標が異なるため、その業務プロセスや必要なスキルセット、そして分析の対象となるデータも異なります。
ビジネスインテリジェンスとデータサイエンスについて、それぞれ詳しく説明していきます。
ビジネスインテリジェンスとデータサイエンスの特徴比較
データサイエンス | ビジネスインテリジェンス | |
---|---|---|
目的 | インサイトの発見 | 現状把握と意思決定 |
主体 | データサイエンティスト | 一般のビジネスパーソン データアナリスト |
手法 | 機械学習、データマイニング、統計学、プログラミング | レポート、データマイニング、統計学 |
ツール | 機械学習フレームワーク、統計解析ソフトウェア、フレームワークやソフトウェアを搭載したクラウドサービスなど | BIツール/Excel などの解析・データ可視化ツール |
利用データ | 構造化データ、半構造化データ、非構造化データ | 構造化データ、半構造化データ |
意思決定の質を高めるビジネスインテリジェンスのあるべき姿とは?
ビジネスインテリジェンスとは?
ビジネスインテリジェンスの目的は、「現状の理解」と「意思決定の支援」です。ビジネスインテリジェンスは、ビジネスパーソンが「データに基づいた判断」を行うために不可欠であり、「データドリブン経営」を可能にします。
「データの民主化」とは、役職や職種にかかわらず、社内の全員がデータにアクセスし、そのデータを基に意思決定を行うことができる状態を指します。この目的を達成するには学習コストが低く、使いやすいツールが必要です。
ビジネスインテリジェンスでは、主に統計的な手法で構造化された業務データを分析します。この分野は、DMBOK2(Data Management Body of Knowledge)というデータマネジメント業務を体系化したフレームワークで「データウェアハウジングとビジネスインテリジェンス」の一部として位置づけられています。1950年代に始まったこのコンセプトは、長い間発展を続け、特に近年ではクラウド技術の進歩を取り入れ、より革新的な機能を提供する製品が登場しています。
データ分析の4つの段階とビジネスインテリジェンスの役割
ビジネスにおいて施策を決定し実行に移すまでには、データ分析から始まり、人が判断を行い、最終的な意思決定を行い、実行するという4つの段階が存在します。これらの段階を効率よくシステム化することで、データ分析の成熟度を高めることができます。
記述的分析(事実の把握)
この段階では、「何が起こっているか」を事実ベースで把握します。たとえば、売上データを集計し統計解析を行い、現状を理解します。データ量が膨大だったり、利用者がITスキルに自信がない場合、スプレッドシートよりもデータベースやデータウェアハウスにデータを保存し、BIツール(BI=ビジネスインテリジェンス)で分析結果を閲覧する方法が選択されます。この段階では、主にデータに基づいた記述的分析のみが行われ、その結果をもとに人間が判断し、施策を決定して実行します。
診断的分析(原因の把握)
記述的分析の次の段階では、「なぜそのような事態が発生したのか」をデータを用いて分析します。例えば、予想と異なる売上の増減の原因を特定し、今後の売上増加の機会を見い出す、リスクを発見し対策を検討するといったことを行います。この段階でもBI(ビジネスインテリジェンス)が主に用いられ、深いデータ分析を通じて原因を特定します。非構造化データや半構造化データを分析する必要がある場合は、データサイエンスの手法が役立ちます。
予測的分析
データを基に、「将来起こり得る事象の予測」をします。この段階では、データサイエンスの手法、特に機械学習を主に活用します。
処方的分析
予測的分析をさらに進め、データに基づいて「将来取りうる行動の選択肢を提示」します。この段階も機械学習などのデータサイエンス手法を使用します。ここで得られた解決策をもとに、実行する施策を判断する(意思決定の支援)、または、より進んで施策を自動で実行する(意思決定の自動化)こともあります。
これらの分析ステップを理解し、適切に実行することで、ビジネスの意思決定が進みやすくなります。
ビジネスインテリジェンスの成熟度が意思決定の質を高める
重要な点は、データ分析の基本である「記述的分析」と「診断的分析」は、ビジネスインテリジェンス手法を使った作業であるということです。
一般的には、データサイエンスよりも先にビジネスインテリジェンスに取り組むのが通例です。ビジネスインテリジェンスの成熟度を高めることで、人による判断と意思決定の質を向上させる準備が整います。その後、データサイエンスを活用して得られた洞察に基づいて施策を実行し、その結果の測定や評価にも再びビジネスインテリジェンスが用いられるというサイクルが形成されます。
BIプロジェクトの意思決定者と情報責任
「記述的分析」は、データ分析の最初の段階として基本的ですが、決して簡単な作業ではありません。実際、ビジネスインテリジェンスの導入プロジェクトの約70~80%が失敗に終わるという調査結果もあります。失敗の大きな原因の1つは、情報責任の不在にあります。「情報責任」とは、経営学者ピーター・ドラッカーが提唱した概念で、意思決定を行う人がどんな情報をいつ必要なのかを考え、伝える責任を持つべきだという考え方です。
意思決定者がどのような分析結果が意思決定に役立つか、という情報を提供しない場合、それは彼らが意思決定プロセスを変革する準備ができていないことを意味します。このような状態でBIツールを導入しても、そのツールはほとんど活用されないでしょう。
そのため、意思決定を担当する人々は、自身のデータリテラシーを向上させ、データをどのように活用して意思決定の質と速度を高めることができるかについて主体的に考え、関わる人たちに共有する必要があります。このようにして初めて、BIツールの導入と活用が実りあるものとなり、意思決定の質が向上します。
BIツール導入の流れや他のデータマネジメントとの関連性、代表的なBIツール例などは日経クロステック記事で説明していますので、興味のある方はぜひご覧ください。
データの民主化を支えるセルフサービスBI
データの民主化を進めるためには、非エンジニアでも簡単に使えるツールが不可欠です。このために開発されたのが「セルフサービスBI」です。セルフサービスBIは、利用者が画面操作をしたり、自然言語で指示することで分析できるよう設計されています。また、ユーザ自身で画面や分析内容をカスタマイズすることも可能で、分析プロセスが大幅にスピードアップします。直感的な操作性と低い学習コストがセルフサービスBIの大きな魅力です。
セルフサービスBIを効果的に活用するためには、ユーザがスムーズにツールを使いこなせるよう、データマネジメント業務の一環として、社内・組織内に適切なサポート体制が整っていることが重要になります。
セルフサービスBIについては、今後さらに深く掘り下げ、詳細に解説をしたいと思います。
価値あるインサイトを継続的に得られるデータサイエンスの
あるべき姿とは?
データサイエンスとは?
「データサイエンス」は、データから有用な情報や知見を引き出すためのアプローチです。機械学習、自然言語処理、統計学、プログラミングなどの手法を駆使して、例えば消費者の行動パターンなどのインサイトを導き出します。近年、大量で多様なデータを利用できるようになってきたこと、そして、技術の進歩やコンピューター処理能力が向上したことで、データサイエンスの成果をより容易に得ることが可能になり、大きな注目を集めています。
データサイエンスにおいて活躍する専門家を「データサイエンティスト」と呼びます。データサイエンティストはデータ分析やインサイト抽出を主な職務とし、その手法や技術は非常に多岐にわたります。データサイエンティストの業務内容やスキルセットは、機械学習エンジニア、データアナリスト、データエンジニアなどの業務やスキルセットと部分的に重なります。
得意とする問題解決の種類や技術は、データサイエンティスト個人個人によって異なり、全ての問題に対応できる万能なデータサイエンティストはかなり稀です。自社が抱える課題を明確に理解し、その解決に適した手法に長けたデータサイエンティストを採用、育成し、データサイエンスの潜在力を引き出すことが課題の効果的解決につながります。
データサイエンスの標準的プロセス
CRISP-DM(Cross industry standard process for data miningの略)は、データサイエンティストがよく参照するデータマイニングプロジェクトのためのプロセスモデルで、データから価値あるインサイトを導き出すための標準的なプロセスを定義しています。
1. ビジネスの理解
プロジェクト開始時に、ビジネスのニーズを明確に定義することが最も重要です。経営層などの意思決定者がデータサイエンスを利用して達成したいビジネス上の目標を設定し、どのようなインサイトがビジネスに影響を与えるかについて理解し、プロジェクトメンバーに伝える必要があります。
2. データの理解
ビジネスのニーズが明確になったら、次に解決策を見い出すためのデータの有無や所在、その品質について確認します。データカタログなどのツールを使用してデータを効率的に管理し、品質について評価します。
3. データの準備
分析に利用できるようデータを準備します。データのクリーニングや統合、変換といった作業が含まれ、データサイエンスプロジェクトで最も時間を必要とするプロセスです。
4. 分析モデルの作成
分析モデル、特に機械学習モデルを構築します。さまざまなアルゴリズムを試したり、モデルの精度を向上させます。繰り返し試行錯誤する工程です。「データの準備」の工程と分析を行ったり来たりする反復作業を行います。
5. 分析モデルの評価
構築した分析モデルがビジネス目標に対して有意義な結果を提供できているか確認し、評価を行います。データサイエンスは万能ではなく、得られるインサイトの精度には限界があります。求める成果に達しない場合は、再度「ビジネスの理解」に戻って目標を再考します。
6. インサイトの取り込みと業務システムやプロセスへの適用
分析モデルから得られたインサイトをビジネス計画に取り入れ、必要に応じてシステムへの実装や業務プロセスへの適用を行います。
7. 反復的な実行と改善
データサイエンスは仮説探索的分析アプローチであり、新たな知見を得るためには試行錯誤が必要です。戦略やビジネスニーズの再定義や仮説の質の改善がプロジェクトの成果に大きく影響します。戦略立案時の意思決定者とデータサイエンス担当者間の密接なコミュニケーションが成功の鍵を握ります。
データサイエンスの手法やAutoMLでの自動化については、日経クロステック記事で説明しています。ご興味のある方はぜひご覧ください。
データサイエンスとデータエンジニアリングの調和がデータ活用の効果を高める
データサイエンスの取り組みでは、非構造化データの利用が増えていることもあり、データレイクを中心に据えた基盤構成が主流になっています。この基盤は、データ加工プロセス、機械学習サービス、分析サービス、SaaS(Software as a Service)など、様々な技術やサービスで構成されています。特に大企業では、目的に応じて複数のクラウドサービスを組み合わせて使用することが一般的です。
最近では、データサイエンスの専門知識がない人もデータサイエンスプロジェクトに内製で取り組むことが可能になっています。このようにデータの民主化が進む一方、メタデータ設計、データ統合、SaaSとデータレイク間のデータ連携などのデータエンジニアリング作業は依然として手間がかかる状態で、データサイエンスプロジェクト進行のボトルネックとなりがちです。
データサイエンスを効率的かつ迅速に実行するには、データエンジニアリング領域においても技術革新や効率化への取り組みが不可欠です。つまり、データ品質管理、データ連携、データ加工、データプライバシーやセキュリティの確保など、広域なデータマネジメント業務の(半)自動化や省力化が必要になります。データエンジニアリングとデータサイエンスの成熟化がかみ合うことで、より迅速にデータ活用の効果を得ることができます。
次回のテーマは「データメッシュ」です。デジタル化やデータ活用が進むにつれ、複数のデータ基盤を構築し、複雑化しています。データ基盤の分散を常態としたうえでデータの相互運用性を保とうとするアプローチがデータメッシュです。データメッシュのコンセプトを理解して、分散されたデータ基盤間でのデータ活用をする方策を考えます。