1.そもそもビッグデータとは

---

ビッグデータは従来のデータベース管理システムでの記録や保管、解説が困難な巨大なデータ群です。

明確な定義はありませんが、企業向け情報システムメーカーのマーケティング用語として一般的に利用されています。

 

ビッグデータは巨大であるだけでなく、様々な種類や形式が含まれる非構造データ・非定型的データです。

日々生成・記録される時系列性・リアルタイム性のあるデータを指す傾向があります。

 

従来は管理しきれずに見過ごされてきたデータ群を記録・保管し解説することで、ビジネスや社会に有用な知見を得たり、新たな仕組みやシステムを生み出す可能性が期待されています。

ビッグデータの普及の背景には、コンピュータやインターネットの急速な発達がありますが、これまで3つの流れによって発達してきました。

 

 

大量のデータを手軽に複数のマシンに分散して処理可能なオープンソースのプラットフォーム「Hadoop」が第三の流れに拍車をかけたといわれています。

Hadoopによりペタバイト（テラバイトの1000倍の単位）レベルの非構造化データの超高速処理が可能になり、大量の情報を低コストで分析可能になりました。

 

 

 

2.ビッグデータの3つの定義

---

アメリカの大手IT調査会社のガートナー（Gartner）社ではビッグデータを特徴づける要素として3V「データの種類や情報源の多様性（Variety）・データの大きさ（Volume）・入出力や処理の速度（Velocity）」をあげています。

ここではそれぞれの要素について詳しく解説してきます。

 

Variety（種類）

ビッグデータの3つの要素の1つが、Variety（データの種類や情報源の多様性）です。

従来から企業に存在する販売データや在庫データなどに加えて、主にソーシャルメディアやモバイルから生成されたデータもビッグデータでは取り扱います。

 

ビッグデータが内包するデータ範囲が広く、従来よりコンピュータで扱われてきた構造データに加え、TwitterやFacebookなどのソーシャルメディア内のテキストデータや音声データ、メールデータ、動画データ、ログファイル、位置情報、時々刻々と生成されるセンサーデータ、デザインデータ、株価データ・決済データなど、多岐にわたります。

非構造データは以前より存在し、蓄積されていました。

 

しかしこれらをビッグデータとして分析し、役立てようとした点に新規制があります。

 

 

Volume（容量）

Volume（容量）もビッグデータの要素です。ICTの進歩により生成・収集・蓄積・分析可能なデータ量は膨大になりました。

アメリカの調査会社IDCによれば2012年に2.8ゼタ（1兆の10億倍）バイトだった全世界のデータ量は59ゼタバイトまで増加しています。

 

ExcelファイルやCSVファイル、固定長ファイルなどといった構造データやテキストデータやメールデータ、音声データ、動画データ、ログファイル、位置情報、センサーデータ、デザインデータといった非構造データを統合し、組み合わせて分析することで思いもよらぬ示唆を得られることがあります。

 

 

Velocity（速度）

ビッグデータの3Vの最後のVがVelocityです。

近年のビジネス環境の変化スピードの対応には、データ活用においても速度が重要です。速度とはデータの生成の速度と同時に、データをどれだけ素早く処理しなければならないかという要求の速度と更新頻度を示しています。

 

SNSや動画共有サイトに投稿されるデータ、POSデータ、交通系ICカードの乗車履歴カードなど、データが生成された瞬間にリアルタイムで収集・蓄積・分析することに大きな意味があります。

なおここではビッグデータの3Vを紹介してきましたが、「Veracity（真実性）」「Value（価値）」を加えてビッグデータの5Vとすることもあります。

 

真実性とはデータに紛れ込むノイズを排除し、データが正確でクリーンであることを担保することを、価値とは活用することで、経済的・社会的な価値を導き出すことが可能であることを意味します。

 

 

 

 

3.ビッグデータが注目された要因

---

ビッグデータが注目された要因は主に2つ存在します。

1つ目の要因は情報爆発が起きたことです。

 

情報爆発とはクラウド・コンピューティングやSNS、センサーネットワークやスマートフォンの普及により、デジタルデータが爆発的に増加したことを指します。

2つの要因は膨大な量のデータを収集し、格納するフレームワークや複数のマシンに分散して処理可能なプラットフォームが開発されたことです。

 

これによビッグデータの扱いが容易になり、格納・処理コストが下がりました。

 

 

 

4.ビッグデータとAIの関係性

---

ビッグデータとAIを利用することで、ビッグデータにより高い価値を産み出し、AIの精度を高めることが可能です。

従来の技術では膨大なデータの管理や保管は困難でしたが、機械学習やディープラーニングの発展により、従来困難だった膨大なデータの管理や解析が可能になりました。

 

その結果企業が有する大量のデータも効率良く分析・整理し、有用なデータのみを抽出可能になりました。

機械学習やディープラーニングの分野は近年進化を続けています。

 

2012年のディープラーニングの登場以降、画像認識精度が向上し、従来人が手動で行っていた画像や音声などのビッグデータの分析・整理もコンピュータを利用して可能になりました。

ディープラーニングの精度を上げるためには、教材となるビッグデータが欠かせません。

 

 

 

 

5.ビッグデータでAIを活用した事例

---

ビッグデータとAIには密接な関係があります。

ここではビッグデータでAIを活用した事例をいくつかの業界に分けて紹介していきます。

 

観光業界

奈良市観光協会が導入したのが多言語AIトラベルガイド「talkappi」です。

AIによる多言語での問い合わせへの自動応対やマーケティング支援などの機能を備えたチャットボットであり、観光客が普段利用しているスマートフォンからWebブラウザはもちろん、国内外の様々なメッセージアプリで利用できます。

 

ユーザーとの接点を旅前から旅後にわたり維持する効果が期待されています。

 

 

医療業界

医療業界でもAIの活用は進められています。

例えば患者の細胞から癌などの異常を判断する病理学の分野では、アメリカではAIの画像解析処理技術を用いて、細胞から癌の有無を自動的に検知し、検査のプロセるを効率化されています。

 

人の目で判断する場合には、経験に依存する部分が大きく、人によって判断が変わりますが、AIを利用することで、人の曖昧さや疲れによる判断の差を排除可能です。

 

 

教育業界

教育業界でAIを活用した例として、株式会社COMPASSが提供するタブレットタイプのAI学習ツール「Qubena（キュビナ）が挙げられます。

Qubenaは生徒の学習レベルにマッチした問題を提示、間違えた問題のデータを蓄積し、「間違う原因」をAIが解析。生徒は間違う原因を理解したうえで、効率的に学習可能です。

 

導入実験では通常14週間かかる授業の内容を、2週間で学習終了させたとされています。

 

 

小売業界

小売業界では需要予測による発注時間削減などにAIが利用されています。

商品の発注作業は小売店において多くの手間と時間がかかるうえ、経験や勘が必要な難しい業務です。

 

そこでコンビニエンスストア大手のローソンであ2015年から全店舗で過去の販売実績や当日の天候を踏まえて、AIが最適な商品数を算出してくれる「セミオート発注システム」を導入しています。

 

 

自動車業界

自動車業界では自動車の製造から運転まで様々な側面でAIが活用されています。

例えば本田技術研究所では、ディープラーニングを活用し、歩行者保護性能を判定する頭部損害値の算出時間を40時間から10秒程度に短縮する成果が確認されました。

 

また実用段階ではありませんが、埼玉工業大学では運転時にはカメラの画像情報等の解析にディープラーニングを活用し、周囲環境をAIで認識し、障害物を回避することが可能だとされています。

 

 

 

6.まとめ

---

ビッグデータは3つのV「Variety（種類）」「Volume（容量）」「Velocity（速度）」によって定義されるデータを指します。

膨大な量のデータが生成されるようになったこと、データの格納・処理が可能になったことにより近年注目されています。

 

ビッグデータの分析にはAIが利用されることが多く、AIの精度の向上にはビッグデータが利用されます。

今後もデータの扱いに長け、AIの開発にも携われるデータサイエンティストの需要は拡大を続けるでしょう。

 

フリーランスエンジニア専門の求人・案件一括検索サイト「フリーランススタート」に少しでも興味がある方は是非ご登録ください。

 

なお、フリーランススタートはiOSアプリ版やAndroid版をリリースしています。

通勤しているエンジニア・デザイナーでちょっとしたスキマ時間で手軽にフリーランス求人・案件を検索したい、開発言語の単価が知りたい、フリーランスを将来的に検討している方などは是非インストールしてみてください。

 

フリーランススタートのアプリを有効活用して、フリーランスとして第一線で活躍しましょう！

 

フリーランススタート iOSアプリのインストールはこちらから→

 

フリーランススタート Androidアプリのインストールはこちらから→

 

 

本記事が皆様にとって少しでもお役に立てますと幸いです。