Brighten up your day !!

コモディティ化するビックデータ分析と今後求められるスモールデータ分析

コモディティ化するビックデータ分析と今後求められるスモールデータ分析

0

ビックデータというのは10年くらい前から言われた言葉で、センサが安価になって多くのデータが得られるようになったり、Web上で多くのデータが得られるようになって言われた言葉です。データの量とマシンパワーで力づくでモデルを構築し、原因を分析したらモデル作成を行う方法です。特に深層学習のように人の判断を介在させず、データからのみで判断させるような解析は素晴らしいと思います。

しかし、今後、より注目されるのがスモールデータ分析だと思います。

ビックデータ解析ではもはやいかにデータを集められるかというのがポイントとなっています。ハードウェアの値段は下がっていますし、クラウドサービスで一時的にマシンパワーを借りることもできます。方法も公開されているものが多いので、既にビックデータ分析はレッドオーシャンという意見もあります。

それに対して、スモールデータは

のことでビックデータのようにブルートフォースな解析ができません。したがって、専門家の知見に基づく考察やデータのより繊細な前処理が必要となります。スモールデータでは、データからすべてを判断することができるほどのデータがありませんので固有技術的な考察を駆使してメカニズムを推定し、知見や仮説につなげることが重要です。

スモールデータの特徴

ビックデータと比べてスモールデータには下記のような特徴があります。

企業のドメスティックな環境で得られるデータというのはほとんどこれに相当すると思います。

スモールデータ分析の心構え

そして、このスモールデータを解析するにあたって重要なのは

ということです。これはビックデータでも重要であることには違いありませんが、データ数が少ないと問題設定に応じたデータを選択的に取得する必要が出てきますのでよりその傾向は強くなると思います。

また、1番目の「目的に対して適切な問題設定を行う」という件についてはAIや機械学習になると途端に問題設定が曖昧になる傾向があると思います。しかし、何が目的なのか、そのためにどういう問題設定が適切なのかというのが人が行うべき業務なわけで解析でもこれが定まらないと成功するのは困難となります。例えば機械学習で株価を当てるということを考えたとき、目的は儲けるということですので、上がるか下がるかを予測するのが大事であって1円単位で予測することではないはずです。問題を適切に設定することで難易度は変わりますし、スモールデータだと今言った目的設定や課題設定がより重要になってきます。

必要なこと

今後スモールデータ分析が重要になる中で何を学べばいいかというと

だと思います。ビックデータだとライブラリに放り込んで比較的いい感じに分析してくれることがあってもスモールデータだと中身を理解していないと導く結論が大きく変わってしまうことがあります。またもう一つが専門的な知見です。固有技術的な考察を駆使してメカニズムを推定することでデータを効率的に活用することが求められますので、データサイエンスのみならず専門的な知見というのが大事になってくると思います。

データサイエンティストという職業がすっかり普及しましたが、今後はデータサイエンスに関する知識というのは専門家に求められる教養や素養という位置づけになり、各分野の専門家の役割というのが復活していくかもしれませんね。

0

⭐️Brighten up your day with NP-Systems⭐️


  • GAEでPythonをデプロイする

    更新日時:2021年4月4日 21時17分

    0 2021年はPython37が良さそう.requirements.txtはpip3 listで表示されたものを書く. 0


  • Angular(Ionic)でHTTPリクエスト

    更新日時:2021年3月24日 18時23分

    0 AngularでバックエンドAPIへアクセスしてデータを取得する際、認証情報やクエリパラメータを付与したい時がある。 Post通信 Get通信 0


  • 3月15日AngularでAdsense

    更新日時:2021年3月15日 06時46分

    0 もう3月を中旬ですね。もう春ですね!Yoasobiに最高にハマっています。 昨日ようやくAngular(Ionic)でAdsenseを表示できるようになりました。 http://ocr-app.np-sys.com/…


  • 製造業において、Pythonに加えてWebも活用して飛躍しよう

    更新日時:2020年12月2日 21時49分

    0 最近、製造業におけるPythonの導入が進んでます。自動化やアプリケーション制作に便利ですし、今後もこの勢いは止まらなそうです。 ところが、私は実務担当として工場でPythonを導入して5年になるのですが、近年はWe…


  • 【まったく新しい最高のブラウザ】Braveブラウザでインターネットの仕組みとありかたを変えよう。

    更新日時:2020年12月2日 21時50分

    +2 これはただのプラグインではありません。Louis Armstrong によって歌われた最も有名な二つの単語、Hello, Dolly に要約された同一世代のすべての人々の希望と情熱を象徴するものです。これはただの記…


  • 現場からの報告。製造業でAI/IoTを活用するために必要だと思うこと

    更新日時:2020年12月2日 21時51分

    +7 製造業に勤めるエンジニアから見た製造業でAI/IoTを活用するために必要だと思うことです。  はじめに 「2025年の崖」と言われているように、製造業にとってデジタルトランスフォーメーションが喫緊の課題となっており…


  • 31.怪盗捕縛

    更新日時:2020年11月5日 18時48分

    0 「だが、明智君。」 警視総監は、説明が終わるのを待ちかまえていたように、明智探偵にたずねました。「きみはまるで、きみ自身が二十面相ででもあるように、美術品盗奪の順序をくわしく説明されたが、それはみんな、きみの想像なの…


  • 30.種明し

    更新日時:2020年11月5日 18時48分

    0 「ですが、わたしどもには、どうもわけがわからないのです。あれだけの美術品を、たった一日のあいだに、にせものとすりかえるなんて、人間わざでできることではありません。まあ、にせもののほうは、まえまえから、美術学生かなんか…


  • GAEでPythonをデプロイする

    更新日時:2021年4月4日 21時17分

    0 2021年はPython37が良さそう.requirements.txtはpip3 listで表示されたものを書く. 0


  • Angular(Ionic)でHTTPリクエスト

    更新日時:2021年3月24日 18時23分

    0 AngularでバックエンドAPIへアクセスしてデータを取得する際、認証情報やクエリパラメータを付与したい時がある。 Post通信 Get通信 0


this is single-default.php