"いろんな人と話していると「ビッグデータをやるためには統計学がわかっている人が必要」という話を聞きますが、実際には統計学がわかっていればビッグデータは要らないはずです。統計学ではサンプリングで、有意なデー..."

いろんな人と話していると「ビッグデータをやるためには統計学がわかっている人が必要」という話を聞きますが、実際には統計学がわかっていればビッグデータは要らないはずです。統計学ではサンプリングで、有意なデータを得られるのですから。

私の認識では、限られたデータの中から危険率が5％以下のデータを棄却するか否かという判断を行うのが統計学であって、5％以下のノイズの中から違うパターンを拾うということがビッグデータの意義のはずです。

だから、ビッグデータ系のアナリストをやっている人間は、統計ではなく多くが応用物理出身の人が多いです。彼らはノイズの中から周期性や、特異点を発見するのが上手いので、統計学的な、いかに不要なデータを棄却するかとは逆のベクトルです。ビッグデータの面白さってそういったところにあると思います。