機械学習 次元の呪い:大量データの落とし穴
- 次元とは何か「次元」と聞いて、SF映画のように空間や時間を飛び越えるイメージを持つかもしれません。しかし、データ分析の世界における次元はもう少し身近なものです。例えば、スーパーに売られているりんごを思い浮かべてみてください。私たちはこのりんごを様々な角度から観察することができます。\nりんごの「重さ」を測れば、それはりんごの一つの特徴となります。\n「色」を観察すれば、それはまた別のりんごの特徴を示しています。\nさらに、「大きさ」を見ることもできるでしょう。このように、私たちがりんごを理解するために用いる「重さ」「色」「大きさ」といった指標の一つ一つが、データ分析における「次元」なのです。りんごの例で考えると、次元は3つだけではありません。\n「甘さ」や「産地」、「収穫時期」といった情報も、りんごの特徴を示す重要な要素と言えるでしょう。このように、データ分析では、分析の目的や視点に応じて、様々な次元を扱うことができます。つまり、データ分析において次元とは、分析対象の特徴を表す指標と考えることができます。そして、次元が多いほど、分析対象をより多角的に捉えることができるようになります。逆に、次元が少ない場合は、分析対象を単純化して捉えることになります。
