AIモデルの性能を測る！
AIを知りたい
先生、「性能指標」って色々あるんですね。正解率、適合率、再現率…。それぞれどう違うのか、よく分からなくなってしまいました。
AI専門家
そうだね。どれも似たように聞こえるけど、それぞれ注目している点は違うんだ。例えば、病気の検査で考えてみようか。
AIを知りたい
病気の検査ですか？
AI専門家
そう。実際に病気にかかっている人を正しく「病気」と判定できるのが「再現率」、健康な人を正しく「健康」と判定できるのが「適合率」なんだ。そして、全体の中で正しく判定できた割合が「正解率」ということになるんだよ。
性能指標とは。
「AIで使われる言葉の一つに『性能指標』というものがあります。これは、分類モデルが良いか悪いかを比べるための基準となるもので、例えば次のようなものがあります。
1. 正解率：全てのデータに対して、判定結果が当たっていたかどうかを計算します。
2. 適合率：あるものが陽性であると予測したデータのうち、実際に陽性であったものの割合を表します。
3. 再現率：実際に陽性であるデータのうち、陽性であると予測できたものの割合を表します。
このように、AI（機械学習）モデルの性能を数値で表して評価する指標はたくさんあります。
その中でも、分類の際に良く使われる指標を一覧にしたものを「混同行列」と言います。これは、AI（機械学習）モデルの性能を分かりやすくするために使われる表のようなもので、4つの領域に分類されます。この混同行列を見ることで、AI（機械学習）モデルの性能評価を行うことができます。
性能指標とは
– 性能指標とは
人工知能、特に機械学習の分野では、開発したモデルの性能を評価することが非常に重要となります。この評価に用いられるのが性能指標と呼ばれるものです。性能指標は、モデルがどれだけ正確に予測や分類を行えるかを客観的に示す指標であり、開発したモデルの優劣を判断する基準となります。
性能指標には、正解率や適合率、再現率、F値など、様々な種類が存在します。それぞれ異なる側面からモデルの能力を測るため、目的や状況に応じて適切な指標を選択することが重要です。例えば、正解率は全体の中でどれだけ正しく予測できたかを示すのに対し、適合率は positive と予測したデータの中で実際に positive であったデータの割合を、再現率は実際に positive であるデータの内、どれだけ positive と予測できたかを表します。
適切な性能指標を選択し、その結果に基づいてモデルを分析することで、モデルの長所や短所を把握することができます。例えば、再現率が低い場合は、本来 positive と分類すべきデータを見落としている可能性があり、改善のヒントになります。このように、性能指標は機械学習モデルの開発において、その精度向上や実用化を図るために必要不可欠な要素と言えるでしょう。
代表的な性能指標：正解率
– 代表的な性能指標正解率
正解率は、モデルの性能を測る上で、最も分かりやすく、基本的な指標の一つです。これは、全体データの中で、モデルがどれだけの割合で正しく予測できたかを示しています。例えば、100個のデータに対して90個を正しく予測できた場合、正解率は90%となります。
計算式としては、以下のようになります。
正解率 = 正しく予測できたデータ数 / 全データ数 × 100
この指標は、直感的に理解しやすく、広く用いられています。しかし、データの偏りには注意が必要です。例えば、病気の診断のように、陽性データが全体の1%しか存在しないケースを考えてみましょう。この場合、全てを陰性と予測しても正解率は99%となり、一見高い性能を持っているように見えます。しかし、実際には、陽性の患者を見逃してしまう可能性があり、医療現場では致命的なミスにつながりかねません。
このように、正解率は分かりやすい指標である一方で、データの特性や分析の目的に応じて、他の指標と組み合わせて総合的に判断する必要があります。特に、偏りのあるデータにおいては、正解率だけでモデルの性能を評価するのは危険であり、他の指標も合わせて検討することが重要です。
陽性データ予測の指標：適合率と再現率
「適合率」と「再現率」は、あるデータが陽性であると予測する際に、その予測の正確さを測るための重要な指標です。どちらも陽性であると予測したデータに焦点を当てていますが、それぞれ異なる側面から評価を行います。
適合率は、陽性であると予測したデータのうち、実際に陽性であったデータの割合を示します。例えば、100個のデータのうち、30個を陽性と予測し、そのうち実際に陽性であったデータが20個だった場合、適合率は20/30で約67%となります。つまり、適合率が高いほど、陽性と予測したデータの中に、本当に陽性であるデータが多く含まれていることを意味し、誤って陽性と判断するリスクを減らすことができます。
一方、再現率は、実際に陽性であるデータのうち、どれだけを陽性と予測できたかを表します。先ほどの例で言えば、実際に陽性であったデータが50個だった場合、再現率は20/50で40%となります。再現率が高いほど、実際に陽性であるデータをより多く見つけることができている、つまり、見逃しが少ないことを意味します。
このように、適合率と再現率は、陽性データの予測において、異なる側面から性能を評価するための指標です。どちらの指標を重視するかは、状況によって異なります。例えば、病気の診断のように、誤って陽性と判定することによるリスクが大きい場合は、適合率を重視する必要があります。一方、癌の早期発見のように、たとえ本当に陽性でなくても、疑わしい場合は検査を行う方が望ましい場合は、再現率を重視する必要があります。
混同行列：性能評価の強力なツール
機械学習モデルの性能を評価する上で、混同行列は非常に強力なツールです。この行列は、モデルが実際のデータに対してどれだけ正確に予測できているかを可視化し、詳細な分析を可能にします。
混同行列は、実際のデータとモデルの予測結果を比較し、縦軸に実際のデータ、横軸に予測結果を配置した表です。そして、この表は４つの領域に分割され、それぞれ「真陽性」「偽陽性」「真陰性」「偽陰性」といった名前で呼ばれます。それぞれの領域は、モデルの予測が実際のデータと一致したかどうかを表しています。
例えば、「真陽性」は、実際に該当するデータに対して、モデルが正しく該当すると予測できた場合の数を示します。一方、「偽陽性」は、実際には該当しないデータに対して、モデルが誤って該当すると予測してしまった場合の数を示します。
このように、混同行列を見ることで、モデルがどの種類のデータで正しく予測できているのか、どの種類のデータで誤りが多いのかが一目でわかります。そして、この情報に基づいて、モデルの改善点を探り、より精度の高いモデルを開発することが可能となります。例えば、特定の種類のデータで誤りが多いことがわかれば、そのデータに特化した学習を行うなど、具体的な対策を立てることができます。