[スポンサーリンク]

一般的な話題

果たして作ったモデルはどのくらいよいのだろうか【化学徒の機械学習】

[スポンサーリンク]

hodaです。「ゼロから学ぶ機械学習」からだいぶ時間がたってしまいましたが、今回の記事では前回取り上げることのできなかったモデルの精度評価について取り上げたいと思います。今回は機械学習のうちの教師あり学習の話です。(教師あり学習???という方は前回の記事をご覧ください。)

『モデル』とは?

なんとなく『モデル』という言葉を使ってきましたが、ここでモデルとは何を指すのか確認したいと思います。

モデルと各変数との関係1

関数y = f(x)のように入力データxを関数に入れて出力yを得る、この関数y = f(x)に当たるものがモデルになります2。xに入る数字は数字1つというよりは行列みたいなイメージです。yが離散的である場合は出力変数を『ラベル』と呼ぶこともあります3

性能指標

性能指標はモデルを評価する際に使います。分類と回帰のときで使われる指標は異なります。

分類のとき

分類では複数のクラスへ正しく分類することを目的としています。出力yが離散であるときに用います。
犬と猫の分類や、特定の機能を持つか持たないか(activeとinactive)など、2つのクラスに分けることが多いでしょう。まずは2つのクラスに分類するモデルの評価基準について記したいと思います。

予測はポジティブで、実際もポジティブに分類されることを真陽性(True Positive)、
予測はポジティブで、実際はネガティブ分類されることを偽陽性(False Positive)、
予測はネガティブで、実際はポジティブに分類されることを偽陰性(False Negative)、
予測はネガティブで、実際もネガティブに分類されることを真陰性(True Negative)

の4つに分けることができます4

これは混同行列(Confusion matrix)と呼ばれます。

混同行列はモデルの性能評価に優れていますが、他のモデルと比較となると単純には比較しづらいです。そこで性能を具体的な数値として出力してくれる4つの指標を今回紹介します。

正解率 (Accuracy)…これが高いほど、クラスを正しく分類できていることを表します4

分類の性能指標はクラスが正しく分類されているかを表す正解率(Accuracy)を用いることもありますが、正解率だけ確認してモデルの精度を判断することはおすすめしません。

例えば犬と猫の写真100枚を見分けようとしようとして、100枚中92枚が犬の写真だった場合の正解率(Accuracy)を考えましょう。この場合100枚すべてを犬と予測したモデルでも正解率は92 %になります。高い正解率から良いモデルのように感じるかもしれませんが、一般的に同じ出力しかしないモデルは良いモデルとは言いがたいです。上記の例のように用意したデータセットのクラスに元々偏りがあることは少なくないため、モデルの性能評価は正解率以外からも判断する必要があります。

適合率 (Precision)…予測結果のうちの正解した割合を表します5

再現率 (Recall)…正解した予測結果が実際の正解のうちの割合を表します5

F値 (F1, F-measure)…複数の呼び方があります。適合率と再現率にはトレードオフの関係があるので、適合率と再現率のバランスの良さを見る指標です。これが高いと適合率と再現率に大きな偏りがなく高いことを表します。

 

ここでは詳しく紹介しませんが、他にもROC曲線やAUCなどの評価指標があります。

回帰のとき

回帰では、実測値と同じ数値に近くなるような出力yを目指します。出力yが連続であるときに用います。

平均二乗誤差 (Root Mean Square Error, RMSE)…誤差なので、小さいほどよいです。

平均絶対誤差(Mean Absolute Error, MAE)…RMSEと同様に誤差なので、小さいほど良いです。

決定係数(R2) …Excelでも近似曲線を設定すれば出てくる指標です。データが対象となる曲線からどの程度離れているかを表します。1に近いほど良い性能を、0に近いほどその性能は良くないことを示します。

回帰の性能指標評価では主にRMSE(平均二乗誤差)が使われ、外れ値が多い場合などはMAE(平均絶対誤差)が良いとされています6。これはRMSEの場合、1点だけでも大きな外れ値が存在すると誤差を二乗しているために全体の評価が著しく下がってしまうためです7

多クラス分類の場合

さきほどの分類の性能指標では2クラスに分類するときの話でした。少し考えると、分類するときはいつも2クラスなわけではないはずです。
2クラス以上に分類する多クラス分類(Multiclass Classification)ではどのような評価指標を用いれば良いのでしょうか。

多クラス分類の場合はクラス全体の平均の取り方がマイクロ平均マクロ平均の2種類あります8, 9

マイクロ平均Micro-average)…すべてのクラスの結果を重みづけなくフラットに評価します。クラスを超えて全体のパフォーマンスを知ることができます8

マクロ平均Macro-average)…特定のクラスのデータが少ないなどクラスごとにデータの偏りがある場合にデータの偏りによる影響を考慮したいときに用いると良いでしょう8

混同行列です。それぞれのクラスの真陽性、偽陽性をTP1、FP1というように表しています。TP1は実際も予測もクラス1に分類されているもの、FP1は予測ではクラス1だが実際はクラス1ではないものを表しています。

適合率のマイクロ平均から行きたいと思います。
混同行列から適合率のマイクロ平均は式で表すと以下のようになります。

次は適合率のマクロ平均を考えたいと思います。
各クラスに対して適合率を考えるため3つの混同行列を作り、それぞれの適合率を考えます。
例えば、クラス1に注目して、クラス1かクラス1ではないかというよう分類します。

他のクラスに足しても同様に計算します。

それぞれの適合率から適合率のマクロ平均の式は以下のようになります。

さらに拡張することにより、より多くのクラスを含む多クラス分類においても評価を行うことができます10

終わりに

今回取り上げたモデルの性能指標は化学系・材料系における機械学習だけでなく、機械学習全般に当てはまる話でした。モデルの性能評価にどのような指標が使われているのか注目してみると面白いかもしれません。

参考文献

全体の参考も含む

  1. 金子弘昌 著, Pythonで気軽に化学・化学工学, p. 147, 丸善出版, 2021
  2. 大曽根圭輔, 関喜史, 米田武 著, 現場で使える!Python機械学習入門, pp. 138-142, 翔泳社, 2019
  3. 大曽根圭輔, 関喜史, 米田武 著, 現場で使える!Python機械学習入門, p. 130, 翔泳社, 2019
  4. 金子弘昌 著, 化学のためのPythonによるデータ解析・機械学習入門, pp. 81-82, オーム社, 2019
  5. 島田達郎, 越水直人, 早川敦士, 山田育矢 著, Pythonによるはじめての機械学習プログラミング, p. 159, 技術評論社, 2019
  6. 下田倫大 監訳, scikit-learnとTensorFlowによる実践機械学習, pp. 37–39, オライリージャパン, 2018
  7. 堅田洋資, 菊田遥平, 谷田和章, 森本哲也 著, フリーライブラリで学ぶ機械学習入門, pp.37-38, 秀和システム, 2017
  8. 有賀康顕, 中山心太, 西林孝 著, 仕事で始める機械学習, pp. 65–75, オライリージャパン, 2018
  9. 中田秀基 訳, Pythonではじめる機械学習, pp. 292-295, オライリージャパン, 2017
  10. 福島真太朗 監訳, [第3版]Python機械学習プログラミング達人データサイエンティストによる理論と実践, p. 191, インプレス, 2020

式など全体の参考

11. 金子弘昌 著, 化学のためのPythonによるデータ解析・機械学習入門, pp. 55-57, オーム社, 2019

12. 下田倫大 監訳, scikit-learnとTensorFlowによる実践機械学習, pp. 86-89, オライリージャパン, 2018

関連リンク

ゼロから学ぶ機械学習【化学徒の機械学習】

化学のためのPythonによるデータ解析・機械学習入門(書籍レビュー)

関連書籍

hoda

投稿者の記事一覧

学部生です。機械学習を勉強しています。

関連記事

  1. Goodenough教授の素晴らしすぎる研究人生
  2. 面接官の心に刺さる志望動機、刺さらない志望動機
  3. 特長のある豊富な設備:ライトケミカル工業
  4. 【ジーシー】新たな治療価値を創造するテクノロジー -BioUni…
  5. 2007年度ノーベル化学賞を予想!(2)
  6. ウコンの成分「クルクミン」自体に効果はない?
  7. Reaxys Prize 2011発表!
  8. ナノスケールの虹が世界を変える

コメント、感想はこちらへ

注目情報

ピックアップ記事

  1. ルイス塩基触媒によるボロン酸の活性化:可視光レドックス触媒系への適用
  2. ケムステイブニングミキサー2016へ参加しよう!
  3. 有機化学美術館へようこそ ~分子の世界の造形とドラマ
  4. ヒドロアシル化界のドンによる巧妙なジアステレオ選択性制御
  5. 2013年就活体験記(2)
  6. 蛍光異方性 Fluorescence Anisotropy
  7. ポリメラーゼ連鎖反応 polymerase chain reaction(PCR)
  8. 振動円二色性スペクトル Vibrational Circular Dichroism (VCD) Spectrum
  9. チン・リン Qing Lin
  10. 美麗な分子モデルを描きたい!!

関連商品

ケムステYoutube

ケムステSlack

月別アーカイブ

2021年6月
« 5月   7月 »
 123456
78910111213
14151617181920
21222324252627
282930  

注目情報

注目情報

最新記事

元素記号に例えるなら何タイプ? 高校生向け「起業家タイプ診断」

今回は化学の本質とは少し離れますが、元素をモチーフにしたあるコンテンツをご紹介します。実験の合間…

多価不飽和脂肪酸による光合成の不活性化メカニズムの解明:脂肪酸を活用した光合成活性の制御技術開発の可能性

第346回のスポットライトリサーチは、東京大学 大学院総合文化研究科(和田・神保研究…

10手で陥落!(+)-pepluanol Aの全合成

高度な縮環構造をもつ複雑天然物ペプラノールAの全合成が、わずか10工程で達成された。Diels–Al…

吉野彰氏が2021年10月度「私の履歴書」を連載。

今年の10月はノーベル化学賞が有機化学分野から出て、物理学賞を真鍋淑郎先生が受賞して、非常に盛り上が…

ガラス工房にお邪魔してみたー匠の技から試験管制作体験までー

実験器具を試して見たシリーズ第10弾! ついにシリーズ10回目を迎えました。今回は特別編です…

ダイセルよりサステナブルな素材に関する開発成果と包括的連携が発表される

株式会社ダイセルは、環境にやさしい酢酸セルロースを当社独自の技術で加工した真球状微粒子を開発し、20…

市販の化合物からナノグラフェンライブラリを構築 〜新反応によりナノグラフェンの多様性指向型合成が可能に〜

第345回のスポットライトリサーチは、北海道大学大学院理学研究院 理論化学研究室(前田・高橋研究室)…

PCに眠る未採択申請書を活用して、外部資金を狙う新たな手法

みなさんは毎年何本の研究申請書を書きますか?そして、残念ながら日の目を見ずに、アイデアのままパソコン…

フラーレン〜ケージを拡張、時々、内包〜

トリアジン誘導体とN-フェニルマレイミドを用いた、フラーレンのケージを拡張する新規手法が開発された。…

エキノコックスにかかわる化学物質について

Tshozoです。40年以上前、手塚治虫氏の作品「ブラック・ジャック」でこういう話が載ってい…

Chem-Station Twitter

実験器具・用品を試してみたシリーズ

スポットライトリサーチムービー

PAGE TOP