2020年度後期　第３回　細胞生物学セミナー

日時：12月1日（火）15:00~　場所：ZOOM開催

Transfer Learning from Synthetic Data Applied to Soil–Root Segmentation in X-Ray Tomography Images

Douarre, C., Schielein, R., Frindel, C., Gerth, S., Rousseau, D. (2018)

J. Imaging, 4, 65

X線トモグラフィー画像内の土壌-根セグメンテーションに適用される合成データに基づく転移学習

X線コンピュータートモグラフィー (CT) 画像内の根と土壌のセグメンテーションは，植物科学におけるコンピュータービジョンの挑戦的な課題の一つである．これまでそれらは古典的な画像解析手法によって処理されてきたが，近年は従来の手作業での画像解析に替わる手法として深層学習が利用され始めている．深層学習は多層の人工的なニューラルネットワークから構成される機械学習プログラムの一種で，人間の処理能力を超えるような膨大な量のデータの特徴を自動的に「学習」し，認識，分類，予測といったタスクを実行する．一般的に深層学習は大量の計算を必要とするため，時間的・経済的コストがかかる．また，学習用としてラベルをつけた大量のデータセットを用意する必要がある．本研究では上記の課題を克服するため，転移学習と統計的モデルに基づく合成画像データを組み合わせた手法を提唱し，X線CT画像のセグメンテーションに対する適用の可能性を検証した．転移学習は深層学習の一種で，予め非常に大規模なデータセットを用いて学習させた畳み込みニューラルネットワーク (CNN) を流用して画像を分類する方法である．データセットは実際に実施するタスクとは関係のない画像からなるものだが，学習済みCNNは優れた特徴抽出能力を持ち，それを流用したネットワークでは計算時間を短縮できることが知られている．また，X線CT画像の学習用に根と土壌領域をピクセル単位でラベルした画像データが大量に必要となるが，自動生成したラベル付きの合成画像データを用いることで代替した．合成画像は244×244×26ピクセルの範囲の土壌を撮影したX線トモグラムにL-systemによるシミュレーションで生成された根系を合成して作成した．土壌はVulkasoil (VulaTec, Germany)と農地 (Kaldenkirchen, Germany) から採取した土壌の2種類を基準とし，根は各土壌で栽培したトウモロコシ (Zea mays L.) B73系統の根系を基準としてシミュレーション画像を作成した．プログラムの全体像としては，学習用の合成X線CT画像をパッチと呼ばれる小単位に分割してから，転移学習したCNNに入力し各パッチの特徴を抽出した．抽出した特徴量をラベル付きの合成画像データセットと共にに機械学習アルゴリズムであるサポートベクトルマシン (SVM) に渡し学習させた後，SVMにテストデータ画像を入力しセグメンテーション予測を行い，その精度を評価した．正解画像に対する予測の精度の指標としてQuality Measure (QM)を提案し計算した．QMが1に近いほど精度が高い．初めに，根と土壌の輝度コントラストが低かったVulkasoil (根での輝度の平均値μ=100, 標準偏差σ=15, 土壌μ=125, σ=20) のトモグラムを用いて作成した合成画像データでの学習とセグメンテーション予測を行った結果，約2時間の学習で結果が得られ，QM = 0.23だった．根周囲の背景を誤って根と判別したピクセルが目立ったが，根の場所自体は比較的正しく予測できていた．したがって，得られた予測画像をさらに画像処理することで結果の改善が見込める可能性がある．次に本手法のような機械学習で重要となるデータセット数によるQMの変化を調べた．25 ~ 2000パッチの間でデータセット数を変化させた結果，QMの平均値にほぼ変化はなくパッチ数を大きくするほど分散が減少した．よって，パッチ数の増加は結果の安定性に寄与することが示唆された．同様にパッチ自体のサイズを5 ~ 31ピクセル四方の間で変化させQMの変化を調べた結果，パッチサイズが増加すると本来の根と離れた場所での誤検出が減る一方で，根周囲の背景を根と誤判定する場合が増えた．よって，大小２つのパッチサイズで学習を行い，AND演算により両方で予測されたピクセルのみを取り出すことで予測精度を向上できることが想定された．次にVulksoilよりも根との輝度コントラストが高かった農地土壌 (根μ=110, σ=15, 土壌μ=180, σ=25) を用いて，現実の根系を撮影したトモグラムでの予測を試みた．学習させる合成データは根の断面積を現実の根と揃え，現実のトモグラムで計測した輝度の一次統計である平均値，標準偏差と二次統計である自己相関 (画像のボケ具合) を基準としてデータを生成した．合成データを学習したSVMで現実の根をセグメンテーション予測した結果，QM=0.57でかなり正確なセグメンテーション画像が得られた．この結果から，学習データが合成画像でも現実の画像と似た統計量を持つ画像であればセグメンテーションが機能することが予想された．本手法の頑強性を評価するために，合成データ作成の際に調節した統計量 (平均値，標準偏差，自己相関) を変化させ，現実の画像に対するセグメンテーション予測のQMの変化を調べた．その結果，予想通りいずれの統計量でも学習データの統計量がテストデータと似ている場合にQMが高い結果となったが，最適条件の付近でもある程度の範囲では高いQMが保たれていた．以上の結果から，合成画像を学習データとして使用した機械学習を現実の画像のセグメンテーションに対して適用できることが明らかとなり，実際に計算時間の削減やコントラストの低い画像でのセグメンテーションが実現された．また，合成データはデータサイズや画像内の統計量を自由に調節できるため，今後，更なる精度向上のための条件確立や予測結果を既存の機械学習アルゴリズムと比較などでの活用が期待される．

山浦遼平