2021 年度後期 第 7 回 細胞⽣物学セミナー

⽇時：11 ⽉ 9 ⽇ 16：30〜 場所：zoom

Training instance segmentation neural network with synthetic datasets for crop seed phenotyping

Toda, Y., Okura, F., Ito, J., Okada, S., Kinoshita, T., Tsuji, H., Saisho, D.(2020)

Commun. Biol. 3: 173

作物種⼦フェノタイピングのための合成データを⽤いた

インスタンスセグメンテーション・ニューラル ネットワークによる学習

　コンピュータービジョンの分野では、畳み込み型ニューラルネットワーク(CNN)による画像分類や物体検出、インスタンスセグメンテーションは積極的に⽤いられており、その有⽤性から深層学習は様々な分野の研究者らが広く関⼼を集めている。CNN等を画像分類で活⽤するには膨⼤な量の画像とラベルデータを⽤意することが多⼤な労⼒と時間を要し、研究者の⼤きなストレスになっている。本研究では実際の画像を基に合成画像を作成し、ドメインランダム化の技術によりアノテーションを自動的に行い、19品種のオオムギ種⼦等を⽤いて表現形をCNNによって学習させた。

　⼿動アノテーションを減らす伝統的な⽅法としてsim2real transfer(以下 sim2)と呼ばれる⼿法がある。これ は⼈⼿によらず正解ラベルを⾃動的にラベリングする⽅法である。以前に、3D モデルからシロイヌナズナの⼈ ⼯的な画像を⽣成し、葉のセグメンテーションのための CNNの学習に利⽤した先⾏研究がある(Ward et al. (2018))。本研究はsim2に類似した⼿法を⽤いて、作物の種⼦表現型決定のためのCNNの学習にドメインランダム化を⽤いた合成データセットを利⽤する初めての試みである。

　合成画像作成に当たってオオムギの種⼦はスキャナーで撮影した。その後、個々の種⼦をドメインランダム化 により種⼦と背景に分離してそれぞれの特徴を CNN に学習させた。ドメインランダム化の技術がなければ膨⼤な量の種⼦をアノテーションする必要があったので、労⼒の削減に貢献した。

　CNN からの出⼒された物体検出メトリクスでは再現率が合成データセットでは 95％と実際の画像で96％と 差はなかった。マスク領域メトリクスの Intersection of Union(IoU)の50％から95％のIoU平均値では合成データセットが73％と実際の画像の59％を上回った。この結果はドメインランダム化により、様々なパターンが予測可能になったからだと考えられる。以上の結果から、種⼦領域を分割するモデルの能⼒は，実写画像よりも合成画像の⽅が優れていることが⽰唆された。その他にも分析が⾏われる過程で⼟や重なりあった種⼦を除去する過程を⼿動で行った値と学習によって出⼒された値に強い相関性を示された。これら結果は、本研究のパイプラインから得られ、フィルタリングされた出⼒値が、表現型解析を⾏うのに信頼できることを⽰唆している。コメ(Oryza sativa, cv. Nipponbare)やレタス(Lactuca sativa, cv. Great Lakes)等のオオムギ以外の種⼦でも同様の⼿法で学習させ、明確に個々の種⼦を区別することができた。本研究で著者が提唱した⼿法は⾼い汎⽤性を持つことが⽰された。

　従来の⼿動による種⼦形態解析では測定できる種⼦数に限りがあり、少ないサンプルから共通の形態を指標と することで、⾒落としている形質もあった。しかし、本研究の⼿法により、短時間で解析が終わるだけでなく⼿ 動では検出しづらい形態も検出可能となった。これは、特にゲノムワイド関連解析（GWAS）、量的形質遺伝⼦座 （QTL）解析、変異体スクリーニング等の分⼦遺伝学的研究において、従来のアプローチで分離が困難であった 農学的に重要な遺伝⼦を同定するための画期的な⽅法となる。

　本研究ではドメインランダム化の概念に基づいた合成データを利⽤して、現実世界の課題に対してCNNを学習することの有効性を示した。近年の技術発展により現実に近い画像だけでなく、仮想現実環境を⽣成が可能になり、農業分野で課題となっていた画像解析を解決する可能性が⾼まっている。

興味を持たれた⽅は唐原先⽣か⽟置先⽣にご連絡ください。Zoom の URL をお伝えします。 川﨑 光