2021年12月3日 掲載
張訳心さんが ACM 主催のマルチメディアに関する国際会議の一つである ACM Multimedia Asia で研究成果を発表しました．
論文のタイトルは “MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients” です．近年，クックパッドなどのサイトに多くのレシピデータが集積されています．これらのレシピデータでは調理手順の各ステップをテキスト，または，テキストと画像で説明しますが，画像が付いている場合，画像に写っているものの記述がテキスト中では省略されることがあります．そのような場合には画像中の食材を自動認識できれば，テキスト中で省略された情報を補うことができます．張さんの研究は，そのようなレシピ画像中の食材の認識手法に関するものです．
レシピデータ中の画像に現れる食材は，最初はどのレシピでも同じような外観をしていて認識しやすく，調理手順が進むほど外観が多様に変化し認識が難しくなります．例えば，じゃがいもは，レシピの序盤に登場する場合は茶色で丸いことが多く，中盤には千切りやブロック切りなどの様々な形に変化し，レシピ終盤に登場する際はさらに外観が変化し他の食材と混ざっていることが多くなります．
の二つを提案し，この二つを組合せたハイブリッド手法によって認識精度を向上できることを実験で示しています．
今回の会議は，オーストラリアのゴールドコーストで開催予定でしたが，新型コロナウィルスのため対面とオンラインのハイブリッド開催となり，11月末にはオーストラリアが日本からの入国を解禁するという報道もありましたが，結局，オンラインでの参加となりました．