2024年12月3日 掲載
張訳心さんがマルチメディア処理に関する国際会議 ACM Multimedia Asia 2024 で研究成果を発表しました.
今回の発表の内容は,調理手順を記述したレシピデータ中の画像からの食材認識に関するものです.
レシピデータは各調理ステップの説明の列からなるので,各ステップの画像は先行するステップの画像に現れていた食材を引き続き含んでいることが多くあります.しかし,手順の流れには分岐や合流があるので,必ずしも直前のステップから食材を引き継いでいるとは限りません.そこで,現在のステップは先行するステップのどの手順から続いているかを推定しながら,そのステップの画像の情報を利用する手法を開発しました.
また,調理画像中の食材の認識しやすさは食材によって大きく異なります.また,同じ食材でも料理によって外観をとどめていることもあれば,大きく外観が変わっていることもあるため同じ食材でも料理によっても異なりま.そのため,認識の際,各料理毎に,かつ,各食材ごとに,適切な閾値を定めることが重要になります.そこで,ほぼ全てのレシピデータにおいて,最終ステップの画像にはその料理で使われている全ての食材が含まれていることを利用して,閾値を定める手法を開発しました.