Site Navi

2021年12月16日 掲載

渡邊綾仁君が Human-in-the-Loop に関するワークショップ IEEE HMData 2021 で研究成果を発表


渡邊綾仁君が BigData に関する国際学会 IEEE BigData 2021 に併設のワークショップである IEEE HMData 2021 で研究成果を発表しました.

今回の論文のタイトルは “Spammer Detection Based on Task Completion Time Variation in Crowdsourcing” というもので,クラウドソーシングサービスにおけるスパマー検知手法に関するものです.インターネット上で不特定かつ多数のワーカーにタスクを依頼するクラウドソーシングでは,ワーカーの中にまじめにタスクを行わず低品質な成果物を提出するいわゆる「スパマー」が存在することが問題となります.まじめにタスクを遂行するワーカーとスパマーを区別するための手法はすでに様々なものが提案されていますが,渡邊君の研究では,画像の多クラス分類(ラベリング)タスクを題材に,ワーカが各画像にどれだけ回答時間をかけたかに着目してスパマーの検知を試みています.

単純に,回答時間が短いワーカーをスパマーと判定する検知手法は,タスクは真面目にやらないがわざと遅れて回答を提出するという方法で簡単に回避できてしまいます.そこで,渡邊君の研究では,まじめに画像を見ているワーカーは,分類が易しい画像では回答時間が短く,分類が難しい画像では回答時間が長くなる傾向があり,画像をまじめに見ていないスパマーの回答時間は画像の分類の難しさと相関が低いはずだというアイデアに基づいて,ワーカーの回答時間の分析を行っています.

今回のワークショップは当初はフロリダで開催される予定でしたが,新型コロナウイルスの影響によりオンラインのみでの開催となりました.ワークショップでは,事前に録画した発表プレゼンテーション動画を流し,そのあとに質疑応答を受け付けるという方式でした.音声のリアルタイム通訳,チャットにテキストで質問投稿といったオンラインならではの利点を活かしていたのが印象的でした.一方,研究者同士の議論や交流という点ではやはり対面での開催に劣るという印象です.