近日，煙臺大學(xué)計算機與控制工程學(xué)院劉志中教授團隊論文“Similar Modality Completion-Based Multimodal Sentiment Analysis under Uncertain Missing Modalities”被國際頂級期刊Information Fusion以長文錄用，該期刊為人工智能與計算機科學(xué)領(lǐng)域的國際權(quán)威刊物（中科院SCI一區(qū)，TOP期刊，影響因子18.6）。該研究成果以煙臺大學(xué)為第一單位，研究生孫宇航為第一作者，劉志中教授為通訊作者。合作單位包括Macquarie University、哈爾濱工業(yè)大學(xué)（威海）、Auckland University of Technology。
該論文針對“世界老齡化人群存在嚴(yán)重心理疾病而亟需研發(fā)一種多模態(tài)情緒識別（MSA）技術(shù)，從而能夠主動準(zhǔn)確地識別出用戶的情緒，為其提供及時服務(wù)”這一現(xiàn)實需求，為解決不確定模態(tài)缺失場景下的多模態(tài)情緒識別問題，劉志中團隊創(chuàng)新性地提出了一種基于相似模態(tài)補全的多模態(tài)情緒識別模型（SMCMSA），如圖1所示。
圖1.不確定模態(tài)缺失下的多模態(tài)情感分析模型（SMCMSA）
SMCMSA模型構(gòu)建了全模態(tài)樣本數(shù)據(jù)庫，使用預(yù)訓(xùn)練的單模態(tài)情感分析模型對樣本數(shù)據(jù)進行情感標(biāo)簽預(yù)測，通過設(shè)計兩個獨立的相似模態(tài)補全策略對缺失模態(tài)進行補全。對于補全后的數(shù)據(jù)，利用Transformer的Encoder模塊對文本、視頻和音頻模態(tài)進行編碼，并在預(yù)訓(xùn)練模型指導(dǎo)下進行模態(tài)融合，提升表示質(zhì)量，并運用基于決策級融合策略得到最終的識別結(jié)果。目前，該模型的情緒識別準(zhǔn)確度處于領(lǐng)先水平。該研究工作得到了國家自然科學(xué)基金項目、山東省自然科學(xué)基金重點項目、山東省泰山特聘學(xué)者項目、澳大利亞研究理事會（ARC）未來獎學(xué)金和發(fā)現(xiàn)項目的支持。
論文鏈接：
https://www.sciencedirect.com/science/article/pii/S156625352400232X
來稿時間：5月8日 審核：劉希斌 責(zé)任編輯：安興爽
