近日,，煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院劉志中教授團(tuán)隊(duì)論文“Similar Modality Completion-Based Multimodal Sentiment Analysis under Uncertain Missing Modalities”被國(guó)際頂級(jí)期刊Information Fusion以長(zhǎng)文錄用,，該期刊為人工智能與計(jì)算機(jī)科學(xué)領(lǐng)域的國(guó)際權(quán)威刊物（中科院SCI一區(qū),，TOP期刊,，影響因子18.6）。該研究成果以煙臺(tái)大學(xué)為第一單位,，研究生孫宇航為第一作者,，劉志中教授為通訊作者。合作單位包括Macquarie University,、哈爾濱工業(yè)大學(xué)（威海）,、Auckland University of Technology。
該論文針對(duì)“世界老齡化人群存在嚴(yán)重心理疾病而亟需研發(fā)一種多模態(tài)情緒識(shí)別（MSA）技術(shù),，從而能夠主動(dòng)準(zhǔn)確地識(shí)別出用戶的情緒,，為其提供及時(shí)服務(wù)”這一現(xiàn)實(shí)需求，為解決不確定模態(tài)缺失場(chǎng)景下的多模態(tài)情緒識(shí)別問題,，劉志中團(tuán)隊(duì)創(chuàng)新性地提出了一種基于相似模態(tài)補(bǔ)全的多模態(tài)情緒識(shí)別模型（SMCMSA）,，如圖1所示。
圖1.不確定模態(tài)缺失下的多模態(tài)情感分析模型（SMCMSA）
SMCMSA模型構(gòu)建了全模態(tài)樣本數(shù)據(jù)庫(kù),，使用預(yù)訓(xùn)練的單模態(tài)情感分析模型對(duì)樣本數(shù)據(jù)進(jìn)行情感標(biāo)簽預(yù)測(cè),，通過設(shè)計(jì)兩個(gè)獨(dú)立的相似模態(tài)補(bǔ)全策略對(duì)缺失模態(tài)進(jìn)行補(bǔ)全。對(duì)于補(bǔ)全后的數(shù)據(jù),，利用Transformer的Encoder模塊對(duì)文本,、視頻和音頻模態(tài)進(jìn)行編碼，并在預(yù)訓(xùn)練模型指導(dǎo)下進(jìn)行模態(tài)融合,，提升表示質(zhì)量,，并運(yùn)用基于決策級(jí)融合策略得到最終的識(shí)別結(jié)果。目前,，該模型的情緒識(shí)別準(zhǔn)確度處于領(lǐng)先水平,。該研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目、山東省自然科學(xué)基金重點(diǎn)項(xiàng)目,、山東省泰山特聘學(xué)者項(xiàng)目,、澳大利亞研究理事會(huì)（ARC）未來獎(jiǎng)學(xué)金和發(fā)現(xiàn)項(xiàng)目的支持。
論文鏈接：
https://www.sciencedirect.com/science/article/pii/S156625352400232X
來稿時(shí)間：5月8日 審核：劉希斌 責(zé)任編輯：安興爽
