講座主題：視覺-語言相互生成技術(shù)
專家姓名：彭宇新
工作單位：北京大學(xué)
講座時間：2021年10月20日 14:30-15:30
講座地點：騰訊會議，會議ID：407 121 192
主辦單位：煙臺大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院
內(nèi)容摘要：
隨著深度學(xué)習(xí)等技術(shù)的發(fā)展，計算機在圖像分類、對象識別等任務(wù)中取得了接近甚至超越人類的成績，但如何賦予人工智能具有突破固定規(guī)則的“創(chuàng)意”，使人工智能從“感知智能”邁向“認(rèn)知智能”是計算機視覺領(lǐng)域的重要任務(wù)。視覺-語言相互生成技術(shù)旨在使計算機能夠根據(jù)用戶給定的輸入進行“聯(lián)想”與“創(chuàng)造”，能夠根據(jù)圖像、視頻等視覺內(nèi)容自動生成一段自然語言描述，實現(xiàn)視覺到語言生成；或者根據(jù)一段自然語言描述從無到有地自動生成語義一致、內(nèi)容真實、符合邏輯的圖像、視頻、3D圖形，實現(xiàn)語言到視覺生成。這是人工智能實現(xiàn) “認(rèn)知智能”的一項重要任務(wù)，在教育、設(shè)計、影視、創(chuàng)作等領(lǐng)域具有重要的應(yīng)用價值。本報告將介紹我們在視覺-語言相互生成技術(shù)上的研究工作：在視覺到語言生成上，提出對象感知雙向圖和層次化視覺-語言對齊等方法，通過視頻時空信息建模和語義一致性建模，實現(xiàn)準(zhǔn)確的視頻描述生成。在文本到視覺生成上，提出對稱蒸餾網(wǎng)絡(luò)等方法，將相關(guān)視覺任務(wù)中的語義知識遷移至生成任務(wù)中，提高圖像與視頻生成的質(zhì)量。最后展示相關(guān)的演示系統(tǒng)。
主講人介紹：
北京大學(xué)二級教授、博雅特聘教授、博士生導(dǎo)師、國家杰出青年科學(xué)基金獲得者、國家級高層次人才、科技部中青年科技創(chuàng)新領(lǐng)軍人才、863項目首席專家、中國人工智能產(chǎn)業(yè)創(chuàng)新聯(lián)盟專家委員會主任、中國工程院“人工智能2.0”規(guī)劃專家委員會專家、北京圖象圖形學(xué)學(xué)會副理事長、中國圖象圖形學(xué)學(xué)會副秘書長。主要研究方向為跨媒體分析與推理、圖像視頻識別與理解、計算機視覺、人工智能。以第一完成人獲2016年北京市技術(shù)發(fā)明一等獎和2020年中國電子學(xué)會科技進步一等獎，2008年獲北京大學(xué)寶鋼獎教金優(yōu)秀獎，2017年獲北京大學(xué)教學(xué)優(yōu)秀獎。主持了863、國家自然科學(xué)基金等20多個項目，發(fā)表論文160多篇，包括ACM/IEEE Trans和CCF A類論文70多篇。多次參加由美國國家標(biāo)準(zhǔn)技術(shù)局NIST舉辦的國際評測TRECVID視頻樣例搜索比賽，均獲第一名。主持研發(fā)的跨媒體互聯(lián)網(wǎng)內(nèi)容分析與識別系統(tǒng)已經(jīng)應(yīng)用于公安部、工信部、國家廣播電視總局等單位。擔(dān)任IEEE TCSVT等期刊編委。
