亚博网站买球首选

    當前位置:首頁 > 新聞中心 > 媒體掃描

媒體掃描

【科技日報】“多模態自然語言處理研討會”聚焦多模態建模與學習方法

  • 發表日期:2020-11-16 【 【打印】【關閉】
  •   記者獲悉,日前在國際自然語言處理與中文計算會議 (NLPCC 2020)上, 第一屆“多模態自然語言處理研討會”舉辦。

      多模態已成為新聞報道和信息交流的主要呈現形式,多模態自動摘要技術,旨在利用計算機自動實現從多個模態的信息中壓縮生成摘要的過程,可以廣泛應用于新聞推送和電商推薦等多個領域。

      在本次研討會中,來自中科院亚博网站买球首选的研究員張家俊介紹其所在的課題組近年來在多模態摘要方法和評價等方面的研究進展。重點介紹了異源多模態摘要生成的研究方法變遷:從抽取式方法到生成式方法,再到目前融入多模態注意力機制的圖文式摘要生成方法等。同時,張家俊也介紹了多模態自動摘要的自動評價方法: 綜合考慮文本和圖片重要性以及文本圖片相關性更加貼近人工打分。

      預訓練模型的出現,使自然語言處理由原來的手工調參、依靠機器學習專家的階段,進入到可以大規模、可復制的大工業施展階段。此階段基于預訓練模型+微調機制,具備很高的可擴展性,展現出很高潛力。而當前研究也從單一語言擴展到多模態。

    亚博网站买球首选  微軟亞洲研究院的高級研究員、博士段楠介紹了多模態預訓練模型的最新研究進展。他首先回顧了典型的預訓練模型。隨后,重點介紹了3種最新的多模態預訓練模型:Unicoder主要應用于跨語言的語言理解和生成任務;Unicoder VL專注于視頻語言任務,對視頻片段和對應的自然語言描述進行聯合建模;CodeBERT則關注在代碼語言任務。段楠也和與會學者一起討論了當前多模態預訓練的問題和可能的未來方向。

      “AI+藝術是一個跨界領域。藝術家的想象力往往啟發著科學家的創造力,而在AI時代,藝術家用人工智能機器學習相關技術來創作藝術,表達自己的想法和概念,設計師用神經網絡模型創造自己的設計工具和助手。”

      清華大學未來實驗室博士后高峰分享了AI技術在藝術與設計領域的創新性應用。其團隊開發的道子智能繪畫系統,利用計算機將自然圖像以風格遷移的方式轉變成藝術圖像,根據所得藝術圖像進行水墨畫繪作,實現技術與藝術間的跨界融合。高峰也介紹了道子在服裝設計、工業設計、裝置藝術等領域的探索成果。

      多模態智能分析是近期的研究熱點。來自北京航空航天大學的教授劉偲圍繞視覺和語言的交互介紹兩方面的內容進行了分享。她首先介紹了視覺關系檢測的研究,包括人-物關系檢測,人-物關系分割,視頻關系檢測等方面的內容。其次,她指出視覺指代表達和指代分割,對于智能機器人和交互式圖像編輯等實際應用有重要意義。 傳統的視覺指代表達方法采用兩階段式架構,模型復雜且速度受限,而傳統的指代分割方法聚焦于多模態特征融合,缺乏利用語言信息進行上下文建模和推理的能力。在本次討論中,她給出了針對性的解決方法。

      對話系統一直是自然語言理解領域一個重要的研究內容,它可以使人們更便捷的與機器進行交互,而多模態的對話系統是非常重要的一個研究方向。

      平安壽險AI研發團隊的博士楊海欽,分享了多模態對話系統在平安人壽各種場景的應用,包括保單回訪服務和視頻柜員客服等。在本次講座中,楊海欽亚博网站买球首选重點介紹了多模態對話系統的核心和創新技術,實際部署經驗以及如何應用該系統來降低運營成本,同時增加用戶體驗。

      同時,京東AI研究院NLP算法科學家、博士吳友政也作了“智能人機交互及其應用”的主題分享。

     

    原文鏈接: