1037237增量型編碼器的原理及應用上海秉銘DFS60B-S4CA04000經機器翻譯模型在一些翻譯任務上已經超過了傳統的統計機器翻譯模型,達到了SOTA（State-of-the-art）的效果。神經機器翻譯模型翻譯流暢度較高,然而存在著翻譯準確度不高、易過翻/漏翻、模型可解釋度不高、長句子翻譯困難等問題。在此背景下,越來越多的工作嘗試使用語言學知識來提高神經機器翻譯模型的性能。研究結果表明,語言學知識的融合豐富了神經機器翻譯模型可學到的翻譯信息,提高了神經機器翻譯模型的性能。然而,語言學知識作為一種額外的、規則的、多樣的信息,如何與神經機器翻譯模型進行有機的、高效的融合,成為了神經機器翻譯研究中的一個重要主題。因此,本文針對目前神經機器翻譯模型中語言學知識引入效率低和引入的方式等問題進行了研究。具體研究工作如下。1)針對神經機器翻譯模型準確度不高、長句子翻譯困難以及現有的語言學知識融合方式等問題,在編碼器神經機器翻譯模型基礎上,本文提出了基于依存信息監督的局部注意力機制下的神經機器翻譯模型。本模型將語言學知識中的依存信息與局部注意力機制結合,使用語言學知識來提升注意力機制,從而將依存語法信息以更準確更有效地方式融合進神經機器翻譯模型中來提升翻譯效果。2)針對語言學知識利用效率低下、在引用過程中增加額外成本等問題,在編碼器神經機器翻譯模型基礎上,本文提出了基于多層注意力機制下的神經機器翻譯模型。本模型改變了將語言學知識作為一種額外的信息機械的加入神經機器翻譯模型中的方式,轉而嘗試將神經機器翻譯模型自身學到的語言學知識充分地加以利用。本模型既利用了語言學知識,又不需要引入額外的語言學知識,以更有效更快速的方式提高了神經機器翻譯模型.

視覺和模式識別等領域占據重要地位,圖像分類模型一般由圖像特征抽取、特征變換和增強、分類器訓練等步驟組成。為了得到有效的特征表示,早期特征抽取主要采用手工設計方式,常常依賴于特征設計者的領域知識。隨著深度學習技術發展,更多圖像分類模型利用深度網絡進行特征抽取。深度網絡特征既可以通過端到端訓練的方式獲得,也可以利用大規模圖像庫上訓練好的深度網絡在圖像上直接抽取。前者需要大量訓練圖像來擬合網絡參數,計算代價高;后者由于缺乏監督信息的導引,其判別性仍需加強。作為一種有效的特征變換和增強技術,特征編碼在圖像分類中得到快速發展,但在實際應用中仍面臨不少挑戰,如圖像類別多但帶標簽訓練樣本少、同類圖像變化大而非同類圖像區分度低、待識別類沒有訓練樣本、圖像不同層級特征間編碼效率低、特征編碼算法運行穩定性差等。為應對以上挑戰,本文利用多種手工與深度網絡特征表示形式,開展了基于特征編碼的圖像分類技術研究,主要工作和創新點有:1、提出一種基于多層字典學習與特征編碼的圖像分類模型,將原圖像整體級手工或深度網絡特征轉換成深層編碼特征。與基于單層字典學習的特征編碼方法相比,所提模型能夠減少原圖像數據中噪聲影響,增強字典原子魯棒性,提高含噪圖像的分類效果。通過逐層字典學習與特征編碼實現原圖像特征的連續非線性投影變換,增大了非同類編碼系數特征的分離性。得益于分類器監督訓練和多層學習整合,充分挖掘了圖像數據中復雜的結構信息,提升原圖像整體級特征的判別性。后,通過利用拉普拉斯圖矩陣來避免編碼特征中值的產生,減少了過擬合風險及測試圖像分類誤差。與單層特征編碼方法和深度網絡模型相比,所提模型兼顧了圖像分類正確率與運行效率,在多種基準圖像庫上的實驗結果展示了優異的分類性能。2、提出一種類稀疏分布編碼特征生成方法,實現了圖像樣本更好的分類。針對圖像分類中編碼特征生成機制問題,所提方法首先利用訓練樣本類標簽建立標簽信息感知項,通過增強同類樣本編碼系數值、抑制非同.

1037237增量型編碼器的原理及應用上海秉銘DFS60B-S4CA04000碼系數值,產生具有類一致稀疏分布的編碼特征;其次利用樣本局部結構信息構建圖正則化項,與類標簽感知項共同作用既能生成更平滑的稀疏編碼特征,又可以學到魯棒的字典;另外引入支持向量分類器項,實現了非同類編碼特征的大間隔分離。以上各項在學習過程中相互作用和強化,終將原圖像特征變換成更適宜分類的類稀疏分布編碼特征。由于構建的約束項均采用L2范數,避免了耗時的L0/L1范數求解過程,使得所提方法能夠滿足圖像實時分類需求。實驗結果表明,所提方法產生的類稀疏分布編碼特征增強了各類原手工或深度網絡特征的判別性。3、針對歸納式和直推式零樣本圖像分類場景,分別提出兩種基于堆疊語義自編碼器的分類模型。在歸納式零樣本圖像分類場景中,非可見類測試圖像在訓練階段不可獲取,此時如何將可見類數據中學習的知識遷移至非可見類數據中至關重要。為此,提出一種基于流形配準的堆疊語義自編碼器模型,可以建立圖像特征空間、語義描述空間和類標簽空間之間的緊致關系,縮小語義鴻溝;通過在模型中融入流形配準項,有效*了類域鴻溝。與相關零樣本圖像分類方法相比,模型的泛化能力更強,能夠在可見/非可見類數據間進行高效知識遷移。針對非可見類測試圖像在訓練階段可獲取的直推式分類場景,進一步提出域感知堆疊語義自編碼器模型,由兩個存在知識交互的并列堆疊自編碼器組成,其中一個基于可見類訓練圖像構建,另一個用來擬合非可見類測試圖像。實驗結果顯示所提兩個“編碼—解碼”范式的零樣本圖像分類模型,在傳統和廣義分類效果評價準則下均取得優異性能。