最近有點懶哈，寫個博客鼓勵一下自己～Attention！！！本文只記錄在arxiv上最新出現的幾篇個人覺得還挺有趣的文章，會簡單的寫一下該論文的的

最近有點懶哈，寫個博客鼓勵一下自己～

Attention！！！本文只記錄在arxiv上最新出現的幾篇個人覺得還挺有趣的文章，會簡單的寫一下該論文的的基本信息，以及對該論文的評價（僅個人理解）

1.Non-Autoregressive Neural Dialogue Generation

https://arxiv.org/pdf/2002.04250.pdf

Author：jiwei li大佬的新作品

Motivation：傳統的seq2seq在解碼時依賴于從左到右逐個詞的生成，但是實際上該方法過于強調前后詞的依賴性；且不利于并行計算。

Approach：

1.我們可不可以先從中間詞開始，不依次生成單詞，而是試圖一步到位，之后再反復修改？即原始的 變成了 ，這里是Auto regressive的思想

2.基于互信息的思想，我們也可以反過來優化 進而幫助原模型

Discussion：

感覺Auto regressive的思想很不錯， 不過換句話說，一步到位解碼法是不是也變向引入了某單詞在某一特定位置這一限制呢？感覺這里還可以嘗試優化一下，畢竟被約束的應該是相對位置。

至于互信息，感覺是Dual-learning的變種。

2.High Mutual Information in Representation Learning with Symmetric Variational Inference

https://arxiv.org/pdf/1910.04153.pdf

Author：nips的workshop（確實很nips，公式看的頭大）

Motivation：致力于解決VAE的后驗崩潰（posterior collapse）的問題（其實就是train到后面結果好了但是和latent vector的依賴變弱了）

Approach：

1.引入互信息最大化（Mutual Information Maximization），將其作為正則項約束VAE的latent vector與實際輸出的互信息，換句話說就是建立latent vector與圖像（文本）直接的映射關系，進而防止后驗崩潰（posterior collapse）

2.文中還提到了對稱VAE的思想，其實就是encoding和decoding前后的表示應該是對稱的，而互信息最大化有利于建模這個問題

Discussion：

公式推導真的勸退，但是這個idea其實很有道理，MIM本身就有利于解決前后不依賴的問題，恰好緩解了VAE的這一點，非常有意思。但是鋪開來講的話，是不是和NLP中VAE的BOW（bag-of-word）loss有點像？或者說這是BOW有效性的一種解釋？

3.TABFACT: A LARGE-SCALE DATASET FOR TABLE-BASED FACT VERIFICATION

https://arxiv.org/pdf/1909.02164v1.pdf

Author：William Wang老師組的ICLR大作

Motivation：將事實驗證（fact verification）任務推廣到表格數據上，換句話說，基于表格數據，驗證事實的真偽；主要contribution是新數據集

Approach：

1.TABLE-BERT，即將表格中每一行轉換成一句話，與事實稱述（statement）拼接到一起，用BERT進行編碼，進而判斷真假。

2.Latent program search：基于一個pipeline，先根據稱述中的實體進行entity-linking，然后基于此從表格中抽取重要的線索，最終基于這些線索進行打分

Discussion：

新task，還挺有意思，難點主要在于對表格數據的建模。實驗時以上兩個模型中Table-BERT更強一點，變向說明了對文本信息建模在這個task很重要；如果能用更加優雅的方式將表格帶入BERT，可能會有更好的效果。