(相關(guān)資料圖)
多模態(tài)機(jī)器學(xué)習(xí)在各種場(chǎng)景下都取得了令人矚目的進(jìn)展。然而，多模態(tài)學(xué)習(xí)模型的可靠性尚缺乏深入研究?！感畔⑹窍牟淮_定性」，多模態(tài)機(jī)器學(xué)習(xí)的初衷與這是一致的——增加的模態(tài)可以使得預(yù)測(cè)更為準(zhǔn)確和可靠。然而，最近發(fā)表于 ICML2023 的論文《Calibrating Multimodal Learning》發(fā)現(xiàn)當(dāng)前多模態(tài)學(xué)習(xí)方法違法了這一可靠性假設(shè)，并做出了詳細(xì)分析和矯正。
圖片
論文 Arxiv：https://arxiv.org/abs/2306.01265代碼 GitHub：https://github.com/QingyangZhang/CML當(dāng)前的多模態(tài)分類方法存在不可靠的置信度，即當(dāng)部分模態(tài)被移除時(shí)，模型可能產(chǎn)生更高的置信度，違反了信息論中 「信息是消除的不確定性」這一基本原理。針對(duì)此問題，本文提出校準(zhǔn)多模態(tài)學(xué)習(xí)（Calibrating Multimodal Learning）方法。該方法可以部署到不同的多模態(tài)學(xué)習(xí)范式中，提升多模態(tài)學(xué)習(xí)模型的合理性和可信性。
圖片
該工作指出，當(dāng)前多模態(tài)學(xué)習(xí)方法存在不可靠的預(yù)測(cè)置信度問題，現(xiàn)有多模態(tài)機(jī)器學(xué)習(xí)模型傾向于依賴部分模態(tài)來估計(jì)置信度。特別地，研究發(fā)現(xiàn)，當(dāng)前模型估計(jì)的置信度在某些模態(tài)被損壞時(shí)反而會(huì)增加。為了解決這個(gè)不合理問題，作者提出了一個(gè)直觀的多模態(tài)學(xué)習(xí)原則：當(dāng)移除模態(tài)時(shí)，模型預(yù)測(cè)置信度不應(yīng)增加。但是，當(dāng)前的模型卻傾向于相信部分模態(tài)，容易受到這個(gè)模態(tài)的影響，而不是公平地考慮所有模態(tài)。這進(jìn)一步影響了模型的魯棒性，即當(dāng)某些模態(tài)被損壞時(shí)，模型很容易受到影響。
為了解決上述問題，目前一些方法采用了現(xiàn)有的不確定性校準(zhǔn)方法，例如 Temperature Scaling 或貝葉斯學(xué)習(xí)方法。這些方法可以構(gòu)建比傳統(tǒng)訓(xùn)練 / 推理方式更準(zhǔn)確的置信度估計(jì)。但是，這些方法只是使最終融合結(jié)果的信心估計(jì)與正確率匹配，并沒有明確考慮模態(tài)信息量與信心之間的關(guān)系，因此，無法本質(zhì)上提升多模態(tài)學(xué)習(xí)模型的可信性。
作者提出了一個(gè)新的正則化技術(shù)，稱為 “Calibrating Multimodal Learning (CML)”。該技術(shù)通過添加一項(xiàng)懲罰項(xiàng)來強(qiáng)制模型預(yù)測(cè)信心與信息量的匹配關(guān)系，以實(shí)現(xiàn)預(yù)測(cè)置信度和信息量之間的一致性。該技術(shù)基于一種自然的直覺，即當(dāng)移除一個(gè)模態(tài)時(shí)，預(yù)測(cè)置信度應(yīng)該降低（至少不應(yīng)該增加），這可以內(nèi)在地提高置信度校準(zhǔn)。具體來說，提出了一種簡(jiǎn)單的正則化項(xiàng)，通過對(duì)那些當(dāng)移除一個(gè)模態(tài)時(shí)預(yù)測(cè)置信度會(huì)增加的樣本添加懲罰，來強(qiáng)制模型學(xué)習(xí)直觀的次序關(guān)系：
上面的約束為正則損失，當(dāng)模態(tài)信息移除信心上升時(shí)作為懲罰出現(xiàn)。
實(shí)驗(yàn)結(jié)果表明，CML 正則化可以顯著提高現(xiàn)有多模態(tài)學(xué)習(xí)方法的預(yù)測(cè)置信度的可靠性。此外，CML 還可以提高分類精度，并提高模型的魯棒性。
多模態(tài)機(jī)器學(xué)習(xí)在各種情境中取得了顯著的進(jìn)展，但是多模態(tài)機(jī)器學(xué)習(xí)模型的可靠性仍然是一個(gè)需要解決的問題。本文通過廣泛的實(shí)證研究發(fā)現(xiàn)，當(dāng)前多模態(tài)分類方法存在預(yù)測(cè)置信度不可靠的問題，違反了信息論原則。針對(duì)這一問題，研究人員提出了 CML 正則化技術(shù)，該技術(shù)可以靈活地部署到現(xiàn)有的模型，并在置信度校準(zhǔn)、分類精度和模型魯棒性方面提高性能。相信這個(gè)新技術(shù)將在未來的多模態(tài)學(xué)習(xí)中發(fā)揮重要作用，提高機(jī)器學(xué)習(xí)的可靠性和實(shí)用性。
標(biāo)簽：
