隨著(zhù)大數據技術(shù)的廣泛應用，越來(lái)越多的公司與個(gè)人參與到技術(shù)與數據的共享中。大數據時(shí)代下的數據共享既是驅動(dòng)力，也造就了數據安全隱患。如何在數據共享的前提下，保證數據安全與資產(chǎn)保值，是目前眾多企業(yè)重點(diǎn)關(guān)注的課題之一。
現階段很多公司都需要訓練一些行業(yè)通用模型，但主要問(wèn)題是缺少行業(yè)數據。針對這種情況，遷移學(xué)習與聯(lián)邦學(xué)習方法應勢而生。
一、遷移學(xué)習應用介紹
遷移學(xué)習最初主要應用于一些公共數據的特征提取，作為一些新提出的算法模型的預訓練模型出現。研究者與開(kāi)發(fā)者發(fā)現，使用遷移學(xué)習進(jìn)行一些其他相關(guān)的工作建模時(shí)，對原任務(wù)的精度會(huì )有顯著(zhù)提升，因此在訓練模型時(shí)，網(wǎng)絡(luò )的權重擬合不再僅限于本任務(wù)的數據與內容，而是會(huì )聚焦于本任務(wù)所遭遇的問(wèn)題與阻礙的解決。
BERT是最典型的遷移學(xué)習的應用，目前已應用到很多需要語(yǔ)言模型的領(lǐng)域。由于BERT的網(wǎng)絡(luò )極其龐大，其網(wǎng)絡(luò )權重的擬合變得極其困難，主要體現在算力要求和數據要求上。而B(niǎo)ERT在被提出時(shí)其論文作者就考慮到了這個(gè)問(wèn)題，甚至于其論文就主要聚焦于遷移學(xué)習本身。
BERT采用龐大的語(yǔ)料數據庫進(jìn)行兩種任務(wù)的訓練：
1、Masked Language Modeling
BERT是一個(gè)深度雙向模型，此模型有效地從標記處的上下文中獲取捕獲信息。BERT的第一個(gè)任務(wù)是預測被遮擋的單詞。面對隨機遮擋一個(gè)或者多個(gè)單詞的場(chǎng)景，神經(jīng)網(wǎng)絡(luò )判斷被遮擋的單詞是什么，例如：
2、Next Sentence Prediction
Masked Language Model是為了理解詞與詞之間的關(guān)系。另外，BERT還接受了Next Sentence Prediction訓練，用于理解句與句之間的關(guān)系。給定兩個(gè)句子，句A和句B，判斷句B在語(yǔ)料庫中是否為句A之后的下一個(gè)句子，例如：
以上兩個(gè)訓練任務(wù)分別從不同的兩個(gè)角度入手，前者側重于文本特征雙向的提取，獲取基礎的文本詞向量特征，后者聚焦于句向量之間的相關(guān)性，兩者相互結合，便可有效地提取文本特征。例如：
BERT的訓練任務(wù)簡(jiǎn)單易懂，但訓練成本很高，因此預訓練模型被提出。預訓練模型即使不進(jìn)行這兩種高開(kāi)銷(xiāo)的預訓練任務(wù)，也可以得到一定精度的效果。企業(yè)根據應用場(chǎng)景再使用自己的數據進(jìn)行finetune微調訓練，便可得到業(yè)務(wù)上可用的數據模型。不同領(lǐng)域，不同行業(yè)，不同訓練角度的數據集訓練出來(lái)的權重，卻可以實(shí)現高精度的特征提取，這就是遷移學(xué)習的魅力。
二、聯(lián)邦學(xué)習應用介紹
遷移學(xué)習的主要發(fā)起方是資金雄厚的大廠(chǎng)或者專(zhuān)注研發(fā)的團隊，對于注重業(yè)務(wù)的大部分廠(chǎng)商，無(wú)法作為這種任務(wù)的主導者，只能被動(dòng)選擇。聯(lián)邦學(xué)習的提出，讓一些中小企業(yè)也能夠參與到模型的建立中，并形成自己的數據資產(chǎn)與模型資產(chǎn)。
聯(lián)邦學(xué)習本身主要有三種類(lèi)型：橫向學(xué)習，縱向學(xué)習與遷移學(xué)習。
1、橫向學(xué)習
當用戶(hù)a與用戶(hù)b的數據特征類(lèi)似，但用戶(hù)群體多有不同時(shí)，可以選擇相同特征部分的兩方用戶(hù)數據進(jìn)行加密，然后進(jìn)行聯(lián)邦學(xué)習。
2、縱向學(xué)習
當用戶(hù)a與用戶(hù)b的用戶(hù)群體類(lèi)似，但數據特征多有不同時(shí)，可以選擇相同用戶(hù)部分的兩方特征數據進(jìn)行加密，然后進(jìn)行聯(lián)邦學(xué)習。
3、遷移學(xué)習
當用戶(hù)a與用戶(hù)b的用戶(hù)群體與數據特征均多有不同時(shí)，可以選擇分別進(jìn)行建模，并進(jìn)行遷移學(xué)習來(lái)訓練共同的網(wǎng)絡(luò )權重。
三、發(fā)展趨勢
遷移學(xué)習的引入加快了算法有效落地的速度，提高了整體行業(yè)的基準水平，降低了參與者的門(mén)檻，未來(lái)也必將成為學(xué)術(shù)論文的主流方法。而聯(lián)邦學(xué)習是一種在多參與方或多計算結點(diǎn)之間開(kāi)展的一種高效率的機器學(xué)習方法，它能夠保障大數據交換時(shí)的信息安全、保護終端數據和個(gè)人數據隱私、保證合法合規。其中，聯(lián)邦學(xué)習使用的機器學(xué)習算法不局限于神經(jīng)網(wǎng)絡(luò )，還包括隨機森林等重要算法。聯(lián)邦學(xué)習正在逐步成為下一代人工智能協(xié)同算法和協(xié)作網(wǎng)絡(luò )的基礎，并作為新的驅動(dòng)力促進(jìn)大數據共享時(shí)代的發(fā)展。