分子性質預測（Molecule Property Prediction）是研究者在進行新藥發(fā)現(xiàn)研究時經常會遇到的問題。由于新藥發(fā)現(xiàn)研究中已知藥理性質的分子（有標簽樣本）少，小樣本學習（Few-Shot Learning）的方法在分子性質預測問題中有不錯的效果。在已有的小樣本的分子性質預測研究中，很多工作會選擇直接使用小樣本學習的經典方法，但是忽視了分子性質預測這個問題的特性，比如分子之間的關系以及同種分子在不同性質上的表現(xiàn)。在這篇工作中，我們提出了新的分子性質預測模型PAR，在獲取分子表征的過程中加入self-attention層獲取分子性質信息，創(chuàng)新地加入了分子關系學習和參數(shù)部分更新的策略，解決了已有工作存在的問題，在多個分子性質預測的數(shù)據集中取得了很好的效果。
原文鏈接
https://arxiv.org/abs/2107.07994
代碼實現(xiàn)：
https://github.com/tata1661/PAR-NeurIPS21
論文PPT：
https://github.com/tata1661/PAR-NeurIPS21/blob/main/DRUG-NeurIPS.pdf
背景介紹
目前，分子性質預測（Molecule Property Prediction）在新藥發(fā)現(xiàn)的領域有著非常重要的應用。在目前藥物研發(fā)的過程中，研發(fā)流程長、開銷大，需要參與篩選的分子數(shù)量非常多。[1]又由于能夠進入實測環(huán)節(jié)的藥物數(shù)量少，在研究過程中已知藥理特性的分子（有標簽樣本）也很少。使用機器學習的方法可以輔助進行分子性質預測，幫助解決藥物研發(fā)過程中存在的問題。
小樣本學習（Few-Shot Learning）是機器學習的一種，“小樣本”體現(xiàn)在學習過程中已知的有標簽樣本數(shù)量少。小樣本學習的應用場景主要包括：處理罕見場景（新藥發(fā)現(xiàn)），降低數(shù)據的收集、標注、處理和計算開銷（圖像、文本分類方面）。[2]經典的小樣本學習方法包括SiameseNet[3]、ProtoNet[4]、MAML[5]等。由于目前分子性質預測問題中就存在有標簽樣本少的問題，小樣本學習在分子性質預測問題中有廣泛的應用。
已有方法及問題
已有的分子性質預測方法大都遵循一個固定的框架：把分子看成圖，原子為圖中的點，化學鍵為邊，將分子送入圖神經網絡（GNN）之后即可得到分子表征（圖表征）；之后再通過小樣本的學習方法得到分子性質預測的結果。本文主要介紹兩種已有的方法。
此方法全稱為“Iterative Refinement LSTM”[6]，主要采用了小樣本圖像分類任務中的著名工作Matching Network[7]的思路，利用圖像（分子）表征之間的相似度關系來判斷圖片（分子）之間的關系，從而預測圖像（分子）的標簽。在采用Matching Network的基礎之上，該工作提出了IterRefLSTM，改進了Matching Network工作中計算表征函數(shù)過程中存在的一些不足，取得了不錯的效果。
Meta-MGNN[8]方法結合了小樣本學習中的經典算法MAML[5]以及預訓練圖神經網絡的工作preGNN[9]，并采用了preGNN中提供的分子表征預訓練模型進行訓練，從而解決分子性質預測的問題。在設計模型的過程中，該方法也借鑒了preGNN中的一些想法，通過設計一些任務（判斷原子類型或原子之間的化學鍵是否存在），來挖掘分子結構中存在的無標簽信息。
雖然上述兩種方法都存在其創(chuàng)新之處，但是它們存在共同的缺點，它們都在訓練中忽視了分子之間的關系，在獲取分子表征的時候，也沒有考慮需要預測的性質信息。
PAR方法介紹
已有方法存在的問題在上圖的例子中可以體現(xiàn)出來。雖然同樣是這四個分子，但是我們需要預測的性質不相同時，這四個分子之間的關系就會截然不同。已有方法在提取分子表征的時候并不會考慮當前需要預測的是什么性質，因此在預測這四個分子的不同性質時會給出同樣的結果，從而導致預測出現(xiàn)錯誤。
針對已有方法中普遍存在的問題，我們提出了PAR[10]方法。PAR的模型結構主要分為對分子性質敏感的分子表征學習（Property-Aware Molecular Embedding）和關系圖學習（Relation Graph Learning）兩個部分。在分子表征學習的部分，我們將分子送入圖神經網絡（GNN）得到分子表征之后，分別取起作用（active）和不起作用（inactive）的分子表征的平均作為類代表；在此之后，每一個得到的分子表征和兩個類代表做self-attention得到新的分子表征，這樣新的分子表征就得到了需要預測的性質的信息。在關系圖學習的部分，我們采用了動態(tài)圖學習的策略，旨在利用動態(tài)圖學習的GNN網絡更好地學習分子間關系以及分子表征。
在訓練的過程中，我們采用了MAML進行小樣本學習，也將模型中的參數(shù)分成泛用的參數(shù)以及特定性質相關的參數(shù)兩類，在訓練過程中采用部分更新的策略，提升模型的訓練效果。在損失函數(shù)的選取上，除了采用預測分類的損失之外，我們還加入了分子之間關系判斷的正則化項。
上表將我們提出的PAR方法與前面兩種已有的方法進行了對比，PAR采用MAML的小樣本學習方法，針對已有方法的缺陷提出了對分子性質敏感（Property Aware）的學習策略、分子間關系（Molecule relation）學習以及參數(shù)部分更新（Selective Update）的訓練策略。此外PAR同時支持與訓練和非預訓練模型，而前面兩種方法只支持其中一種。
實驗結果
從實驗結果可以看出，不論是在預訓練模型還是無預訓練模型中，PAR模型都可以取得非常不錯的效果，這得益于我們針對已有方法的改進以及一些創(chuàng)新的設計。
為了驗證PAR是否可以給出對分子性質敏感（Property Aware）的分子表征，我們選取了10個分子、3種不同的性質進行驗證。從可視化結果可以看出，PAR的模型可以隨著訓練的進行將不同性質的分子分開，并不會因為同樣是這10個分子給出相同的結果。這也說明PAR的設計是成功的。
未來工作
在未來的工作中，PAR在以下幾個方面可以做擴展：對于分子性質預測，我們可以考慮做不同分子性質數(shù)據集之間的遷移學習，甚至其他跨度更廣的遷移學習；目前我們做的都是小樣本的分子性質預測，將來我們也可以考慮做小樣本的分析性質回歸問題；考慮其他經典的小樣本學習方法在分子性質預測中的應用，比如RelationNet[11]；考慮設計更適合表征分子的GNN，提取更多更全的分子信息等。
參考資料
H. Matthews et al. 2016. “Omics”-Informed Drug and Biomarker Discovery: Opportunities, Challenges and Future Perspectives. Proteomes.
Y. Wang, et al. 2020. Generalizing from a Few Examples: A Survey on Few-Shot Learning, ACM Computing Surveys.
Koch et al. 2015. Siamese Neural Networks for One-shot Image Recognition, International Conference on Machine Learning
J. Snell et al. 2017. Prototypical networks for few-shot learning. In Advances in Neural Information Processing Systems.
Finn et al. 2017. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks, International Conference on Machine Learning
Han et al. 2017. Low Data Drug Discovery with One-Shot Learning, ACS Central Science.
Oriol et al. 2016. Matching Networks for One Shot Learning. In Advances in Neural Information Processing Systems.
Guo et al. 2021. Few-Shot Graph Learning for Molecular Property Prediction, The Web Conference.
Hu et al. 2020. Strategies for Pre-training Graph Neural Networks, International Conference on Learning Representations.
Wang et al. 2021. Property-Aware Relation Networks for Few-Shot Molecular Property Prediction, In Advances in Neural Information Processing Systems.
F. Sung et al. 2018. Learning to compare: Relation network for few-shot learning. In Conference on Computer Vision and Pattern Recognition.
