與人類記憶不同，大多數神經網絡通常會不加選擇地處理信息。在信息規模不大的情形下，這樣是可行的，但目前的人工智能需要處理和應對越來越多的信息，這將導致不可持續的高昂的計算成本。

因此，Facebook的研究人員希望通過指定一個截止日期來幫助未來的人工智能更多地關注重要數據。他們開發了深度學習的一種新方法——Expire-Span，為神經網絡配備了大規模遺忘能力。這屬于業內首創，能幫助神經網絡更有效地分類和存儲與其所分配任務最相關的信息。

Expire-Span的工作原理是先預測與手頭任務最相關的信息，然后根據上下文，Expire-Span為每條信息分配一個截止日期。當日期過了，人工智能系統的信息就會逐漸失效。這樣，對其操作至關重要的信息可以保留更長的時間，而無關的信息可以更快地過期，從而釋放系統內存空間，以便系統專注于核心任務。每次增加一個新的數據集，系統不僅會評估其相對重要性，還會重新評估現有數據點相對于新數據點的重要性。這也有助于人工智能學習更有效地使用可用內存，從而促進整個系統的可擴展性。

在人工智能中忘記無關信息的主要挑戰是它是一個離散操作。就像構成人工智能代碼的1和0一樣，系統可以忘記或不忘記一條信息——沒有中間值。優化這些離散操作非常困難，之前解決這個問題的方法通常是壓縮不太有用的數據，以便它在內存中占用更少的空間。雖然這使得模型可以擴展到更廣的范圍，但壓縮會產生模糊的內存版本。

每次出現新信息時，Expires–Span會計算每個隱藏狀態的過期值，并確定該信息作為內存保存了多長時間。這種信息的逐漸衰減是保留重要信息而不使其模糊的關鍵，并且學習機制允許模型根據需要調整跨度大小。因此，Expire-Span是根據從數據中學習到的內容，并受周圍記憶的影響來計算并預測。

雖然目前這項技術還處于研究的早期階段，但為了使人工智能系統更接近人類，專家正在研究如何將不同類型的記憶整合到神經網絡中。在未來，研究團隊希望人工智能能夠更接近人類的記憶，學習能力比目前的系統快得多。

聲明：本文版權歸原作者所有，轉載請注明出處，請勿轉載至外網或用于商業用途。