• <ruby id="t69z2"></ruby>

        <video id="t69z2"></video>

        歡迎來到 阿儀網

        免費注冊

        首頁 | 產品 | 求購 | 資訊 | 專題 | 找廠商 | 打聽 | 人才 | 品牌 | 資料 | 技術文獻 | 展會 | 耗材 | 配件 | 新品 | 促銷 | 書籍 | 招標 | 優質儀器
        廣告
        廣告

        您的位置:首頁>儀器儀表資訊>實驗室動態>研究揭示介觀自組織反向傳播機制助力AI學習

        研究揭示介觀自組織反向傳播機制助力AI學習

        發布時間:2021/10/26 16:39:34編輯:Ma Liang
        已有1164人關注

        ·   
          在人工智能領域,人工神經網絡中被廣泛使用的反向傳播算法(Backpropagation,BP)采用全局優化策略,其性能卓越,但學習過程能量消耗大,缺乏靈活性。中國科學院自動化研究所、腦科學與智能技術卓越創新中心聯合研究團隊近期借助生物網絡中發現的介觀尺度自組織反向傳播機制(Self-backpropagation,SBP),在更具效率和靈活性的類腦局部學習方法方面取得了重要進展。
          SBP的發現最早可以追溯到1997年。中科院院士、中科院腦智卓越中心研究員蒲慕明團隊發現海馬體內的神經元可以將長時程抑制(Long-term depression,LTD)可塑性自組織地傳播到三個方向,分別是突觸前側向傳播(Presynaptic lateral spread)、突觸后側向傳播(Postsynaptic lateral spread)、反向傳播(Backpropagation),該發現即自組織反向傳播神經可塑性機制(SBP)。后續研究證實,SBP現象具有普遍性,不僅覆蓋更多的神經區域如視網膜-頂蓋系統,還覆蓋更多的可塑性類型,如長時程增強(Long-term potentiation,LTP)。該機制的發生歸結于生物神經元內分子調制信號的天然逆向傳遞,被認為是可能導致生物神經網絡高效反饋學習的關鍵。
          研究團隊受到該機制的啟發,對SBP的反向傳播方向(第三個方向)單獨構建數學模型(圖1A),重點描述了神經元輸出突觸的可塑性可以反向傳播到輸入突觸中(圖1B),可塑性的發生可以通過時序依賴突觸可塑性(Spike timing-dependent plasticity,STDP),也可以通過人工局部梯度調節。在標準三層脈沖神經網絡(Spiking neural network,SNN)的學習過程中,SBP機制可以自組織地完成前一層網絡權重的學習,并且可以結合短時突觸可塑性(Short-term plasticity,STP)、膜電位平衡(Homeo-static membrane potential)等,形成更強大的SNN組合學習方法(圖1C)。在一類人工神經網絡(Artificial neural network,ANN)如受限玻爾茲曼機網絡(Restricted Boltzmann machine,RBM)的學習中(圖2A),SBP機制可以替換迭代過程中部分BP機制,實現交替的協作優化(圖2B-E)。針對SNN和RBM的不同,科研人員分別設置了兩種不同的能量函數約束,來保證訓練過程中網絡參數學習的平穩性。此外,科研人員提出了統計訓練過程中能量消耗的新方法(圖3)。在圖片分類(MNIST)、語音識別(NETtalk)、動態手勢識別(DvsGesture)等多類標準數據集上,SBP機制通過組合其它可塑性機制,實現了更低能耗和更高精度的SNN局部學習(圖4)。在ANN-RBM的學習中,SBP機制也可以大量替換BP機制實現全局和局部交叉學習,在降低計算能耗同時卻不損失精度(圖5)。
          科研人員認為,SBP是一類介觀尺度的特殊生物可塑性機制,該機制同時在SNN和ANN中獲得了廣泛的組合優化優勢,對進一步深入探索類腦局部計算具有啟示性。生物智能計算的本質可能是靈活融合多類微觀、介觀等可塑性機制的自組織局部學習,結合遺傳演化賦予的遠程投射網絡結構,實現高效的全局優化學習效果。該工作可以進一步引導生物和人工網絡的深度融合,最終實現能效比高、可解釋性強、靈活度高的新一代人工智能模型。
          相關研究成果以Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks為題于10月20日在線發表在Science Advances上。研究工作得到國家自然科學基金委員會、中科院戰略性先導科技專項(B類)等的資助。
         

        微信號:ayiwangapp17

        (來源: 中國科學院科技產業網 )

        標簽:

        上一篇:水生所在跨亞科魚類基因編輯配子“借腹生殖”研究中獲進展 下一篇:冰川實時監測集成系統研發成功并投入使用

        為您推薦

        相關新聞

        喜迎元旦新年到,慶祝佳節外出餐飲需注意 發布時間:2021/12/24 9:46:48
        元旦的假期即將到來,已經有好多人安耐不住心中的喜悅想要去和三五好友一起聚餐慶祝了。雖然慶祝佳節的喜悅可以理解,但是外出聚餐還是要注意飲食安全。出門在外,飲食安全是大家擔心的重要問題,只有吃好喝好才能有
        新年新開始,飲食安全不容忽視 發布時間:2021/12/24 9:43:54
        晉代詩人辛蘭有《元正》詩:“元正啟令節,嘉慶肇自茲。咸奏萬年觴,小大同悅熙。”“元旦”一詞在我國文學作品中最早出現于《晉書》:“顓帝以孟夏正
        關于2021氣體監測新品盤點 發布時間:2021/12/24 9:41:17
                導讀:2021氣體監測新品盤點Ⅰ中,筆者盤點了部分氣體檢測儀廠商2021年新品。接下來,將按新品上市時間順序,補充
        仿生礦化鐵蛋白用于實體腫瘤靶向遞送研究獲進展 發布時間:2021/12/23 16:50:55
        ·     鐵蛋白(Fn)是一種具有獨特空腔和孔道結構的內源性蛋白,可以作為天然的藥物載體。腫瘤細胞表面通常高表達鐵蛋白受體,借助該識別
        合肥研究院研制出水面智能保潔無人子母船系統 發布時間:2021/12/23 16:47:25
        ·     中國科學院合肥物質科學研究院固體物理研究所主持研制出多種功能的智能保潔水面機器人,以此基礎,并聯合相關公司,研制出無人控制的
        廣州醫科大學附屬第一醫院采購醫療設備招標項目(招標編號:0724-2101D15N6012)中標結果公告 發布時間:2021/12/23 16:46:29
        一、采購計劃編號:440101-2021-27472二、項目編號:0724-2101D15N6012三、項目名稱:廣州醫科大學附屬第一醫院采購醫療設備招標項目四、采購結果合同包2(誘發電位系統):
        廣告

        圖片視點

        喜迎元旦新年到,慶祝佳節外出餐飲需注意

        優質產品

        版權聲明

        凡本網注明"來源:阿儀網"的所有作品,版權均屬于阿儀網,未經本網授權不得轉載、摘編或利 用其它方式使用。已獲本網授 權的作品,應在授權范圍內使用,并注明"來源:阿儀網"。違者本網將追究相關法律責任。

        本網凡注明"來源:xxx(非本網)"的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其 真實性負責,且不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、網站或個人從本網下載使用 ,必須保留本網注明 的"稿件來源",并自負版權等法律責任。

        如涉及作品內容、版權等問題,請在作品發表之日起兩周內與本網聯系,否則視為放棄相關權利。

        旗下頻道

        色譜儀 光譜儀 反應釜 試驗箱 試驗機 攪拌器 培養箱 離心機 水分測定 氣體檢測 量熱儀 石油儀器 純水器 比表面儀 溫度記錄 流量計 萬用表 顯微鏡 粒度儀 測厚儀 硬度計 酸度計 元素分析 生物試劑 電線電纜 天平衡器 傳感器 食品檢測 壓力儀表 電化學 測厚儀 閥門儀表 電力儀表 干燥設備 藥物檢測
        色三级床上片完整版大全 - 视频 - 在线播放 - 影视资讯 - 午夜看