91欧美在线免费观看,漂亮的人妻中文字幕,国产精品免费在线观看视频,男女一起插插插视频,四虎国产精品久久久久,人妻精品有码一区二区三区,亚洲 欧美 你懂的,亚洲制服一区二区三区在线,高中女厕偷拍一区二区三区

神經(jīng)網(wǎng)絡(luò)計(jì)算？(Neural Network Computing ？NNC)是通過(guò)對(duì)人腦的基本單元——神經(jīng)元的模擬，經(jīng)過(guò)輸入層、隱層、輸出層等層次結(jié)構(gòu)，對(duì)數(shù)據(jù)進(jìn)行調(diào)整、評(píng)估和分析計(jì)算，得到的一類(lèi)具有學(xué)習(xí)、聯(lián)想、記憶和模式識(shí)別等功能的智能算法。

神經(jīng)網(wǎng)絡(luò)計(jì)算示意圖（摘自互聯(lián)網(wǎng)）

要想比較深入的理解神經(jīng)網(wǎng)絡(luò)計(jì)算，就必須對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)有一定的理解，下面對(duì)其進(jìn)行一些簡(jiǎn)單介紹。
神經(jīng)網(wǎng)絡(luò)(Neural Network，NN)是由大量的、簡(jiǎn)單的處理單元（簡(jiǎn)稱(chēng)為神經(jīng)元）經(jīng)廣泛互連而形成的一個(gè)復(fù)雜網(wǎng)絡(luò)系統(tǒng)，反映了人腦功能的許多基本特征，是一個(gè)高度復(fù)雜化的非線(xiàn)性動(dòng)力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲(chǔ)和處理、自組織、自適應(yīng)和自學(xué)習(xí)等能力，特別適合處理需要同時(shí)考慮眾多因素和條件的、含不精確和模糊信息的實(shí)際問(wèn)題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、控制論、機(jī)器人學(xué)、心理學(xué)、分子生物學(xué)等諸多學(xué)科有關(guān)，是一門(mén)新興的邊緣交叉學(xué)科。

神經(jīng)網(wǎng)絡(luò)示意圖（摘自互聯(lián)網(wǎng)）

神經(jīng)網(wǎng)絡(luò)是腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域,也是近年來(lái)高科技領(lǐng)域的一個(gè)新的研究熱點(diǎn)，其目的是想通過(guò)對(duì)人腦的組成機(jī)理和思維方式等的研究,進(jìn)而通過(guò)模擬人腦的結(jié)構(gòu)和工作模式使機(jī)器具有類(lèi)似人類(lèi)的智能。
神經(jīng)網(wǎng)絡(luò)就是通過(guò)神經(jīng)元、細(xì)胞、觸突等結(jié)構(gòu)組成的一個(gè)大型網(wǎng)絡(luò)結(jié)構(gòu)，用來(lái)幫助生物進(jìn)行思考和行動(dòng)。那么人們就想到了計(jì)算機(jī)是不是也可以像人腦一樣具有這種結(jié)構(gòu)，這樣是不是就可以進(jìn)行類(lèi)似的思考。

神經(jīng)元示意圖（摘自互聯(lián)網(wǎng)）

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖（摘自互聯(lián)網(wǎng)）

人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細(xì)胞)，是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。神經(jīng)生物學(xué)家研究的結(jié)果表明，人的一個(gè)大腦一般有一千個(gè)以上的神經(jīng)元，每個(gè)神經(jīng)元都由一個(gè)細(xì)胞體，一個(gè)連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支——樹(shù)突組成。軸突的功能是將神經(jīng)元的輸出信號(hào)傳遞給別的神經(jīng)元，其末端的許多神經(jīng)末梢使得信號(hào)可以同時(shí)傳送給多個(gè)神經(jīng)元。樹(shù)突的功能是接受來(lái)自其它神經(jīng)元的信號(hào)，神經(jīng)元細(xì)胞體將接受到的所有信號(hào)進(jìn)行簡(jiǎn)單處理后再由軸突輸出。神經(jīng)元的樹(shù)突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱(chēng)為突觸，這一結(jié)構(gòu)的特點(diǎn)決定著人工神經(jīng)網(wǎng)絡(luò)具有高速信息處理的能力。人腦的每個(gè)神經(jīng)元大約有上百個(gè)樹(shù)突及相應(yīng)的突觸，一個(gè)人的大腦形成一千個(gè)左右的突觸。雖然每個(gè)神經(jīng)元的運(yùn)算功能十分簡(jiǎn)單，且信號(hào)傳輸速率也較低，但由于各神經(jīng)元之間的極度并行互連功能，最終使得一個(gè)普通人的大腦在約1秒內(nèi)就能完成現(xiàn)行計(jì)算機(jī)至少需要數(shù)10億次運(yùn)算處理能力才能完成的任務(wù)。
人腦神經(jīng)網(wǎng)絡(luò)的知識(shí)存儲(chǔ)容量很大。在神經(jīng)網(wǎng)絡(luò)中，知識(shí)與信息的存儲(chǔ)表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系，分散地表示和存儲(chǔ)于整個(gè)網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線(xiàn)上。每個(gè)神經(jīng)元及其連線(xiàn)只表示一部分信息，而不是一個(gè)完整的具體概念，只有通過(guò)各神經(jīng)元的分布式綜合效果才能表達(dá)出特定的概念和知識(shí)。
由于人腦神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)眾多以及整個(gè)網(wǎng)絡(luò)存儲(chǔ)信息容量巨大，使得它具有很強(qiáng)的不確定性信息的處理能力，即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能夠通過(guò)聯(lián)想思維得到存在于記憶中事物的完整圖象，只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出正確的推理結(jié)論。
下圖中的x₁、x₂、x₃等表示輸入值，構(gòu)成第一層L₁，組成輸入層；中間的圓形成L₂、 L₃？、L₄等多個(gè)層次，組成隱層；神經(jīng)元經(jīng)過(guò)多層的調(diào)整、評(píng)估和分析計(jì)算處理后得出h_w,b(x)的結(jié)果作為神經(jīng)元的輸出值，構(gòu)成輸出層，組成人們常說(shuō)的人工神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)示意圖（摘自互聯(lián)網(wǎng)）

上圖中的橙色圓都是用來(lái)計(jì)算h_w,b(x)的，縱向我們叫做層（Layer），每一層都以前一層的結(jié)果做為輸入，經(jīng)過(guò)處理得到輸出結(jié)果傳遞給下一層
如果我們把神經(jīng)網(wǎng)絡(luò)看做一個(gè)黑盒子，那么最左邊的x₁、x₂、x₃等是這個(gè)黑盒子的輸入X，最右邊的h_w,b(x)是這個(gè)黑盒的輸出Y，可以通過(guò)一個(gè)數(shù)學(xué)模型進(jìn)行擬合，通過(guò)大量數(shù)據(jù)來(lái)訓(xùn)練這個(gè)模型，之后就可以通過(guò)訓(xùn)練好的模型預(yù)估新的樣本X應(yīng)該能得出什么樣的結(jié)果Y。
以上簡(jiǎn)單說(shuō)明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，通過(guò)較深的多個(gè)層次來(lái)模擬真實(shí)情況，從而構(gòu)造出最能表達(dá)真實(shí)世界的模型，它的運(yùn)作成本就是海量的訓(xùn)練數(shù)據(jù)和巨大的計(jì)算處理工作量。
正是因?yàn)槿四X神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)和其信息存儲(chǔ)的分布式特點(diǎn)，使得它相對(duì)于其它的判斷識(shí)別系統(tǒng)，如專(zhuān)家系統(tǒng)、層次分析系統(tǒng)等，具有顯著的穩(wěn)健性?xún)?yōu)點(diǎn)。生物神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)閭€(gè)別神經(jīng)元的損失而失去對(duì)原有模式的記憶，最有力的證明是，當(dāng)一個(gè)人的大腦因意外事故受輕微損傷之后，并不會(huì)失去原有事物的全部記憶。神經(jīng)網(wǎng)絡(luò)也有類(lèi)似的情況。因某些原因，無(wú)論是網(wǎng)絡(luò)的硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)中的某個(gè)或某些神經(jīng)元失效時(shí)，整個(gè)網(wǎng)絡(luò)仍然能繼續(xù)工作。
人工神經(jīng)網(wǎng)絡(luò)是一種非線(xiàn)性的處理單元。只有當(dāng)神經(jīng)元對(duì)所有的輸入信號(hào)的綜合處理結(jié)果超過(guò)某一門(mén)限值后才輸出一個(gè)信號(hào)，因此神經(jīng)網(wǎng)絡(luò)是一種具有高度非線(xiàn)性的超大規(guī)模連續(xù)時(shí)間動(dòng)力學(xué)系統(tǒng)，突破了傳統(tǒng)的以線(xiàn)性處理為基礎(chǔ)的計(jì)算機(jī)的局限性，標(biāo)志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。
神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)多年的研究和發(fā)展，已經(jīng)形成了幾十種類(lèi)型不同并各具特點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型，分析處理算法也各具特點(diǎn)，所以下面只簡(jiǎn)單的介紹幾種典型的常用神經(jīng)網(wǎng)絡(luò)。
1．多層感知網(wǎng)絡(luò)。它是一類(lèi)具有三層或三層以上的階層型神經(jīng)網(wǎng)絡(luò)。典型的多層感知網(wǎng)絡(luò)是三層、前饋型的階層網(wǎng)絡(luò)，即含有輸入層、隱層(也稱(chēng)中間層、隱含層)和輸出層。相鄰層之間的各神經(jīng)元實(shí)現(xiàn)全連接，即下一層的每一個(gè)神經(jīng)元與上一層的每個(gè)神經(jīng)元都實(shí)現(xiàn)全連接，而且每層各神經(jīng)元之間無(wú)連接。但它并非十分完善，存在以下一些主要缺陷：學(xué)習(xí)收斂速度慢、網(wǎng)絡(luò)的學(xué)習(xí)記憶具有不穩(wěn)定性，當(dāng)給一個(gè)訓(xùn)練好的網(wǎng)提供新的學(xué)習(xí)記憶模式時(shí)，將使已有的連接權(quán)值被打亂，導(dǎo)致已記憶的學(xué)習(xí)模式的信息的消失。
2．競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)。它是基于人的視網(wǎng)膜及大腦皮層對(duì)剌激的反應(yīng)而引出的一類(lèi)神經(jīng)網(wǎng)絡(luò)。神經(jīng)生物學(xué)的研究結(jié)果顯示生物視網(wǎng)膜中有許多特定的細(xì)胞，對(duì)特定的輸入模式如圖形比較敏感，并使得大腦皮層中的特定細(xì)胞產(chǎn)生大的興奮，而其相鄰的神經(jīng)細(xì)胞的興奮程度被抑制。對(duì)于某一個(gè)輸入模式，通過(guò)競(jìng)爭(zhēng)在輸出層中只激活一個(gè)相應(yīng)的輸出神經(jīng)元。許多輸入模式，在輸出層中將激活許多個(gè)神經(jīng)元，從而形成一個(gè)反映輸入數(shù)據(jù)的“特征圖形”。競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)是一種以無(wú)教師方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)，通過(guò)自身訓(xùn)練，自動(dòng)對(duì)輸入模式進(jìn)行分類(lèi)。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)規(guī)則與其它類(lèi)型的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)規(guī)則相比，有其自己的鮮明特點(diǎn)。在網(wǎng)絡(luò)結(jié)構(gòu)上，它既不象階層型神經(jīng)網(wǎng)絡(luò)那樣各層神經(jīng)元之間只有單向連接，也不象全連接型網(wǎng)絡(luò)那樣在網(wǎng)絡(luò)結(jié)構(gòu)上沒(méi)有明顯的層次界限。它一般是由輸入層(模擬視網(wǎng)膜神經(jīng)元)和競(jìng)爭(zhēng)層(模擬大腦皮層神經(jīng)元，也叫輸出層)構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向全連接，而且網(wǎng)絡(luò)中沒(méi)有隱含層，有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間存在橫向連接。競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)的基本思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝利者，并且只將與獲勝神經(jīng)元有關(guān)的各連接權(quán)值進(jìn)行修正，使之朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整。神經(jīng)網(wǎng)絡(luò)工作時(shí)，對(duì)于某一輸入模式，網(wǎng)絡(luò)中與該模式最相近的學(xué)習(xí)輸入模式相對(duì)應(yīng)的競(jìng)爭(zhēng)層神經(jīng)元將有最大的輸出值，即以競(jìng)爭(zhēng)層獲勝神經(jīng)元來(lái)表示分類(lèi)結(jié)果。這是通過(guò)競(jìng)爭(zhēng)得以實(shí)現(xiàn)的，實(shí)際上也就是網(wǎng)絡(luò)回憶聯(lián)想的過(guò)程。
競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)和不足之處在于它僅以輸出層中的單個(gè)神經(jīng)元代表某一類(lèi)模式，所以一旦輸出層中的某個(gè)輸出神經(jīng)元損壞，則導(dǎo)致該神經(jīng)元所代表的該模式信息全部丟失。
3．霍普菲爾網(wǎng)絡(luò)（Hopfield network，HN）。它是一個(gè)由非線(xiàn)性元件構(gòu)成的全連接型單層反饋系統(tǒng)。網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過(guò)連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過(guò)來(lái)的信息，即網(wǎng)絡(luò)中的神經(jīng)元t時(shí)刻的輸出狀態(tài)實(shí)際上間接地與自己的t-1時(shí)刻的輸出狀態(tài)有關(guān)。所以，霍普菲爾神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型的網(wǎng)絡(luò)，狀態(tài)變化可以用差分方程來(lái)表征。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。這里的能量函數(shù)不是物理意義上的能量函數(shù)，而是在表達(dá)形式上與物理意義上的能量概念一致，表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)霍普菲爾工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。如果把一個(gè)最優(yōu)化問(wèn)題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問(wèn)題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么霍普菲爾神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問(wèn)題。
霍普菲爾神經(jīng)網(wǎng)絡(luò)的能量函數(shù)是朝著梯度減小的方向變化，但它仍然存在一個(gè)問(wèn)題，那就是一旦能量函數(shù)陷入到局部極小值，它將不能自動(dòng)跳出局部極小點(diǎn)，到達(dá)全局最小點(diǎn)，因而無(wú)法求得網(wǎng)絡(luò)的整體最優(yōu)解
4. BP(back propagation)神經(jīng)網(wǎng)絡(luò)。它有一種按照誤差逆向傳播訓(xùn)練的算法、以此增強(qiáng)網(wǎng)絡(luò)的分類(lèi)和識(shí)別能力、解決非線(xiàn)性問(wèn)題而采用多層前饋網(wǎng)絡(luò)，即在輸入層和輸出層之間加上隱層，構(gòu)成多層前饋感知器網(wǎng)絡(luò)，是一種對(duì)非線(xiàn)性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)算法就是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)、采用梯度下降法來(lái)計(jì)算目標(biāo)函數(shù)的最小值。
BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，這里將對(duì)其算法進(jìn)行一些進(jìn)一步的介紹。
BP神經(jīng)網(wǎng)絡(luò)算法是一種有監(jiān)督式的學(xué)習(xí)算法，由輸入層、中間層、輸出層組成的多階層神經(jīng)網(wǎng)絡(luò)，中間層可擴(kuò)展為多層。相鄰層之間各神經(jīng)元進(jìn)行全連接，而每層各神經(jīng)元之間無(wú)連接。網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值，然后按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能的接近。此過(guò)程反復(fù)交替進(jìn)行，直至網(wǎng)絡(luò)的全局誤差趨向給定的極小值，即完成學(xué)習(xí)的過(guò)程。當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。粗略的計(jì)算步驟如下：
（1）初始化，隨機(jī)給定各連接加權(quán)值[w_ij]，[v_jt]及閾值 _i，r_t；
（2）根據(jù)給定的輸入輸出模式，經(jīng)計(jì)算隱層、輸出層各單元的輸出結(jié)果為：
b_j=f（？w_ija_i- _j），？c_t=f（？v_jtbj－r_t）；
式中b_j為隱層第j個(gè)神經(jīng)元的實(shí)際輸出；c_t為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出；w_ij為輸入層至隱層的連接權(quán)；v_jt為隱層至輸出層的連接權(quán)；
（3）選取下一個(gè)輸入模式，返回第2步反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)的輸出誤差達(dá)到要求時(shí)結(jié)束訓(xùn)練。
傳統(tǒng)的BP算法，實(shí)質(zhì)上是把一組樣本輸入/輸出問(wèn)題轉(zhuǎn)化為一個(gè)非線(xiàn)性?xún)?yōu)化問(wèn)題，并通過(guò)梯度下降算法，利用迭代運(yùn)算求解權(quán)值問(wèn)題的一種學(xué)習(xí)方法，但其收斂速度慢且容易陷入局部極小，可用高斯消元法進(jìn)行改進(jìn)。欲了解更詳細(xì)的算法，可參考其他有關(guān)文獻(xiàn)。
BP神經(jīng)網(wǎng)絡(luò)最主要的優(yōu)點(diǎn)是具有極強(qiáng)的非線(xiàn)性映射能力。理論上，對(duì)于一個(gè)三層和三層以上的BP網(wǎng)絡(luò)，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡(luò)就能以任意精度逼近一個(gè)非線(xiàn)性函數(shù)。其次，BP神經(jīng)網(wǎng)絡(luò)具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這是因?yàn)樗捎昧朔植疾⑿械男畔⑻幚矸绞?，?duì)信息的提取必須采用聯(lián)想的方式，才能將相關(guān)神經(jīng)元全部調(diào)動(dòng)起來(lái)。這種能力使其在圖像復(fù)原、語(yǔ)言處理、模式識(shí)別等方面具有重要應(yīng)用。再次，BP神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類(lèi)能力。由于它具有強(qiáng)大的非線(xiàn)性處理能力，因此可以較好地進(jìn)行非線(xiàn)性分類(lèi),解決了神經(jīng)網(wǎng)絡(luò)發(fā)展史上的非線(xiàn)性分類(lèi)難題，使其具有優(yōu)化計(jì)算的能力。BP神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非線(xiàn)性?xún)?yōu)化問(wèn)題,它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。不過(guò)，其優(yōu)化計(jì)算存在局部極小問(wèn)題，必須通過(guò)改進(jìn)才能進(jìn)一步完善。
多層神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于線(xiàn)性系統(tǒng)和非線(xiàn)性系統(tǒng)中，對(duì)于任意函數(shù)模擬逼近。當(dāng)然，感知器和線(xiàn)性神經(jīng)網(wǎng)絡(luò)能夠解決這類(lèi)網(wǎng)絡(luò)問(wèn)題。但是，雖然理論上是可行的，但實(shí)際上BP網(wǎng)絡(luò)并不一定總能有解。
對(duì)于非線(xiàn)性系統(tǒng)，選擇合適的學(xué)習(xí)率是一個(gè)重要問(wèn)題。在線(xiàn)性網(wǎng)絡(luò)中，學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定；相反，學(xué)習(xí)率過(guò)小又會(huì)造成訓(xùn)練時(shí)間過(guò)長(zhǎng)。和線(xiàn)性網(wǎng)絡(luò)不同，對(duì)于非線(xiàn)性多層網(wǎng)絡(luò)很難選擇很好的學(xué)習(xí)率。
非線(xiàn)性網(wǎng)絡(luò)的誤差面比線(xiàn)性網(wǎng)絡(luò)的誤差面復(fù)雜得多，問(wèn)題在于多層網(wǎng)絡(luò)中非線(xiàn)性傳遞函數(shù)有多個(gè)局部最優(yōu)解。尋優(yōu)的過(guò)程與初始點(diǎn)的選擇關(guān)系很大，初始點(diǎn)如果更靠近局部最優(yōu)點(diǎn)，而不是全局最優(yōu)點(diǎn)，就不會(huì)得到正確的結(jié)果，這也是多層網(wǎng)絡(luò)無(wú)法得到最優(yōu)解的一個(gè)原因。為了解決這個(gè)問(wèn)題，在實(shí)際訓(xùn)練過(guò)程中，應(yīng)重復(fù)選取多個(gè)初始點(diǎn)進(jìn)行訓(xùn)練，以保證訓(xùn)練結(jié)果的全局最優(yōu)性。網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目也對(duì)網(wǎng)絡(luò)有一定的影響。神經(jīng)元數(shù)目太少會(huì)造成網(wǎng)絡(luò)的不適性，而神經(jīng)元數(shù)目太多又會(huì)引起網(wǎng)絡(luò)的過(guò)適性。
BP神經(jīng)網(wǎng)絡(luò)無(wú)論在網(wǎng)絡(luò)理論還是在性能方面都已比較成熟，突出優(yōu)點(diǎn)就是具有很強(qiáng)的非線(xiàn)性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)的中間層數(shù)、各層的神經(jīng)元個(gè)數(shù)可根據(jù)具體情況任意設(shè)定，并且隨著結(jié)構(gòu)的差異其性能也有所不同。但BP神經(jīng)網(wǎng)絡(luò)也存在缺陷，主要表現(xiàn)在學(xué)習(xí)速度慢，容易陷入局部極小值，網(wǎng)絡(luò)層數(shù)、神經(jīng)元個(gè)數(shù)的選擇還缺少相應(yīng)的理論指導(dǎo)。
人工神經(jīng)網(wǎng)絡(luò)能較好的模擬人的形象思維,對(duì)信息具有很好的隱藏性,還具有容錯(cuò)性強(qiáng)、穩(wěn)健性強(qiáng)和自學(xué)習(xí)性強(qiáng)等特點(diǎn),是一個(gè)大規(guī)模自組織、自適應(yīng)且具有高度并行協(xié)同處理能力的非線(xiàn)性動(dòng)力系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用已經(jīng)滲透到多個(gè)領(lǐng)域，諸如信息處理、自動(dòng)化、工程應(yīng)用、經(jīng)濟(jì)發(fā)展評(píng)價(jià)和輔助決策及醫(yī)學(xué)領(lǐng)域中的檢測(cè)數(shù)據(jù)分析和醫(yī)學(xué)專(zhuān)家系統(tǒng)等。
總起來(lái)看，神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)計(jì)算模型不同。從計(jì)算方式上講，神經(jīng)元網(wǎng)絡(luò)計(jì)算把一些簡(jiǎn)單的、大量的計(jì)算單元連接在一起，形成網(wǎng)絡(luò)計(jì)算，代替只用一個(gè)計(jì)算單元進(jìn)行計(jì)算的傳統(tǒng)模式，也就是用分布式、并行計(jì)算代替集中式、串行計(jì)算；從模型構(gòu)建上講，傳統(tǒng)的計(jì)算方法采用從上到下的方式預(yù)先構(gòu)建數(shù)學(xué)模型，在神經(jīng)元網(wǎng)絡(luò)中，系統(tǒng)通過(guò)采集數(shù)據(jù)并進(jìn)行學(xué)習(xí)的方法在計(jì)算過(guò)程中構(gòu)建數(shù)據(jù)模型，進(jìn)而建立網(wǎng)絡(luò)結(jié)構(gòu)；綜合講來(lái)，神經(jīng)元網(wǎng)絡(luò)適應(yīng)性較強(qiáng)，并行計(jì)算處理速度較快，對(duì)經(jīng)驗(yàn)知識(shí)要求較少。
一般來(lái)講，神經(jīng)網(wǎng)絡(luò)在規(guī)模比較小時(shí)效果不錯(cuò)。規(guī)?？捎萌齻€(gè)指標(biāo)來(lái)衡量：特征數(shù)量(通常在二三百個(gè)左右)、訓(xùn)練樣本數(shù)(通常由幾千到幾萬(wàn))和分類(lèi)數(shù)(通常有幾十個(gè))。當(dāng)問(wèn)題規(guī)模變大時(shí)，比如特征數(shù)過(guò)千、訓(xùn)練樣本數(shù)達(dá)到了幾萬(wàn)甚至幾十萬(wàn)，特別是分類(lèi)數(shù)達(dá)到幾百、上千，這時(shí)的神經(jīng)元網(wǎng)絡(luò)計(jì)算可能會(huì)出現(xiàn)一些問(wèn)題。
人工神經(jīng)網(wǎng)絡(luò)特有的非線(xiàn)性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對(duì)于直覺(jué)，如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專(zhuān)家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展。近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類(lèi)認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進(jìn)化機(jī)制等結(jié)合，形成計(jì)算智能，成為人工智能的一個(gè)重要的研究方向，將會(huì)在實(shí)際應(yīng)用中得到進(jìn)一步發(fā)展，將信息集合應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開(kāi)辟了新的途徑。
神經(jīng)元網(wǎng)絡(luò)計(jì)算越來(lái)越受到人們的關(guān)注，為解決大型復(fù)雜度高的問(wèn)題提供了一種相對(duì)來(lái)說(shuō)比較簡(jiǎn)單的有效算法，能較容易地解決具有上百個(gè)參數(shù)的分類(lèi)和回歸計(jì)算中一些常見(jiàn)的問(wèn)題。