شبکه عصبی پرسپترن چند لايه

صفحه 1:
هو العلیم 

صفحه 2:
Multi Layer Perceptron ALY sa fe py mae AS E. Rashedi KGUT, Kerman, Iran 

صفحه 3:
Multi Layered Perceptron Input ۳۱06۸ lenis ‏علد الك ور‎ ‏موم‎ i 

صفحه 4:
نرون ها طبق معماری شبکه. به صورت وزندار به هم مرتبط شده اند. شبکه یک مرحله یادگیری دارد. شبکه قادر است برای هر ورودی» خروجی مطلوب را بر گردانند. 

صفحه 5:


صفحه 6:
شبکه های عصبی چند لابه Input Hidden Output + Information flow is unidirectional * Data is presented to /nput layer + Passed on to Hidden Layer * Passed on to Output layer * Information is distributed * Information processing is parallel Internal representation (interpretation) af data Information متف 

صفحه 7:
Output ——> Input input attributes target attributes vector x vector t 

صفحه 8:
نحوه ی کار با شبکه * طراحی شبکه (تعداد لایه هاء تعداد گرهها در هر لایه» تابع تحریک هر ‎(AY‏ * اعمال ورودیها به شبکه و آموزش شبکه * تست شبک 

صفحه 9:
Kdo2so.010 ویامچه دیتای ورودی 

صفحه 10:
یادگیری مثالها Quantization of pattern space into p decision classes ——— ‏لوكو‎ ‎RP) ENS { 2 | + ‏باه‎ 5 1 ‏تسد‎ Se “Learning by Examples” Input Patterns Q- Response: ۳ Le] * ۳ | x, =|" xe} 

صفحه 11:
Neural Network + Feed-forward network, Multilayer Perceptron Wi, conection weight ‏سس هه‎ Signal flow direction W, comction weight Vectoref | ‏ود‎ OS SOK (cami ry input signal ١ 2 Neural Network Output 0م وید Input Layer Hidden Layer Output Layer Architecture of one hidden layer multilayer perceptron (MLP) 

صفحه 12:
مدل ریاضی یک نورون * نرون کوچکترین واحد یک شبکه عصبی مصنوعی است. * در بدنه هر نرون تابع انتقال قرار دارد که به آن تابع تحریک نیز می گویند. ۴ Output 

صفحه 13:
13 مدل ریاضی یک نورون ... Ouput Output Activation Function Output Input Function x, Xe, Inputs % x, x, 

صفحه 14:
Activation/Transformation Functions threshold linear y | y | a a piece-wise linear sigmoid عر ۸ 

صفحه 15:
تابع تحریک مثالهایی از تابع تحریک 1 Lr sigmoidal 1+ ‏لاج‎ neuron ‏علا‎ tf = 2 yae ۶8 Gaussian neuron 

صفحه 16:
16 synduj 

صفحه 17:
Threshold Logic Unit (TLU) XO is the bias Xy-1 Ww activation ۵ output 6۳-6 ‏وه‎ ‎: 5 ‏اوح‎ ۷ * 1 ۱۴۵ < 0 y= 1 0:۴2 > 0 inputs weights 

صفحه 18:
Decision Surface 0 @ Decision line W, X, + W,X, = 90 

صفحه 19:
لل ]29 < | OUTPUT INPUTS © ty 

صفحه 20:
Sigmoid Unit y=o(a)=1/(1+e*) o(x) is the sigmoid function: 1/(1+e*) XO is the bias 

صفحه 21:
21 

صفحه 22:
perties of architecture 9 connections within a layer 9 direct connections between input and output layers illy connected between layers Each unit is a perceptron ‎BD)‏ + يدهم لم ح بو ‎ ‎ ‎ ‎22 ‎ ‎ 

صفحه 23:
Pattern classification * از کاربردهای شبکه عصبی در طبقه بندی داده ها است. داده ها به صورت زوج های ورودی خروجی هستند. خروجی مطلوب برای هر داده دسته (1355© ) مربوط به آن داده است. 

صفحه 24:
Example of a linear decision boundary for binary classification. 

صفحه 25:
Perceptron Learning Theorem ۰ A perceptron (threshold unit) can /earn anything that it can represent (i.e. anything separable with a hyperplane) OR function xX; مره و داد 6 دب هت د اه هاچ 

صفحه 26:
The Exclusive OR problem A Perceptron cannot represent Exclusive OR since it is not linearly separable. XOR function % 3 .0 8ه x x. y 0 0 0 0 1 1 1 0 1 1 1 0 26 

صفحه 27:
(ج امازط عوزم/ا Data no longer linearly separable Femal® Height (x,) What is a good decision boundary ? 27 

صفحه 28:
asky & Papert (1969) offered solution to XOR problem by nbining perceptron unit responses using a second layer of its. Piecewise linear classification using an MLP with eshold (perceptron) units 5 oc 7 ‏اله‎ ‎© 

صفحه 29:
Three-layer perceptron 

صفحه 30:
syndu] Y= fly, ( I= Fh) yp Y= £(%, wh) Yi = £m, mi) 

صفحه 31:
پرسپترون چند لایه (۲/۲۴) Neuron processing element orm) ۷ 4 Fly) 2 YF Input Layer xl — x1 Hidden Layer hi Output Layer xn, MLP Structure Input Vecto 

صفحه 32:
What do each of the layers do? ۵ ۰ جم وج ‎oo‏ 3rd layer can 1st layer draws 2nd layer generate arbitrarily linear ۱ combines the complex boundaries boundaries boundaries ae 

صفحه 33:
آموزش شبکه * طی فرایند آموزش وزنهای شبکه اصلاح می شوند تا خروجی مطلوب را به ازا هر ورودی تولید کنند. * روش آموزش پس انتشار خطا یا 80160۲0039311010 

صفحه 34:


صفحه 35:
Backpropagation learning algorithm ‘BP’ Solution to credit assignment problem in MLP. Rumelhart, Hinton and Williams (1986) (though actually invented earlier in a PhD thesis relating to economics) BP has two phases: Forward pass phase: computes ‘functional signal’, feed fc propagation of input pattern signals through network Backward pass phase: computes ‘error signal’, propaga the error backwards through network starting at output (where the error is the difference between actual and de output values) 

صفحه 36:
Conceptually: Forward Activity - Backward Error Output response Input patterns 

صفحه 37:
توابع متلب Input! Percepiron Layer Where 1 R= number of elements in Ingut ‎number of neurons in ayer‏ لق ‎at =hardlim/tWup! +b) ber of layer‏ ‎ ‎ ‎ ‎ ‎ ‎ ‎ ‎ ‎ 

صفحه 38:
قدم های اصلی در طراحی شبکه * تعیین معماری شبکه عصبی < تعداد لایه های شبکه * تعیین مشخصات گره ها - تابع تحریک گره * تعيين مشخصات تعليم شبك - روش تعليم يا آموزش وزنهاى شبكه 

صفحه 39:
معماری شبکه ‎net = newff (PR, [S1 S2...SNI] , {TF1 TF2...TFNI} ,‏ ‎BTF)‏ ۰ PR + Rx 2 matrix of min and max values for R input elements + Si + Size of ith layer, for NI layers ۰ 7۴ + Transfer function of ith layer (default = 'tansig') + BIF + Backpropagation network training function (default = ‘trainim') net = newff([0 10],[5 1],{'tansig' 'purelin'}); 

صفحه 40:
آموزش شبکه ‎[net] = train(net,P,T)‏ ‎net‏ * + Network م. ‎Network inputs‏ + ۰ + Network targets (default = zeros) net = train(net,p,t); 

صفحه 41:
[Y] = sim(net,P) * net * Network ۰ + Network inputs “TT ٠ Network targets (default = zeros) 8 ۳ + Network outputs [y1] = sim(net,p1) 

صفحه 42:
مثال: آموزش ارقام دستنویس فارسی * بازشناسی متون دستنویس به صورت خودکار بسیار مورد توجه است. 

صفحه 43:
م ‎Ss SF AF‏ ص ه > > & ‏دا‎ F FF ‏چر‎ که هک & ~= بن 2ك > 7 اه © ۳ ۲ ۱ ۴ ۲ ۱۲ ؟ ۱ ۱ ۲ » © ۱۲ ۲ ۱ ۲ ۲ ۶ ه‌ 

صفحه 44:
لد سا" ايا Ye ‏سارت‎ لح ان w/w teat ‏آموزش الگو‎ 

صفحه 45:
Example + Cnum= number of classes Cnum=10 + Fnum= number of features Fnum=40 + LDnum=number of training data LDnum=1000 + LTnum=number of test data LTnum=1000 Ldata=[40*1000] Tdata=[40*1000] 

صفحه 46:
+ HidNode=[20 ]; %[10 5] + mxmn(:,1)=zeros(Fnum,1); mxmn(:,2)=ones(Fnum, 1);%max-min + net = newfi(mxmn,[HidNode Cnum], { ‘tansig' ‘logsig'},'traingda'); + %%% training + trainParam.goal=.0003; + trainParam.epoch=500; + net = train(net,LX,t); + view(net) Hidden Output Input Output 20 10