شبکه عصبی پرسپترن چند لایه

شبکه عصبی پرسپترن چند لایه

اسلاید 1: به نام خداهوالعليم

اسلاید 2: Multi Layer Perceptron شبکه عصبی پرسپترن چند لايه E. RashediKGUT, Kerman, Iran

اسلاید 3: Multi Layered Perceptron3

اسلاید 4: MLPInputsOutputنرون ها طبق معماری شبکه، به صورت وزندار به هم مرتبط شده اند. شبکه يک مرحله یادگیری دارد. شبکه قادر است برای هر ورودی، خروجی مطلوب را بر گردانند.4

اسلاید 5: مثالی از يک شبکه عصبی سه لايه5

اسلاید 6: شبکه های عصبی چند لايه Information flow is unidirectional Data is presented to Input layer Passed on to Hidden Layer Passed on to Output layer Information is distributed Information processing is parallelInternal representation (interpretation) of data6

اسلاید 7: 7

اسلاید 8: نحوه ی کار با شبکه طراحی شبکه (تعداد لايه ها، تعداد گرهها در هر لايه، تابع تحريک هر لايه)اعمال وروديها به شبکه و آموزش شبکهتست شبکه8

اسلاید 9: ديتای ورودی MicroscopyTomographyPhoto99

اسلاید 10: mpm1m2m3xiyiQuantization of pattern space into p decision classesInput PatternsResponse:“Learning by Examples”يادگيری مثالها 1010

اسلاید 11: Neural NetworkFeed-forward network, Multilayer Perceptron11

اسلاید 12: مدل ریاضی یک نوروننرون کوچکترین واحد یک شبکه عصبی مصنوعی است.در بدنه هر نرون تابع انتقال قرار دارد که به آن تابع تحریک نیز می گویند. f12

اسلاید 13: مدل ریاضی یک نورون ...13

اسلاید 14: Activation/Transformation Functionsayayayaythresholdlinearpiece-wise linearsigmoid

اسلاید 15: تابع تحريکمثالهايی از تابع تحريکsigmoidal neuronGaussian neuron15

اسلاید 16: تابع تحريک آستانه زنیInputsOutputw2w1w3wnwn-1...x1x2x3…xn-1xny16

اسلاید 17: Threshold Logic Unit (TLU)x1x2xn...w1w2wna=i=0n wi xi 1 if a  qy= 0 if a < qy{inputsweightsactivationoutputqw0x0=1X0 is the bias

اسلاید 18: Decision Surfacex1x2Decision linew1 x1 + w2 x2 = qw111000001

اسلاید 19: تابع تحريک آستانه زنی19

اسلاید 20: Sigmoid Unitx1x2xn...w1w2wnw0x0=1a=i=0n wi xiyy=(a)=1/(1+e-a)(x) is the sigmoid function: 1/(1+e-x)X0 is the bias

اسلاید 21: 21Single layer perceptron

اسلاید 22: Properties of architecture No connections within a layer No direct connections between input and output layers Fully connected between layersEach unit is a perceptron22

اسلاید 23: Pattern classificationاز کاربردهای شبکه عصبی در طبقه بندی داده ها است.داده ها به صورت زوج های ورودی خروجی هستند.خروجی مطلوب برای هر داده دسته (class ) مربوط به آن داده است.23

اسلاید 24: 24

اسلاید 25: Perceptron Learning TheoremA perceptron (threshold unit) can learn anything that it can represent (i.e. anything separable with a hyperplane)25

اسلاید 26: The Exclusive OR problemA Perceptron cannot represent Exclusive OR since it is not linearly separable.26

اسلاید 27: 27

اسلاید 28: Minsky & Papert (1969) offered solution to XOR problem by combining perceptron unit responses using a second layer of Units. Piecewise linear classification using an MLP with threshold (perceptron) units12+1+1 328

اسلاید 29: xnx1x2InputOutputThree-layer perceptronHidden layers 29

اسلاید 30: رياضيات شبکه های عصبیInputsOutput30

اسلاید 31: پرسپترون چند لايه (MLP)O1h1h2x1x2x3x4xn...Hidden Layer Output Layer Input Layer InputVectorMLP StructureF(y)yx1x2xnNeuron processing elementw1w2wnF(y)y31

اسلاید 32: What do each of the layers do?1st layer draws linear boundaries2nd layer combines the boundaries3rd layer can generate arbitrarily complex boundaries32

اسلاید 33: آموزش شبکهطی فرايند آموزش وزنهای شبکه اصلاح می شوند تا خروجی مطلوب را به ازا هر ورودی توليد کنند.روش آموزش پس انتشار خطا يا Backpropagation33

اسلاید 34: آموزش شبکهبردار خروجي مطلوبمحاسبه خطا الگوريتم تنظيم وزنهاYWX34(تفاوت خروجی شبکه با خروجی مطلوب)

اسلاید 35: Backward pass phase: computes ‘error signal’, propagates the error backwards through network starting at output units (where the error is the difference between actual and desired output values) Forward pass phase: computes ‘functional signal’, feed forward propagation of input pattern signals through networkBackpropagation learning algorithm ‘BP’Solution to credit assignment problem in MLP. Rumelhart, Hinton and Williams (1986) (though actually invented earlier in a PhD thesis relating to economics)BP has two phases:35

اسلاید 36: Conceptually: Forward Activity - Backward Error36

اسلاید 37: توابع متلب37

اسلاید 38: قدم های اصلی در طراحی شبکهتعيين معماری شبکه عصبي تعداد لايه هاي شبکه تعيين مشخصات گره ها تابع تحريک گرهتعيين مشخصات تعليم شبکه روش تعليم يا آموزش وزنهاي شبکه 38

اسلاید 39: معماری شبکهnet = newff (PR, [S1 S2...SNl] , {TF1 TF2...TFNl} , BTF)PRR x 2 matrix of min and max values for R input elementsSiSize of ith layer, for Nl layersTFiTransfer function of ith layer (default = tansig)BTFBackpropagation network training function (default = trainlm)net = newff([0 10],[5 1],{tansig purelin});39

اسلاید 40: آموزش شبکه[net] = train(net,P,T)netNetworkPNetwork inputsTNetwork targets (default = zeros)net = train(net,p,t);40

اسلاید 41: تست شبکه[Y] = sim(net,P)netNetworkPNetwork inputsTNetwork targets (default = zeros)YNetwork outputs[y1] = sim(net,p1)41

اسلاید 42: مثال: آموزش ارقام دستنويس فارسیبازشناسی متون دستنويس به صورت خودکار بسيار مورد توجه است.42

اسلاید 43: 43

اسلاید 44: آموزش الگوها44

اسلاید 45: ExampleCnum= number of classesCnum=10Fnum= number of featuresFnum=40LDnum=number of training dataLDnum=1000LTnum=number of test dataLTnum=1000Ldata=[40*1000]Tdata=[40*1000]45

اسلاید 46: HidNode=[20 ]; %[10 5]mxmn(:,1)=zeros(Fnum,1); mxmn(:,2)=ones(Fnum,1);%max-minnet = newff(mxmn,[HidNode Cnum],{ tansig logsig},traingda); %%% trainingtrainParam.goal=.0003;trainParam.epoch=500;net = train(net,LX,t);view(net)46