پرینت

مقدمه ای بر شبکه های عصبی مصنوعی (قسمت نهم)

نوشته شده توسط مجتبی آیتی نیا. منتشر شده در شبکه‌های عصبی

MLP

Multi Layer Perceptron يا همان پرسپترون چند لايه، قادر به طبقه بندی های پيچيده است، مشروط به آنکه تعداد کافی لايه پرسپترون در شبکه و تعداد کافی پرسپترون در هر لايه وجود داشته باشد.

 

شکل زیر ساختار پرسپترون سه لايه را با جزيات کامل نشان داده است.

پس انتشار

پس انتشار يا همان BP(Back Propagation) روشی برای آموزش شبکه های عصبی MLP می باشد. در اين روش با استفاده از Gradient Descent سعی می شود تا مربع خطای بين خروجی هدف و خروجی شبکه، مينيمم شود. اما در اين روش هيچ تضمينی برای رسيدن به مينيمم مطلق وجود ندارد.

معمولا الگوريتم BP پيش از خاتمه، هزاران بار با استفاده از همان داده های آموزشی، تکرار می شود. شروط مختلفی را می توان برای خاتمه دادن الگوريتم BP به کار برد، که برخی از آنها به قرار زير می باشند:

·        توقف بعد از تکرار به دفعات معين

·        توقف، وقتی که خطا از يک مقدار معين کمتر باشد

·        توقف، وقتی که خطا در مثال های مجموعه تائيد، از قاعده خاصی پيروی نمايد

·        توقف، تا جايی که Over Fitting رخ دهد (Over Fitting زمانی رخ می دهد که شيب تابع هزينه برای داده های تست صعودی شود)

 

 

در شکل زیر لحظه Over Fitting نشان داده شده است.

از دلايل رخداد Over Fitting می توان به موارد زير اشاره کرد.

·        تنظيم وزن ها، برای در نظر گرفتن مثال های نادری که ممکن است با توزيع کلی داده ها مطابقت نداشته باشند

·        افزايش تکرار، که باعث هر چه بيشتر شدن پيچيدگی فضای فرضيه ياد گرفته شده، خواهد شد

 

از راه حل های جلوگيری از رخداد Over Fitting نيز می توان به موارد زير اشاره کرد.

·        استفاده از نرخ آموزش کوچکتر

·        استفاده از تعاريف ديگری برای محاسبه خطا

 

·        استفاده از يک مجموعه تائيد Vallidation ، و توقف يادگيری هنگامی که خطا در اين مجموعه به اندازه کافی کوچک می شود

You have no rights to post comments