نتایج آزمایشات نشان داده است که ترکیب چندین دسته­بند[1] می ­تواند کارایی الگوریتم­های متنوع را بالا ببرد. روش­های تصمیم ­گیری دسته­جمعی[2] بسیاری ارائه شده ­اند که با بهره گرفتن از آن­ها، خطای روش­های مختلف دسته­بندی[3] کاهش یافته است. با این حال، این گونه روش­ها نتوانسته ­اند کارایی الگوریتم نزدیک­ترین همسایه[4] را افزایش دهند. در این پایان نامه یک روش تصمیم ­گیری دسته­جمعی ارائه شده است تا با بهره گرفتن از ترکیب وزن­دار چندین دسته­بند، کارایی را بهبود بدهد. در این روش هر کدام از این دسته­بند­ها یک دسته­بند نزدیک­ترین همسایه است که تنها از زیر مجموعه ­ای از مجموعه ویژگی­ها[5] نمونه­ها استفاده می­ کند. در ادامه، الگوریتم به هر کدام از آن­ها یک وزن اختصاص می­دهد و در نهایت از یک مکانیسم رای­گیری وزنی[6] برای تعیین خروجی مدل دسته­جمعی استفاده می کند.

فهرست مطالب

  عنوان                               صفحه

فصل اول   1

مقدمه  1

1-1- مقدمه. 2

1-2- روش­های دسته­بندی.. 3

1-3- ارزیابی دسته­بند. 4

1-4- تصدیق متقابل.. 6

1-5- الگوریتم نزدیک­ترین همسایه. 7

1-7- سر فصل­ها 9

فصل دوم  10

الگوریتم نزدیک­ترن همسایه و روش­های موجود برای بهبود آن.. 10

2-1-الگوریتم نزدیک­ترین همسایه. 11

2-2- محدودیت­های روش نزدیک­ترین همسایه. 14

2-3- بر راه­کارهای ارائه شده در گذشته برای بهبود الگوریتم نزدیکترین همسایه. 15

فصل سوم  18

روش­های تصمیم ­گیری دسته­جمعی.. 18

3-1- مقدمه. 19

3-2- روش­های متفاوت برای ایجاد یک تصمیم­گیر دسته­جمعی.. 21

3-3- ساختارهای مختلف در روش تصمیم ­گیری دسته­جمعی.. 22

3-4- رای­گیری بین دسته­بندها 23

3-5- معرفی چند روش تصمیم ­گیری دسته­جمعی پرکاربرد. 24

فصل چهارم  28

روش پیشنهادی برای دسته­جمعی کردن الگوریتم نزدیک­ترین همسایه. 28

4-1- مقدمه. 29

4-2- ایده­ اصلی.. 30

4-3- دسته­جمعی کردن مجموعه دسته­بندهای وزن­دار نزدیک­ترین همسایه. 31

فصل پنجم   39

نتایج آزمایشات پیاده سازی و نتیجه ­گیری.. 39

5-1- نتایج.. 40

فصل ششم   45

نتیجه ­گیری   45

فهرست منابع.. 48

• مقدمه

در دنیای امروزی حجم اطلاعات دیجیتالی به صورت روز افزونی در حال افزایش است. در همین راستا، به جهت مدیریت و بررسی علمی این اطلاعات، نیاز به پردازش هوشمندانه و خودکار این اطلاعات بیش از پیش احساس می شود.

یکی از مهم ترین این پردازش ها که در فناوری اطلاعات و ارتباطات مورد نیاز است، دسته­بندی خودکار این اطلاعات می باشد. دسته بندی در مسائل متنوعی در فناوری اطلاعات به کار گرفته می شود، در مسائلی مانند امنیت اطلاعات، شناسایی نفوزگری در شبکه، دسته بندی کاربران بر اساس اطلاعات شخصی، پردازش تصویر و در واقع شناسایی هر گونه الگو بر اساس نمونه­ها و اطلاعات پیشین. این پردازش می تواند دسته[1]­ی نمونه­های جدید که به مجموعه اطلاعات اضافه می شود را پیش بینی نماید. از این رو در هوش مصنوعی توجه خاصی به توسعه انواع روش­های دسته­بندی هوشمند و خودکار شده است.

 روش­های دسته­بندی

دسته­بندی یکی از مهم­ترین شاخه‌های یادگیری ماشین[2] است. دسته­بندی به پیش ­بینی برچسب دسته[3] نمونه[4] بدون برچسب، بر اساس مجموعه نمونه­های آموزشی برچسب­دار (که قبلا به با کمک یک کارشناس دسته­بندی  شده ­اند) گفته می­ شود. درواقع دسته­بندی روشی است که هدف آن، گروه­بندی اشیا به تعدادی دسته یا گروه می­باشد. در روش‌های دسته­بندی، با بهره گرفتن از اطلاعات بدست آمده از مجموعه نمونه­های آموزشی، از فضای ویژگی­ها[5] به مجموعه برچسب دسته­ها نگاشتی بدست می آید که بر اساس آن، نمونه­های بدون برچسب به یکی از دسته­ها نسبت داده می­ شود.

در مسائل دسته­بندی، هر نمونه توسط یک بردار ویژگی[6] به صورت X=<x1 , x2 , xm> معرفی می­ شود که نشان دهنده مجموعه مقادیر ویژگی­های نمونه­ی­ مربوطه است. بر اساس این بردار، نمونه­ ­ X دارای m خصوصیت یا ویژگی است. این ویژگی­ها می­توانند مقادیر عدد صحیح، اعشاری ویا مقادیر نامی[7] به خود اختصاص بدهند. همچنین این نمونه دارای یک برچسب C است که معرف دسته­ای­ است که نمونه­ی­ X به آن تعلق دارد.

تفاوت روش­ها دسته­بندی در چگونگی طراحی نگاشت است. در بعضی از آن­ها با بهره گرفتن از داده ­های آموزشی مدلی ایجاد می­ شود که بر اساس آن فضای ویژگی­ها به قسمت ­های مختلف تقسیم می­ شود که در آن، هر قسمت نشان دهنده یک دسته است. در این گونه روش­های دسته­بندی از مدل برای پیش ­بینی دسته­ی­ نمونه بدون برچسب استفاده شده و از نمونه­­های آموزشی به طور مستقیم استفاده نمی شود. یک نمونه از این دسته­بندها، دسته­بندهای احتمالی[8] می­باشد. این گونه الگوریتم­ها، از استنتاج آماری برای پیدا کردن بهترین دسته استفاده می­ کنند؛ برخلاف سایر دسته­بند­ها که فقط بهترین کلاس را مشخص می­ کنند الگوریتم­های احتمالی به ازای هر دسته موجود یک احتمال را به عنوان تعلق نمونه به آن مشخص می­ کنند و کلاس برنده، بر اساس بیشترین احتمال انتخاب می­ شود. روش­های احتمالی در یادگیری ماشین معمولا با نام الگوریتم­های آماری نیز شناخته می­شوند. در گروهی دیگر از روش­های دسته بندی، نمونه براساس خود مجموعه نمونه­ها و بدون ساختن مدل، به پیش ­بینی دسته­ی نمونه مورد نظر می ­پردازد. به این گونه الگوریتم های دسته­بندی، نمونه- بنیاد[9] گفته می­ شود.

تاکنون الگوریتم­های متفاوتی به عنوان دسته­بند ارائه شده ­اند. از جمله­ی­ آن­ها می­توان به الگوریتم نزدیک ترین همسایه­ها[10] [1] ، دسته­بند بیز[11][2]، ماشین بردار پشتیبان[3] و شبکه عصبی[12][4] اشاره کرد.

• ارزیابی دسته­بند

اولین موضوعی که در مورد هر الگوریتم مورد توجه قرار می­گیرد، کارایی و دقت آن الگوریتم است. در هوش مصنوعی، معیار­های متفاوتی وجود دارند که در مسائل مختلف و زیر شاخه­های این علم استفاده می­ شود. در مورد کارایی یک دسته­بند­، به عنوان یکی از مسائل اصلی هوش مصنوعی، روش­های متنوعی وجود دارد که در این قسمت بررسی شده ­اند.

معیار کارایی نظر­گرفته شده برای یک دسته­بند، ارتباط مستقیمی با کاربرد و ضمینه کار خاص آن دسته­بند دارد. بنابراین در مسائل متفاوت، ممکن است معیار­های مختلفی برای اندازه ­گیری کارایی الگوریتم در نظر­گرفته شود. همچنین همان طور که مشخص است، یک دسته­بند که بتواند برای همه مسائل موجود بهترین جواب را ارائه دهد، وجود ندارد.

در بررسی آماری کارایی یک دسته­بند، از یک مجموعه که شامل تعداد مشخصی نمونه­ی­ آموزشی دارای برچسب است استفاده می­ شود. برای این کار، قسمتی از این نمونه­ها و یا تمام مجموعه،­ به عنوان مجموعه آموزشی[13]، در اختیار دسته­بند برای آموزش قرار می­گیرد. پس از آموزش، دسته بند به وسیله­­ زیر­مجموعه­ای­ از نمونه­ها، به عنوان نمونه­های­ آزمایشی، محک زده می­ شود. نمونه­ها­ی موجود در مجموعه­ی­ آزمایشی، بسته به نوع آزمون کارایی، می ­تواند عضو مجموعه آموزشی بوده و یا متفاوت با آن باشند.

نرخ دسته­بندی[14] یا صحت[15] پرکاربردترین و ساده­ترین معیار اندازه ­گیری کارایی هر دسته­بند است. این معیار برابر است با نسبت تعداد نمونه­های درست دسته­بندی شده به تعداد کل نمونه­ها. براساس این تعریف، نرخ خطای دسته­بندی از رابطه زیر بدست می­آید:

 مقادیر دقت[16] و بازخوانی[17] نیز معیارهای مناسبی برای ارزیابی دسته­بندها می­باشند. که اخیرا برای ارزیابی رقابت[18] بین اشتباه-مثبت[19] و درست-مثبت[20] استفاده می­ شود. در ادامه این معیار­ها معرفی می­ شود.

• معیاردقت : احتمال مثبت بودن نمونه­هایی که مثبت اعلام شده ­اند.

                  معیار بازخوانی : احتمال مثبت اعلام کردن نمونه­های دسته مثبت.

   معیار اختصاص[21]: احتمال منفی اعلام کردن  نمونه­های دسته منفی.

که در این معیارها، دسته مثبت، دسته مورد بررسی است و دسته منفی به سایر دسته­ها گفته می­ شود.

• تصدیق متقابل[22]

یک روش برای ارزیابی آماری دسته­بند، تصدق متقابل[5] می­باشد. در این تکنیک برای ارزیابی کارایی دسته­بند، نمونه­ها را به صورت تصادفی به دو گروه که مکمل یکدیگر هستند، تقسیم می­ کنند. با یک گروه سیستم را آموزش داده و با گروه دیگر سیستم آموزش دیده را مورد آزمایش قرار می­دهند. با این کار از تطبیق بیش از حد[23] مدل بر روی داده ­های آموزشی جلوگیری می­ شود و نتایج بدست آمده از ارزیابی، دارای درجه اطمینان بیشتر خواهد بود. برای اطمینان بیشتر از نتایج، تصدیق متقابل در چندین مرحله صورت تکرار شده و در هر مرحله، از تقسیم ­بندی متفاوتی برای نمونه­ها استفاده می­ شود. در پایان از نتایج تمامی تکرار آزمایش­ها میانگین­گیری صورت می­گیرد.

در ادامه روش­های مختلف تطبیق متقابل توضیح داده می­ شود.

• تصدیق زیر گروه تصادفی[24]: در این روش، نمونه­ها به صورت تصادفی به دو گروه آموزشی[25] و آزمایشی[26] تقسیم می­شوند. سپس دسته­بند به وسیله­­ نمونه­های آموزشی، آموزش داده می­ شود و با بهره گرفتن از مجموعه دیگر آزمایش شده و کارایی محاسبه می­ شود. این عملیات چندین بار انجام می­گیرد و در نهایت میانگین آن­ها به عنوان کارایی دسته­بند ارائه می­ شود. با توجه به تصادفی انتخاب شدن مجموعه­های آموزشی و آزمایشی، مهم­ترین مشکل این روش امکان عدم انتخاب بعضی از نمونه­ها به عنوان عضو یکی از دو گروه و یا انتخاب بیش از یک بار بعضی از نمونه­ها می­باشد.
• تصدیق متقابل k قسمت[27]: در روش ابتدا مجموعه نمونه­ها به K دسته تقسیم می­شوند. در هر مرحله نمونه­های k-1 دسته به عنوان مجموعه آموزشی در نظر گرفته می­ شود و با بهره گرفتن از یک دسته دیگر کارایی سیستم دسته­بند ارزیابی می­ شود. در نهایت کارایی سیستم برابر با میانگین کارایی در همه مراحل می­ شود. در این روش از همه نمونه­ها برای آموزش و آزمایش استفاده می­ شود.