سیستم­های پیشنهادگر ابزارهای نرم افزاری و تکنیک­هایی هستند که اقلام را مطابق با نیاز کاربر به او معرفی می­ کنند. روش­های محتوا محور و فیلترینگ اشتراکی از راهکارهای موفق در سیستم­های پیشنهادگر می­باشند. روش محتوا محور بر اساس ویژگی­های اقلام تعریف می­ شود. این روش بررسی می­ کند که اقلام مورد علاقه کاربر دارای چه ویژگی­هایی بوده ­اند، سپس اقلام دارای ویژگی­های مشابه را به او پیشنهاد می­ کند. روش فیلترینگ اشتراکی بر اساس تعیین اقلام مشابه یا کاربران مشابه کار می­ کند که به ترتیب فیلترینگ اشتراکی مبتنی بر اقلام و مبتنی بر کاربران نامیده می­ شود. در این پایان نامه یک روش تلفیقی از روش­های فیلترینگ اشتراکی و محتوا محور ارائه شده است. این روش می ­تواند به عنوان روش فیلترینگ اشتراکی مبتنی بر کاربر در نظر گرفته شود. به این صورت که به منظور یافتن کاربرانی با سلیقه مشابه با کاربر فعال به عنوان کاربرانی با دقت پیشگویی بالا از ویژگی­های مربوط به محتوای اقلام برای افزایش تاثیر امتیاز­هایی که توسط کاربران به اقلام مشابه تخصیص داده شده است استفاده می­ کند. به بیان دیگر دو کاربر مشابه هستند در صورتی که امتیاز­هایی که به اقلامی که از نظر محتوا مشابه هستند نسبت داده­اند، همسان باشند. برای این منظور در هنگام سنجیدن شباهت دو کاربر، به امتیاز نسبت داده شده به هر قلم، با توجه به میزان شباهت آن به قلم هدف، وزن تخصیص می­یابد.

 

 

 

فهرست مطالب

 

 

عنوان                                                                                                                صفحه

 

فصل 1 : مقدمه­……………………………………………………………………………………………………………………………1

1-1- پیشگفتار…………………………………………………………………………………………………………………………….2

1-2- موتورهای جستجوگر…………………………………………………………………………………………………………2

1-2-1- موتورهای جستجوگر پیمایشی……………………………………………………………………………………..3

1-2- 2- فهرست­های تکمیل دستی…………………………………………………………………………………………..3

1-2-3- موتورهای جستجوگر ترکیبی………………………………………………………………………………………..4

1-2-4- ابرجستجوگرها……………………………………………………………………………………………………………….4

1-3- سیستم­های پیشنهادگر……………………………………………………………………………………………………..5

1-3-1- سیستم پیشنهادگر بر اساس فیلترینگ اشتراکی…………………………………………………………7

1-3-2- سیستم پیشنهادگر بر اساس محتوا………………………………………………………………………………8

1-3-3- سیستم پیشنهادگر بر اساس آمار گیری……………………………………………………………………….8

1-3-4- سیستم پیشنهادگر بر اساس سود…………………………………………………………………………………9

1-3-5- سیستم پیشنهادگر بر اساس دانش………………………………………………………………………………9

1-3-6- سیستم پیشنهادگر ترکیبی…………………………………………………………………………………………..9

1-4- بررسی سایت MovieLens…………………………………………………………………………………………..10

1-5- اهداف پایان نامه……………………………………………………………………………………………………………..13

1-6- ساختار پایان نامه…………………………………………………………………………………………………………….14

 

فصل 2 : روش فیلترینگ اشتراکی……………………………………………………………………………………………15

2-1- پیشگفتار………………………………………………………………………………………………………………………….16

2-2- بر کارهای انجام شده در این راستا……………………………………………………………………..16

2-3- مبانی فیلترینگ اشتراکی………………………………………………………………………………………………..21

2-4-  وظایف فیلترینگ اشتراکی…………………………………………………………………………………………….22

2-4-1- پیشنهاد……………………………………………………………………………………………………………………….23

2-4-2- پیش­بینی…………………………………………………………………………………………………………………….23

2-5- دسته بندی متدهای فیلترینگ اشتراکی……………………………………………………………………….23

2-5-1- فیلترینگ اشتراکی مبتنی بر حافظه…………………………………………………………………………24

2-5-1-1- فیلترینگ اشتراکی مبتنی بر حافظه با پیش ­بینی بر اساس کاربران…………………….25

2-5-1-2- فیلترینگ اشتراکی مبتنی بر حافظه با پیش ­بینی بر اساس اقلام…………………………25

2-5-1- 3- تفاوت فیلترینگ اشتراکی بر اساس کاربران و بر اساس اقلام……………………………..26

2-5-2- فیلترینگ اشتراکی مبتنی بر مدل……………………………………………………………………………..26

2-6- نحوه­ تشخیص علائق کاربران………………………………………………………………………………………….27

2-6-1- تشخیص علائق به صورت صریح…………………………………………………………………………………27

2-6-2- تشخیص علائق به صورت ضمنی……………………………………………………………………………….27

2-7- محاسبه­ شباهت……………………………………………………………………………………………………………….28

2-7-1- معیار همبستگی پیرسون……………………………………………………………………………………………28

2-7-2- معیار اندازه ­گیری کسینوس………………………………………………………………………………………..29

2-8- انتخاب همسایه……………………………………………………………………………………………………………….30

2-8-1- استفاده از حد آستانه………………………………………………………………………………………………….30

2-8-2- انتخاب تعداد ثابتی از همسایگان……………………………………………………………………………….30

2-9- پیش ­بینی و تخمین رتبه…………………………………………………………………………………………………31

2-9-1- استفاده از امتیازهای خام……………………………………………………………………………………………31

2-9-2- استفاده از امتیازهای نرمال شده………………………………………………………………………………..31

2-10- مشکلات فیلترینگ اشتراکی………………………………………………………………………………………..32

2-10-1- پراکنده بودن داده…………………………………………………………………………………………………….32

 

2-10-2- مقیاس پذیری………………………………………………………………………………………………………….32

2-10-3- اقلام مشابه……………………………………………………………………………………………………………….33

2-10-4- گری­شیپ…………………………………………………………………………………………………………………33

2-11- بررسی چگونگی کارکرد سایت آمازون…………………………………………………………………………33

 

فصل 3 : روش محتوا محور………………………………………………………………………………………………………36

3-1- پیشگفتار………………………………………………………………………………………………………………………….37

3-2- روند کار روش محتوا محور……………………………………………………………………………………………..37

3-2-1- تحلیل­گر محتوا…………………………………………………………………………………………………………..38

3-2-2- یادگیرنده نمایه …………………………………………………………………………………………………..39

3-2-3- جزء فیلترینگ…………………………………………………………………………………………………………….42

3-3- مزایای روش محتوا محور………………………………………………………………………………………………..42

3-3-1- استقلال کاربر……………………………………………………………………………………………………………..42

3-3-2- شفافیت……………………………………………………………………………………………………………………….42

3-3-3- قلم جدید…………………………………………………………………………………………………………………….43

3-4- معایب روش محتوا محور…………………………………………………………………………………………………43

3-4-1- کمبود محتوا……………………………………………………………………………………………………………….43

3-4-2- خصوصی سازی افزون…………………………………………………………………………………………………43

3-4-3- کاربر جدید………………………………………………………………………………………………………………….44

 

فصل 4 : روش پیشنهادی………………………………………………………………………………………………………….45

4-1- پیشگفتار………………………………………………………………………………………………………………………….46

4-2- بر کارهای انجام شده در این راستا……………………………………………………………………..46

4-3- مقدمه­ای بر روش پیشنهادی…………………………………………………………………………………………..48

4-4- روش پیشنهادی………………………………………………………………………………………………………………48

4-4-1- پیش­ پردازش………………………………………………………………………………………………………………49

4-4-1-1- پیش پردازش بر روی پایگاه داده MovieLens………………………………………………..49

4-4-1-2- پیش پردازش بر روی پایگاه داده EachMovie………………………………………………..50

4-4-2- وزن­دهی به اقلام…………………………………………………………………………………………………………51

4-4-3- انتخاب­همسایگی…………………………………………………………………………………………………………53

4-4-4- پیش­بینی……………………………………………………………………………………………………………………54

 

فصل 5 : آزمایش­ها و نتایج……………………………………………………………………………………………………….56

5-1- پایگاه داده ­های مورد استفاده…………………………………………………………………………………………..57

5-2- نحوه­ اجرای روش پیشنهادی روی پایگاه داده­ MovieLens……………………………………….57

5-3- نحوه­ اجرای روش پیشنهادی روی پایگاه داده ٍEachMovie……………………………………….58

5-4- معیارهای­ارزیابی………………………………………………………………………………………………………………58

5-4-1- میانگین خطای مطلق…………………………………………………………………………………………………58

5-4-2- دقت و فراخوانی………………………………………………………………………………………………………….59

5-4-3- معیار ارزیابیF1…………………………………………………………………………………………………………60

5-5- ارزیابی روش پیشنهادی توسط معیارهای معرفی شده…………………………………………………..61

 

فصل 6 : بحث و نتیجه ­گیری…………………………………………………………………………………………………….66

6-1- بحث…………………………………………………………………………………………………………………………………67

6-2- نتیجه­گیری……………………………………………………………………………………………………………………..67

6-4- پیشنهادات……………………………………………………………………………………………………………………….68

 

مراجع………………………………………………………………………………………………………………………………………..69

 

 

 

 

 

 

فهرست جدول ها

 

 

عنوان و شماره                                                                                                   صفحه

 

جدول شماره­ 1 : نمونه­هایی از سیستم­های پیشنهادگر و اقلام پیشنهادی آنها…………………………7

جدول شماره­ 2 : مقایسه­ میانگین خطای مطلق روش پایه و روش پیشنهادی، اعمال شده بر MovieLens……………………………………………………………………………………………………………………………61

جدول شماره­ 3 : مقایسه­ میانگین خطای مطلق روش پایه و روش پیشنهادی، اعمال شده بر EachMovie……………………………………………………………………………………………………………………………61

جدول شماره­ 4 : مقایسه­ معیار دقت روش پایه و روش پیشنهادی، اعمال شده  بر 

MovieLens……………………………………………………………………………………………………………………………61

جدول شماره­ 5 : مقایسه­ معیار دقت روش پایه و روش پیشنهادی، اعمال شده بر

EachMovie …………………………………………………………………………………………………………………………..62

جدول شماره­ 6 : مقایسه­ معیار فراخوانی روش پایه و روش پیشنهادی، اعمال شده بر MovieLens……………………………………………………………………………………………………………………………62

جدول شماره­ 7 : مقایسه­ معیار فراخوانی روش پایه و روش پیشنهادی، اعمال شده بر EachMovie………………...…………………………………………………………………………………………………………62

جدول شماره­ 8 : مقایسه­ معیارF1 روش پایه و روش پیشنهادی، اعمال شده بر MovieLens……………………………………………………………………………………………………………………………62

جدول شماره 9 : مقایسه­ معیارF1 روش پایه و روش پیشنهادی، اعمال شده بر

EachMovie……………………………………………………………………………………………………………………………62

 

جدول شماره 10 : مقایسه­ میانگین خطای مطلق روش پیشنهادی با روش­های[19]  و [20]…………………………………………………………………………………………………………………………………………..65

فهرست تصاویر

 

 

عنوان و شماره                                                                                                   صفحه

 

شکل شماره­ 1:  نمونه­هایی از موتورهای جستجوگر………………………………………………………………….5

شکل شماره­ 2 : نمونه صفحه­ای از سایت Movielens………………………………………………………….11

شکل شماره­ 3 : نمونه صفحه­ درخواست امتیازدهی Movielens از کاربر…………………………….12

شکل شماره­­ 4 : نمونه صفحه­ فیلم­های پیشنهادی از سوی Movielens  به کاربر………………13

شکل شماره­ 5 : نمونه ماتریس امتیازدهی کاربران – اقلام………………………………………………………22

شکل شماره­ 6:  فیلترینگ اشتراکی مبتنی بر اقلام………………………………………………………………..25

شکل شماره­ 7 : فیلترینگ اشتراکی مبتنی بر کاربران…………………………………………………………….25

شکل شماره­ 8 : روند تولید پیشنهاد در آمازون……………………………………………………………………….34

شکل شماره­ 9 : نمونه صفحه­ای از سایت آمازون…………………………………………………………………….35

شکل شماره ­10 : ارائه­ پیشنهاد بر اساس کارت خرید مشتری……………………………………………….35

شکل شماره­ 11 : روند کار روش محتوا محور………………………………………………………………………….38

شکل شماره 12 :  نمونه صفحه­ای از سایت آمازون…………………………………………………………………40

شکل شماره 13  :استفاده از روش محتوا محور در سایت آمازون…………………………………………..41

شکل شماره­ 14 : نمایش مفاهیم دقت و فراخوانی در حوزه بازیابی اطلاعات………………………..59

شکل شماره­ 15:  رابطه­ معیار فراخوانی با معیار دقت……………………………………………………………..60

شکل شماره­ 16:  مقایسه­ میانگین خطای مطلق روش پایه و روش پیشنهادی، اعمال شده بر

MovieLens……………………………………………………………………………………………………………………………63شکل شماره­ 17:  مقایسه­ میانگین خطای مطلق روش پایه و روش پیشنهادی، اعمال شده بر

EachMovie…………………………………………………………………………………………………………………………...63

شکل شماره­ 18:  مقایسه­ معیار دقت، فراخوانی و F روش پایه و روش پیشنهادی، اعمال شده بر EachMovie……………………………………………………………………………………………………………………...64

شکل شماره­ 19:  مقایسه­ معیار دقت، فراخوانی و F روش پایه و روش پیشنهادی، اعمال شده بر MovieLens………………………………………………………………………………………………………………………..64

مقدمه­

 

 

1-1- پیشگفتار

 

پیدایش اینترنت و وب جهان گستر[1] موجب شده است که در رابطه با هر موضوع قابل تصور، حجم بسیار زیادی از اطلاعات وجود داشته باشد که کاربران[2] بتوانند با بهره گرفتن از آن نیاز اطلاعاتی خود را برطرف سازند. افزایش روز افزون اطلاعات باعث شد که مشکل سربار اطلاعات[3] به وجود آید و کاربران به تنهایی قادر به برطرف کردن نیازهای خود نباشند. . زیرا کاربران مجبور بودند به صورت بر خط[4]  تمامی صفحات را جستجو کنند تا بتوانند آن قسمتی را که مورد نیازشان است پیدا کنند. به همین دلیل موتورهای جستجوگر[5]  به وجود آمدند تا کاربران بتوانند با بهره گرفتن از آنها بدون نیاز به بررسی تعداد زیادی از صفحات به اطلاعات مورد نظرشان دسترسی پیدا کنند.

 

 

1-2- موتورهای جستجوگر

 

به عبارت دیگر یک موتور جستجوگر وب سایتی است که می­توان از آن برای پیدا کردن صفحات وب استفاده کرد. وقتی کاربر درخواست خود را در قالب کلمات کلیدی وارد موتور جستجوگر می­ کند موتور جستجوگر در بین بیلیون­ها صفحه­ وب جستجو کرده و به کاربر کمک می­ کند اطلاعاتی که به دنبال آن است را بیابد. با بهره گرفتن از این ابزار سرعت و دقت در جستجو بسیار افزایش یافت و کاربران توانستند به سادگی و در کمترین زمان به بهترین نتایج دست یابند.