1- مقدمه. 1
1-1- تعریف سیستمهای نظارت چهره راننده 1
1-2- ضرورت سیستمهای نظارت چهره راننده 2
1-3- چالشهای اساسی در سیستمهای نظارت چهره راننده 3
1-4- مفاهیم خستگی، خوابآلودگی و عدمتمرکزحواس… 4
1-4-1- خستگی و خوابآلودگی.. 4
1-4-2- عدم تمرکز حواس… 6
1-5- روشهای تشخیص خستگی و عدم تمرکز حواس راننده 6
1-6- طرح کلی پایان نامه. 7
2- مروری بر کارهای گذشته. 8
2-1- پیکربندی کلی سیستمهای نظارت چهره راننده 9
2-1-1- تصویربرداری.. 9
2-1-2- سختافزار و پردازنده 10
2-1-3- نرمافزار هوشمند. 11
2-2- آشکارسازی چهره 13
2-2-1- روشهای مبتنی بر مدل رنگ… 13
2-2-2- روشهای مبتنی بر ویژگیهای شبه هار. 14
2-2-3- روشهای مبتنی بر شبکه عصبی.. 14
2-3- آشکارسازی چشم. 15
2-3-1- روشهای مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز. 15
2-3-2- روشهای مبتنی بر دوسطحی کردن تصویر. 18
2-3-3- روشهای مبتنی بر پروجکشن.. 19
2-3-4- روشهای مبتنی بر یادگیری.. 20
2-4- آشکارسازی سایر اجزای چهره 21
2-4-1- آشکارسازی دهان (لب) 21
2-4-2- آشکارسازی بینی.. 21
2-5- ردیابی چهره و اجزای آن. 22
2-5-1- تخمین حرکت… 23
2-5-2- تطابق.. 23
2-6- استخراج ویژگیهای مربوط به کاهش هوشیاری.. 24
2-6-1- ویژگیهای ناحیه چشم. 24
2-6-2- ویژگیهای دهان. 30
2-6-3- ویژگیهای سر. 30
2-7- تشخیص خستگی و عدم تمرکز حواس… 31
2-7-1- روشهای مبتنی بر حد آستانه. 31
2-7-2- روشهای مبتنی بر دانش… 32
2-7-3- روشهای مبتنی بر آمار و احتمال. 33
2-8- سیستمهای نظارت چهره راننده در خودروهای تجاری.. 34
3- سیستم پیشنهادی.. 35
3-1- پیکربندی کلی سیستم پیشنهادی.. 35
3-1-1- نورپردازی و تصویربرداری.. 36
3-1-2- سختافزار و پردازنده 37
3-1-3- نرمافزار هوشمند. 37
3-2- آشکارسازی چهره 38
3-2-1- ویژگیهای شبه هار. 39
3-2-2- انتخاب و تعیین اهمیت ویژگیها برای تشکیل یک طبقهبندیکننده قوی.. 41
3-2-3- درخت تصمیم آبشاری تقویتشده 42
3-3- ردیابی چهره 44
3-3-1- پنجره جستجو. 45
3-3-2- معیار تطابق.. 46
3-4- استخراج ویژگیهای مربوط به کاهش هوشیاری.. 47
3-4-1- ویژگیهای ناحیه چشم. 47
3-4-2- ویژگیهای ناحیه چهره و سر. 55
3-5- تشخیص کاهش هوشیاری.. 58
3-5-1- سیستم خبره فازی.. 58
3-5-2- تولید خروجی نهایی.. 64
4- نتایج آزمایشها و ارزیابی سیستم. 69
4-1- نحوه آزمایش سیستم. 69
4-2- معیارهای ارزیابی.. 72
4-3- آشکارسازی چهره 73
4-4- ردیابی چهره 75
4-5- استخراج ویژگیهای ناحیه چشم. 77
4-6- استخراج ویژگیهای ناحیه سر و چهره 82
4-7- تشخیص کاهش هوشیاری.. 86
4-8- ارزیابی کلی سیستم و الگوریتمها 93
4-8-1- بررسی سرعت پردازش سیستم پیشنهادی.. 93
4-8-2- بررسی پیچیدگی محاسباتی الگوریتمها 94
5- نتیجهگیری و پیشنهادات… 95
6- مراجع. 99
فهرست شکلها
شکل 2‑1: فلوچارت کلی برای سیستمهای نظارت چهره راننده 12
شکل 2‑2: نمونههایی از ماسکهای ویژگی برای استخراج ویژگیهای شبه هار. 14
شکل 2‑3: درخت تصمیم آبشاری برای آشکارسازی چهره 14
شکل 2‑4: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [6] 16
شکل 2‑5: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز. 17
شکل 2‑6: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکلها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریمهای زوج و فرد [6] 17
شکل 3‑1: محل قرارگیری دوربین در خودرو برای سیستم پیشنهادی.. 36
شکل 3‑2: فلوچارت بخش نرمافزار هوشمند در سیستم پیشنهادی.. 38
شکل 3‑3: نمونههایی از ماسکهای ویژگی برای آشکارسازی چهره [32] 39
شکل 3‑4: محاسبه مجموع پیکسلهای بخشی از تصویر با بهره گرفتن از تصویر انتگرالی.. 40
شکل 3‑5: محاسبه یک نمونه ویژگی شبه هار بر اساس تصویر انتگرالی.. 41
شکل 3‑6: الگوریتم تشکیل یک طبقهبندیکننده قوی بر اساس چند ویژگی [33] 42
شکل 3‑7: درخت تصمیم آبشاری برای آشکارسازی چهره 43
شکل 3‑8: الگوریتم تشکیل یک درخت تصمیم آبشاری بر اساس چند طبقهبندیکننده قوی [33] 44
شکل 3‑9: نمایش چگونگی انجام جستجوی سه مرحلهای.. 46
شکل 3‑10: نمایش بازه تعریف ویژگیهای درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن و فاصله بین پلکها 51
شکل 3‑11: نمایش تاثیر پارامتر α در تغییر شکل تابع سیگموئید (β=0) 53
شکل 3‑12: نمایش تاثیر پارامتر β در تغییر شکل تابع سیگموئید (α=1) 54
شکل 3‑13: منحنی تغییرات فاصله بین پلکها (ELDC) (محور عمودی) نسبت به تغییرات ضریب همبستگی HPO و HPLO (محور افقی) 55
شکل 3‑14: مدل کلی سیستم خبره فازی.. 59
شکل 3‑15: شکل توابع عضویت تعریف شده برای ورودی درصد بسته بودن چشم (PERCLOS) 60
شکل 3‑16: شکل توابع عضویت تعریف شده برای ورودی نرخ پلک زدن (CLOSNO) 60
شکل 3‑17: شکل توابع عضویت تعریف شده برای تغییرات فاصله بین پلکها نسبت به حالت طبیعی (ELDC) 61
شکل 3‑18: شکل توابع عضویت تعریف شده برای میانگین چرخش سر (ROT) 61
شکل 3‑19: شکل توابع عضویت تعریف شده برای میزان خستگی (Fatigue) 61
شکل 3‑20: شکل توابع عضویت تعریف شده برای میزان عدم تمرکز حواس (Distraction) 62
شکل 3‑21: نمایش تغییرات پیوسته مقدار تغییرات فاصله بین پلکها (ELDC) 65
شکل 3‑22: نمایش تغییرات پیوسته مقدار میانگین چرخش سر (ROT) 65
شکل 3‑23: نمایش تغییرات گسسته درصد بسته بودن چشم (PERCLOS) 66
شکل 3‑24: نمایش تغییرات گسسته نرخ پلک زدن (CLOSNO) 66
شکل 3‑25: نمایش تغییرات شکل خروجی نهایی سیستم با تغییر مقدار α در رابطه میانگینگیری مداوم. از بالا به پایین مقادیر α برابر است با صفر، 8/0 و 9/0 68
شکل 4‑1: نمونههایی از تصاویر تهیه شده در محیط واقعی (داخل خودرو) برای آزمایش سیستم. 70
شکل 4‑2: نمونههایی از تصاویر تهیه شده در محیط آزمایشگاهی برای آزمایش سیستم. 70
شکل 4‑3: نمونههایی از تصاویر چهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74
شکل 4‑4: نمونههایی از تصاویر غیرچهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74
شکل 4‑5: نمونههایی از تصاویر چهره که آشکارسازی نشدهاند. 74
شکل 4‑6: نمونههایی از تصاویر غیرچهره که به اشتباه آشکارسازی شدهاند. 74
شکل 4‑7: یکی از ماسکهای مهم برای استخراج ویژگی در الگوریتم آشکارسازی چهره 75
شکل 4‑8: نمونههایی از تصاویر چهره که به درستی آشکارسازی شدهاند. 75
شکل 4‑9: نمونههایی از خطای ردیابی با بهره گرفتن از روش جستجوی کامل و محاسبه ضریب همبستگی.. 76
شکل 4‑10: نمایش تغییر مکان چهره به دلیل تکان خوردن خودرو در دو فریم با فاصله زمانی یک ثانیه و بروز اشتباه در آشکارسازی بسته بودن چشم به دلیل عدم توانایی الگوریتم ردیابی در تعیین مکان دقیق چهره 78
شکل 4‑11: نمایش دو فریم از تصاویر چهره راننده در حالت چرت زدن. تصویر سمت راست حالت چشم باز راننده و تصویر سمت چپ حالت چشم بسته راننده است. در این حالت پلک زدن به آرامی و به طور نامحسوس انجام میشود. بنابراین نرخ عدم آشکارسازی بسته شدن چشم افزایش مییابد. 79
شکل 4‑12: تصاویر پلک زدن چشم در افرادی که عینک به چشم دارند. 79
شکل 4‑13: نمونه تصاویر تهیه شده از افرادی که عینک آفتابی به چشم دارند. 80
شکل 4‑14: نمونه فریمهایی از یک فیلم 9 دقیقهای که در آن روند تغییرات فاصله بین پلکها از حالت کاملا هوشیار به حالت خوابآلوده نشان داده شده است. تصاویر از بالا به پایین و از راست به چپ مربوط به زمانهای دقیقه اول، دقیقه سوم، دقیقه پنجم، دقیقه هفتم، دقیقه هشتم و دقیقه نهم میباشد. 80
شکل 4‑15: نمودار تغییرات ELDC نسبت به زمان. 81
شکل 4‑16: نمایش وضعیت سر نسبت به محورهای مختصات… 83
شکل 4‑17: نمایش تغییرات میزان چرخش سر ® در یک فیلم دو دقیقهای که در آن پنج بار چرخش رخ داده است… 84
شکل 4‑18: نمونه فریمهایی از یک فیلم دو دقیقهای که در آن آشکارسازی چرخش سر مورد ارزیابی قرار گرفته است. تصویر راست بالا مربوط به حالت چهره بدون چرخش و سایر تصاویر مربوط به چرخش سر در جهتهای مختلف میباشد. 84
شکل 4‑19: نمودار وقوع رخداد پلک زدن در طول زمان. 87
شکل 4‑20: نمودار تغییرات درصد بسته بودن چشم (PERCLOS) در طول زمان. 88
شکل 4‑21: نمودار تغییرات نرخ پلک زدن (CLOSNO) در طول زمان. 88
شکل 4‑22: نمودار تغییرات فاصله بین پلکها (ELDC) در طول زمان. 89
شکل 4‑23: نمودار تغییرات میانگین چرخش سر (ROT) در طول زمان. 89
شکل 4‑24: میزان تخمین عدم تمرکز حواس راننده در طول زمان. 90
شکل 4‑25: میزان تخمین خستگی راننده در طول زمان. 90
شکل 4‑26: میانگین چرخش سر راننده در طول زمان. 91
شکل 4‑27: مقدار تخمین عدم تمرکز حواس راننده در طول زمان. 91
شکل 4‑28: نمودار پلک زدن یک فرد در فیلم سه دقیقهای. در این فیلم فرد بعد از دقیقه یک، به دلیل مشغله ذهنی (عدم تمرکز حواس درونی) به یک نقطه خیره شده و پلک نمیزند. 92
شکل 4‑29: میزان عدم تمرکز حواس راننده در حالتی که وی به دلیل مشغله ذهنی دچار عدم تمرکز حواس درونی شده است… 93
فهرست جدولها
جدول 3‑1: قوانین فازی تشخیص خستگی.. 63
جدول 3‑2: قوانین فازی تشخیص عدم تمرکز حواس… 64
جدول 4‑1: تعداد و مدت زمان فیلمهای تهیه شده برای آزمایش سیستم به تفکیک شرایط محیط.. 71
جدول 4‑2: تعداد و مدت زمان فیلمهای تهیه شده برای آزمایش سیستم به تفکیک جنسیت افراد 71
جدول 4‑3: تعداد و مدت زمان فیلمهای تهیه شده برای آزمایش سیستم به تفکیک شرایط عینک داشتن.. 71
جدول 4‑4: بیان مفاهیم FPR، FNR، TPR و TNR در قالب ماتریس اغتشاش… 73
جدول 4‑5: ارزیابی الگوریتم آشکارسازی چهره 74
جدول 4‑6: ارزیابی الگوریتم ردیابی بر اساس نوع روش جستجو و نوع روش محاسبه میزان انطباق.. 76
جدول 4‑7: ارزیابی الگوریتم آشکارسازی بسته شدن چشم. 78
جدول 4‑8: مقایسه الگوریتم پیشنهادی با سایر الگوریتمهای ارائه شده برای آشکارسازی بسته شدن چشم. 82
جدول 4‑9: توانایی سیستم پیشنهادی در آشکارسازی چرخش سر حول محورهای مختصات… 83
جدول 4‑10: ارزیابی الگوریتم آشکارسازی چرخش سر. 83
جدول 4‑11: مقایسه الگوریتم پیشنهادی با سایر الگوریتمهای ارائه شده برای آشکارسازی چرخش سر. 86
جدول 4‑12: مقایسه حجم محاسباتی بخشهای مختلف سیستم پیشنهادی.. 94
چکیده
هر ساله تصادفات رانندگی زیادی به دلیل خوابآلودگی و عدم تمرکز حواس راننده در سراسر دنیا رخ میدهد که خسارتهای جانی و مالی فراوانی به همراه دارند. یکی از روشهای تشخیص خستگی و عدم تمرکز حواس، استفاده از سیستمهای نظارت چهره راننده است. سیستمهای نظارت چهره راننده با دریافت تصاویر از دوربین و پردازش آنها، نشانههای خوابآلودگی و عدم تمرکز حواس را از چشم، سر و چهره استخراج میکنند. در این پایان نامه یک سیستم نظارت چهره راننده طراحی شده است که با استخراج نشانههای خستگی و عدم تمرکز حواس از ناحیه چشم و چهره، کاهش هوشیاری راننده را تخمین میزند. در این سیستم چهار ویژگی شامل درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن، کاهش فاصله بین پلکها و میزان چرخش سر استخراج میشود. سه ویژگی اول مربوط به نشانههای بروز خستگی و عدم تمرکز حواس در ناحیه چشم و ویژگی آخر مربوط به نشانههای کاهش هوشیاری در ناحیه چهره و سر میباشد. ویژگیهای ناحیه چشم بر اساس تغییرات پروجکشن افقی ناحیه چشم و ویژگیهای ناحیه چهره بر اساس بررسی قالب چهره استخراج میگردد. سپس این ویژگیها توسط یک سیستم خبره فازی مورد پردازش قرار میگیرد تا میزان خستگی و عدم تمرکز حواس راننده تخمینزده شود. تصویربرداری سیستم پیشنهادی در طیف مرئی و با دوربین سطح خاکستری انجام شده است. نتایج آزمایشها بر روی فیلمهای تهیه شده در محیط واقعی و آزمایشگاهی نشان میدهد که روش پیشنهادی دقت بسیار خوبی در استخراج ویژگی و تشخیص کاهش هوشیاری راننده دارد. از لحاظ سرعت اجرای الگوریتم، سرعت سیستم پیشنهادی حدود 5 فریم در ثانیه میباشد که میتوان آن را سیستم بلادرنگ محسوب کرد.
پیشگفتار
افزایش تعداد خودروها در جهان و در نتیجه آن افزایش آمار خسارات و تلفات ناشی از تصادفات، باعث شد تا محققین به دنبال کشف علل اصلی تصادفات رانندگی باشند. یکی از مهمترین این علل، خستگی و عدم تمرکز حواس راننده میباشد که علت اصلی حدود 20% از تصادفات محسوب میشود. با توجه به نقش موثر خستگی و عدم تمرکز حواس راننده در بروز تصادفات، راهکارهایی برای مقابله با این عامل معرفی شد. یکی از راهکارهای اصلی و جدید برای تشخیص خستگی و عدم تمرکز حواس راننده و اعلام هشدار در مواقع ضروری، سیستمهای نظارت چهره راننده است. پیشنهاد تولید سیستمهای نظارت چهره راننده اولین بار در اواخر قرن 20 میلادی مطرح شد، اما عمده تحقیقات در این زمینه مربوط به بعد از سال 2000 میلادی میباشد.
تاکنون طراحی و تولید چنین سیستمهایی در ایران به طور جدی مورد بررسی قرار نگرفته است. سیستم ارائه شده در این پایان نامه به عنوان اولین سیستم نظارت چهره راننده در ایران میباشد که قادر است میزان خستگی و عدم تمرکز حواس راننده را با بهره گرفتن از پردازش تصاویر چهره راننده تخمین بزند. هرچند تحقیقات بیشتری برای تولید یک سیستم نظارت چهره راننده با هدف کاربرد در خودروهای تجاری مورد نیاز است، اما این پایان نامه میتواند شروع بسیار