1- مقدمه. 1

1-1- تعریف سیستم‏های نظارت چهره راننده 1

1-2- ضرورت سیستم‏های نظارت چهره راننده 2

1-3- چالش‏های اساسی در سیستم‏های نظارت چهره راننده 3

1-4- مفاهیم خستگی، خواب‏آلودگی و عدم‏تمرکز‏حواس… 4

1-4-1- خستگی و خواب‏آلودگی.. 4

1-4-2- عدم تمرکز حواس… 6

1-5- روش‏های تشخیص خستگی و عدم تمرکز حواس راننده 6

1-6- طرح کلی پایان‏ نامه. 7

2- مروری بر کارهای گذشته. 8

2-1- پیکربندی کلی سیستم‏های نظارت چهره راننده 9

2-1-1- تصویربرداری.. 9

2-1-2- سخت‏افزار و پردازنده 10

2-1-3- نرم‏افزار هوشمند. 11

2-2- آشکارسازی چهره 13

2-2-1- روش‏های مبتنی بر مدل رنگ… 13

2-2-2- روش‏های مبتنی بر ویژگی‏های شبه هار. 14

2-2-3- روش‏های مبتنی بر شبکه عصبی.. 14

2-3- آشکارسازی چشم. 15

2-3-1- روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز. 15

2-3-2- روش‏های مبتنی بر دوسطحی کردن تصویر. 18

2-3-3- روش‏های مبتنی بر پروجکشن.. 19

2-3-4- روش‏های مبتنی بر یادگیری.. 20

2-4- آشکارسازی سایر اجزای چهره 21

2-4-1- آشکارسازی دهان (لب) 21

2-4-2- آشکارسازی بینی.. 21

2-5- ردیابی چهره و اجزای آن. 22

2-5-1- تخمین حرکت… 23

2-5-2- تطابق.. 23

2-6- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 24

2-6-1- ویژگی‏های ناحیه چشم. 24

2-6-2- ویژگی‏های دهان. 30

2-6-3- ویژگی‏های سر. 30

2-7- تشخیص خستگی و عدم تمرکز حواس… 31

2-7-1- روش‏های مبتنی بر حد آستانه. 31

2-7-2- روش‏های مبتنی بر دانش… 32

2-7-3- روش‏های مبتنی بر آمار و احتمال. 33

2-8- سیستم‏های نظارت چهره راننده در خودروهای تجاری.. 34

3- سیستم پیشنهادی.. 35

3-1- پیکربندی کلی سیستم پیشنهادی.. 35

3-1-1- نورپردازی و تصویربرداری.. 36

3-1-2- سخت‏افزار و پردازنده 37

3-1-3- نرم‏افزار هوشمند. 37

3-2- آشکارسازی چهره 38

3-2-1- ویژگی‏های شبه هار. 39

3-2-2- انتخاب و تعیین اهمیت ویژگی‏ها برای تشکیل یک طبقه‏بندی‏کننده قوی.. 41

3-2-3- درخت تصمیم آبشاری تقویت‏شده 42

3-3- ردیابی چهره 44

3-3-1- پنجره جستجو. 45

3-3-2- معیار تطابق.. 46

3-4- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 47

3-4-1- ویژگی‏های ناحیه چشم. 47

3-4-2- ویژگی‏های ناحیه چهره و سر. 55

3-5- تشخیص کاهش هوشیاری.. 58

3-5-1- سیستم خبره فازی.. 58

3-5-2- تولید خروجی نهایی.. 64

4- نتایج آزمایش‏ها و ارزیابی سیستم. 69

4-1- نحوه آزمایش سیستم. 69

4-2- معیار‏های ارزیابی.. 72

 

4-3- آشکارسازی چهره 73

4-4- ردیابی چهره 75

4-5- استخراج ویژگی‏های ناحیه چشم. 77

4-6- استخراج ویژگی‏های ناحیه سر و چهره 82

4-7- تشخیص کاهش هوشیاری.. 86

4-8- ارزیابی کلی سیستم و الگوریتم‏ها 93

4-8-1- بررسی سرعت پردازش سیستم پیشنهادی.. 93

4-8-2- بررسی پیچیدگی محاسباتی الگوریتم‏ها 94

5- نتیجه‏گیری و پیشنهادات… 95

6- مراجع. 99

فهرست شکل‏ها

شکل ‏2‑1: فلوچارت کلی برای سیستم‏های نظارت چهره راننده 12

شکل ‏2‑2: نمونه‏هایی از ماسک‏های ویژگی برای استخراج ویژگی‏های شبه هار. 14

شکل ‏2‑3: درخت تصمیم آبشاری برای آشکارسازی چهره 14

شکل ‏2‑4: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [6] 16

شکل ‏2‑5: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز. 17

شکل ‏2‑6: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکل‏ها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریم‏‏های زوج و فرد [6] 17

شکل ‏3‑1: محل قرارگیری دوربین در خودرو برای سیستم پیشنهادی.. 36

شکل ‏3‑2: فلوچارت بخش نرم‏افزار هوشمند در سیستم پیشنهادی.. 38

شکل ‏3‑3: نمونه‏هایی از ماسک‏های ویژگی برای آشکارسازی چهره [32] 39

شکل ‏3‑4: محاسبه مجموع پیکسل‏های بخشی از تصویر با بهره گرفتن از تصویر انتگرالی.. 40

شکل ‏3‑5: محاسبه یک نمونه ویژگی شبه هار بر اساس تصویر انتگرالی.. 41

شکل ‏3‑6: الگوریتم تشکیل یک طبقه‏بندی‏کننده قوی بر اساس چند ویژگی [33] 42

شکل ‏3‑7: درخت تصمیم آبشاری برای آشکارسازی چهره 43

شکل ‏3‑8: الگوریتم تشکیل یک درخت تصمیم آبشاری بر اساس چند طبقه‏بندی‏کننده قوی [33] 44

شکل ‏3‑9: نمایش چگونگی انجام جستجوی سه مرحله‏ای.. 46

شکل ‏3‑10: نمایش بازه تعریف ویژگی‏های درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن و فاصله بین پلک‏ها 51

شکل ‏3‑11: نمایش تاثیر پارامتر α در تغییر شکل تابع سیگموئید (β=0) 53

شکل ‏3‑12: نمایش تاثیر پارامتر β در تغییر شکل تابع سیگموئید (α=1) 54

شکل ‏3‑13: منحنی تغییرات فاصله بین پلک‏ها (ELDC) (محور عمودی) نسبت به تغییرات ضریب همبستگی HPO و HPLO (محور افقی) 55

شکل ‏3‑14: مدل کلی سیستم خبره فازی.. 59

شکل ‏3‑15: شکل توابع عضویت تعریف شده برای ورودی درصد بسته بودن چشم (PERCLOS) 60

شکل ‏3‑16: شکل توابع عضویت تعریف شده برای ورودی نرخ پلک زدن (CLOSNO) 60

شکل ‏3‑17: شکل توابع عضویت تعریف شده برای تغییرات فاصله بین پلک‏ها نسبت به حالت طبیعی (ELDC) 61

شکل ‏3‑18: شکل توابع عضویت تعریف شده برای میانگین چرخش سر (ROT) 61

شکل ‏3‑19: شکل توابع عضویت تعریف شده برای میزان خستگی (Fatigue) 61

شکل ‏3‑20: شکل توابع عضویت تعریف شده برای میزان عدم تمرکز حواس (Distraction) 62

شکل ‏3‑21: نمایش تغییرات پیوسته مقدار تغییرات فاصله بین پلک‏ها (ELDC) 65

شکل ‏3‑22: نمایش تغییرات پیوسته مقدار میانگین چرخش سر (ROT) 65

شکل ‏3‑23: نمایش تغییرات گسسته درصد بسته بودن چشم (PERCLOS) 66

شکل ‏3‑24: نمایش تغییرات گسسته نرخ پلک زدن (CLOSNO) 66

شکل ‏3‑25: نمایش تغییرات شکل خروجی نهایی سیستم با تغییر مقدار α در رابطه میانگین‏گیری مداوم. از بالا به پایین مقادیر α برابر است با صفر، 8/0 و 9/0  68

شکل ‏4‑1: نمونه‏هایی از تصاویر تهیه شده در محیط واقعی (داخل خودرو) برای آزمایش سیستم. 70

شکل ‏4‑2: نمونه‏هایی از تصاویر تهیه شده در محیط آزمایشگاهی برای آزمایش سیستم. 70

شکل ‏4‑3: نمونه‏هایی از تصاویر چهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

شکل ‏4‑4: نمونه‏هایی از تصاویر غیرچهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

شکل ‏4‑5: نمونه‏هایی از تصاویر چهره که آشکارسازی نشده‏اند. 74

شکل ‏4‑6: نمونه‏هایی از تصاویر غیرچهره که به اشتباه آشکارسازی شده‏اند. 74

شکل ‏4‑7: یکی از ماسک‏های مهم برای استخراج ویژگی در الگوریتم آشکارسازی چهره 75

شکل ‏4‑8: نمونه‏هایی از تصاویر چهره که به درستی آشکارسازی شده‏اند. 75

شکل ‏4‑9: نمونه‏هایی از خطای ردیابی با بهره گرفتن از روش جستجوی کامل و محاسبه ضریب همبستگی.. 76

شکل ‏4‑10: نمایش تغییر مکان چهره به دلیل تکان خوردن خودرو در دو فریم با فاصله زمانی یک ثانیه و بروز اشتباه در آشکارسازی بسته بودن چشم به دلیل عدم توانایی الگوریتم ردیابی در تعیین مکان دقیق چهره 78

شکل ‏4‑11: نمایش دو فریم از تصاویر چهره راننده در حالت چرت زدن. تصویر سمت راست حالت چشم باز راننده و تصویر سمت چپ حالت چشم بسته راننده است. در این حالت پلک زدن به آرامی و به طور نامحسوس انجام می‏شود. بنابراین نرخ عدم آشکارسازی بسته شدن چشم افزایش می‏یابد. 79

شکل ‏4‑12: تصاویر پلک زدن چشم در افرادی که عینک به چشم دارند. 79

شکل ‏4‑13: نمونه تصاویر تهیه شده از افرادی که عینک آفتابی به چشم دارند. 80

شکل ‏4‑14: نمونه فریم‏هایی از یک فیلم 9 دقیقه‏ای که در آن روند تغییرات فاصله بین پلک‏ها از حالت کاملا هوشیار به حالت خواب‏آلوده نشان داده شده است. تصاویر از بالا به پایین و از راست به چپ مربوط به زمان‏های دقیقه اول، دقیقه سوم، دقیقه پنجم، دقیقه هفتم، دقیقه هشتم و دقیقه نهم می‏باشد. 80

شکل ‏4‑15: نمودار تغییرات ELDC نسبت به زمان. 81

شکل ‏4‑16: نمایش وضعیت سر نسبت به محورهای مختصات… 83

شکل ‏4‑17: نمایش تغییرات میزان چرخش سر ® در یک فیلم دو دقیقه‏ای که در آن پنج بار چرخش رخ داده است… 84

شکل ‏4‑18: نمونه فریم‏هایی از یک فیلم دو دقیقه‏ای که در آن آشکارسازی چرخش سر مورد ارزیابی قرار گرفته است. تصویر راست بالا مربوط به حالت چهره بدون چرخش و سایر تصاویر مربوط به چرخش سر در جهت‏های مختلف می‏باشد. 84

شکل ‏4‑19: نمودار وقوع رخداد پلک زدن در طول زمان. 87

شکل ‏4‑20: نمودار تغییرات درصد بسته بودن چشم (PERCLOS) در طول زمان. 88

شکل ‏4‑21: نمودار تغییرات نرخ پلک زدن (CLOSNO) در طول زمان. 88

شکل ‏4‑22: نمودار تغییرات فاصله بین پلک‏ها (ELDC) در طول زمان. 89

شکل ‏4‑23: نمودار تغییرات میانگین چرخش سر (ROT) در طول زمان. 89

شکل ‏4‑24: میزان تخمین عدم تمرکز حواس راننده در طول زمان. 90

شکل ‏4‑25: میزان تخمین خستگی راننده در طول زمان. 90

شکل ‏4‑26: میانگین چرخش سر راننده در طول زمان. 91

شکل ‏4‑27: مقدار تخمین عدم تمرکز حواس راننده در طول زمان. 91

شکل ‏4‑28: نمودار پلک زدن یک فرد در فیلم سه دقیقه‏ای. در این فیلم فرد بعد از دقیقه یک، به دلیل مشغله ذهنی (عدم تمرکز حواس درونی) به یک نقطه خیره شده و پلک نمی‏زند. 92

شکل ‏4‑29: میزان عدم تمرکز حواس راننده در حالتی که وی به دلیل مشغله ذهنی دچار عدم تمرکز حواس درونی شده است… 93

فهرست جدول‏ها

جدول ‏3‑1: قوانین فازی تشخیص خستگی.. 63

جدول ‏3‑2: قوانین فازی تشخیص عدم تمرکز حواس… 64

جدول ‏4‑1: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط محیط.. 71

جدول ‏4‑2: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک جنسیت افراد 71

جدول ‏4‑3: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط عینک داشتن.. 71

جدول ‏4‑4: بیان مفاهیم FPR، FNR، TPR و TNR در قالب ماتریس اغتشاش… 73

جدول ‏4‑5: ارزیابی الگوریتم آشکارسازی چهره 74

جدول ‏4‑6: ارزیابی الگوریتم ردیابی بر اساس نوع روش جستجو و نوع روش محاسبه میزان انطباق.. 76

جدول ‏4‑7: ارزیابی الگوریتم آشکارسازی بسته شدن چشم. 78

جدول ‏4‑8: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی بسته شدن چشم. 82

جدول ‏4‑9: توانایی سیستم پیشنهادی در آشکارسازی چرخش سر حول محورهای مختصات… 83

جدول ‏4‑10: ارزیابی الگوریتم آشکارسازی چرخش سر. 83

جدول ‏4‑11: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی چرخش سر. 86

جدول ‏4‑12: مقایسه حجم محاسباتی بخش‏های مختلف سیستم پیشنهادی.. 94

چکیده

هر ساله تصادفات رانندگی زیادی به دلیل خواب‏آلودگی و عدم تمرکز حواس راننده در سراسر دنیا رخ می‏دهد که خسارت‏های جانی و مالی فراوانی به همراه دارند. یکی از روش‏های تشخیص خستگی و عدم تمرکز حواس، استفاده از سیستم‏های نظارت چهره راننده است. سیستم‏های نظارت چهره راننده با دریافت تصاویر از دوربین و پردازش آنها، نشانه‏های خواب‏آلودگی و عدم تمرکز حواس را از چشم، سر و چهره استخراج می‏کنند. در این پایان‏ نامه یک سیستم نظارت چهره راننده طراحی شده است که با استخراج نشانه‏های خستگی و عدم تمرکز حواس از ناحیه چشم و چهره، کاهش هوشیاری راننده را تخمین می‏زند. در این سیستم چهار ویژگی شامل درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن، کاهش فاصله بین پلک‏ها و میزان چرخش سر استخراج می‏شود. سه ویژگی اول مربوط به نشانه‏های بروز خستگی و عدم تمرکز حواس در ناحیه چشم و ویژگی آخر مربوط به نشانه‏های کاهش هوشیاری در ناحیه چهره و سر می‏باشد. ویژگی‏های ناحیه چشم بر اساس تغییرات پروجکشن افقی ناحیه چشم و ویژگی‏های ناحیه چهره بر اساس بررسی قالب چهره استخراج می‏گردد. سپس این ویژگی‏ها توسط یک سیستم خبره فازی مورد پردازش قرار می‏گیرد تا میزان خستگی و عدم تمرکز حواس راننده تخمین‏زده شود. تصویربرداری سیستم پیشنهادی در طیف مرئی و با دوربین سطح خاکستری انجام شده است. نتایج آزمایش‏ها بر روی فیلم‏های تهیه شده در محیط واقعی و آزمایشگاهی نشان می‏دهد که روش پیشنهادی دقت بسیار خوبی در استخراج ویژگی و تشخیص کاهش هوشیاری راننده دارد. از لحاظ سرعت اجرای الگوریتم، سرعت سیستم پیشنهادی حدود 5 فریم در ثانیه می‏باشد که می‏توان آن را سیستم بلادرنگ محسوب کرد.

پیشگفتار

افزایش تعداد خودروها در جهان و در نتیجه آن افزایش آمار خسارات و تلفات ناشی از تصادفات، باعث شد تا محققین به دنبال کشف علل اصلی تصادفات رانندگی باشند. یکی از مهمترین این علل، خستگی و عدم تمرکز حواس راننده می‏باشد که علت اصلی حدود 20% از تصادفات محسوب می‏شود. با توجه به نقش موثر خستگی و عدم تمرکز حواس راننده در بروز تصادفات، راهکارهایی برای مقابله با این عامل معرفی شد. یکی از راهکارهای اصلی و جدید برای تشخیص خستگی و عدم تمرکز حواس راننده و اعلام هشدار در مواقع ضروری، سیستم‏های نظارت چهره راننده است. پیشنهاد تولید سیستم‏های نظارت چهره راننده اولین بار در اواخر قرن 20 میلادی مطرح شد، اما عمده تحقیقات در این زمینه مربوط به بعد از سال 2000 میلادی می‏باشد.

تاکنون طراحی و تولید چنین سیستم‏هایی در ایران به طور جدی مورد بررسی قرار نگرفته است. سیستم ارائه شده در این پایان‏ نامه به عنوان اولین سیستم نظارت چهره راننده در ایران می‏باشد که قادر است میزان خستگی و عدم تمرکز حواس راننده را با بهره گرفتن از پردازش تصاویر چهره راننده تخمین بزند. هرچند تحقیقات بیشتری برای تولید یک سیستم نظارت چهره راننده با هدف کاربرد در خودروهای تجاری مورد نیاز است، اما این پایان‏ نامه می‏تواند شروع بسیار