This new technology uses contactless sensing technology to measure
the driver's states and in-vehicle environment
OSAKA,
Japan--(BUSINESS WIRE/AETOS Wire)-- Panasonic Corporation announced
today that it has developed a drowsiness-control technology for detecting and
predicting a person's level of drowsiness and allowing to stay comfortably
awake.
This technology, which can help
prevent drowsy driving, detects a driver's shallow drowsiness1 at
the initial state by accurately measuring the driver's states without physical
contact, including blinking features and facial expressions, etc. captured by
an in-vehicle camera, and processing these signals using artificial
intelligence. Further, using measurement data from the in-vehicle environment,
such as heat loss from the driver and illuminance, Panasonic’s new technology
also predicts transitions in the driver's drowsiness level. The technology also
combines thermal sensation monitoring function, allowing the driver to stay
comfortably awake while driving.
1
|
|
Assessed as Level 2 (slightly
drowsy) based on the equally spaced five-levels of drowsiness [1]
|
|
This
technology has made it possible to develop a driver-monitoring system that
detects the driver's current level of drowsiness and predicts transitions in
the driver's drowsiness based on the in-vehicle environment, as well as a
drowsiness-control system that allows the driver to stay comfortably awake.
These systems prevent the driver from falling asleep while driving.
This
new technology offers the following features:
- Detects
shallow drowsiness the driver is even unaware of by non-contact
measurement of blinking features and facial expressions, etc.
- Collects
in-vehicle environment data to predict transitions in the driver's
drowsiness level.
- Senses and
monitors the driver's level of thermal sensation, allowing the person to
stay comfortably awake.
Conventional
drowsiness-detection systems had difficulty in predicting transitions in
drowsiness. Conventional anti-hypnotic stimulant systems use alarm sounds and
vibrations to wake up users, which can make them feel uncomfortable.
Panasonic's
newly developed technology, with 22 patents on file, is suitable for
applications in human- and environment-monitoring systems for use in such
places as private and commercial vehicles, offices and educational
institutions; drowsiness-prediction systems; and drowsiness-control systems for
keeping people awake.
Key
Technological Features:
1. Detects shallow drowsiness
the driver is even unaware of by non-contact measurement of blinking features
and facial expressions, etc.
A
person who feels drowsy shows various signs. For example, people will
"have a drowsy facial expression," or "blink in a specific
way," when becoming drowsy. Identifying these signs allows to detect the
level of drowsiness.
Utilizing
image recognition technologies refined through the development of monitoring
cameras and other systems, Panasonic has recently developed non-contact and
highly accurate technology for detecting people's blinking features and facial
expressions, etc. from photographed images. The company has also compiled a
database of various measurements on drowsiness and biological signals, and
analyzed, from a physiological standpoint, the relationship between about 1,800
parameters related to blinking features and facial expressions, etc., and
drowsiness that were extracted from the database. Based on the results of an
analysis of drowsy expressions compiled during joint research with the Ohara
Memorial Institute for Science of Labour, a public interest foundation,
Panasonic has developed an artificial intelligence capable of estimating an
individual's drowsiness level.
These
achievements allow to detect the signs of shallow drowsiness, even if a person
is not aware of it, and to identify the actual level of drowsiness.
2. Collects in-vehicle
environment data to predict transitions in the driver's drowsiness level
Generally,
people rarely become drowsy in a cool and bright environment, but can easily
become drowsy in a warm and dim environment. Therefore, it is assumed that
drowsiness depends on in-vehicle environmental factors, such as temperature and
brightness. However, some people wear a lot of clothes while others wear less
at the same temperature. Such variations in human behavior make it difficult to
estimate people's drowsiness based only on the ambient temperature.
Panasonic
has conducted joint research with Chiba University, which revealed that heat
loss from a person's body is correlated with the person's drowsiness after
prescribed time elapses, regardless of how much clothes the person wears.
Panasonic has also developed a contactless technology to measure heat loss from
a person's body with the company’s original infrared array sensor Grid-EYE [2].
In addition, the company has identified the effect of the elapsed time and the
surrounding brightness, which is measured by an environment sensor, on a
person's level of drowsiness.
These
results have made it possible to predict how a person's current drowsiness can
change by means of heat loss from the body (measured without contact) and the
surrounding brightness.
3. Senses and monitors the
driver's level of thermal sensation, allowing the person to stay comfortably
awake
Adjusting room temperature or
airflow based on an individual's estimated level of drowsiness makes it easier
to keep a person awake. However, a person would feel a cold when the room
temperature is too low, which the level of thermal comfort would be disturbed.
By applying our knowledge of thermal environments and physiology accumulated through
research & development of indoor air conditioners and other products,
Panasonic has developed, through joint research with Nara Women's University, a
technology to estimate the thermal sensation2. This technology can
be used inside a vehicle, where the effects of airflow and others are
significant. By applying the infrared array sensor Grid-EYE, an individual's
level of thermal sensation can be constantly monitored as an optimum means of
controlling temperature, for example, an air conditioner. This allows a person
to stay comfortably awake3.
2
|
|
Technology using an infrared array
sensor to detect a person's level of thermal sensation (sensing of warm and
cold) without contact.
|
3
|
When a driver's current drowsiness
level is detected as high, a sound alarm or a command to rest is issued.
Terms
[1]
Equally spaced five levels of drowsiness
Scale for determining the level of a person's drowsiness from the facial expression. The drowsiness levels are assessed into following five levels: 1. Not drowsy at all, 2. Slightly drowsy, 3. Drowsy, 4. Very drowsy, 5. Seriously drowsy. Source: Hiroki Kitajima, Nakaho Numata, Keiichi Yamamoto, Yoshihiro Goi: "Prediction of Automobile Driver sleepiness (1st Report, Rating of Sleepiness Based on Facial Expression and Examination of Effective Predictor Indexes of Sleepiness)," Transactions of the Japan Society of Mechanical Engineers (C edition), Vol. 63, No. 613, pp. 93–100, 1997.
[2]
Infrared array sensor Grid-EYE
The infrared array sensor carries two-dimensionally arranged pixels that detect infrared rays (wavelength: 10 µm) emitted from a human body or object. It is capable of measuring a two-dimensional temperature distribution. Panasonic’s infrared array sensor Grid-EYE has 64 pixels. Equipped with a super-resolution algorithm and can be swung with appropriate speed and an angle, thus offering clear thermal images equivalent in resolution to images created with about 7,800 pixels.
باناسونيك تطور تقنيةً للتحكم بالنعاس من
خلال الكشف والتنبؤ بمستوى النعاس لدى السائق
تستخدم هذه التقنية الجديدة تقنية الاستشعار
غير التلامسي لقياس أوضاع السائق والبيئة داخل السيارة
أوساكا،
اليابان (بزنيس واير/"ايتوس واير"): أعلنت اليوم شركة
"باناسونيك" عن تطويرها لتقنيةٍ التحكم بالنعاس للكشف عن مستوى النعاس
لدى الشخص والتنبؤ به، ما يتيح له البقاء مستيقظاً بشكل مريح أثناء القيادة.
تتيح هذه التقنية، التي
يمكن أن تساعد على منع النعاس أثناء القيادة، الكشف عن الحالة الأولية للنعاس الخفيف
لدى السائق1 عن طريق قياس أوضاع السائق بدقة دون أي اتصال جسدي به، بما
في ذلك ملامح الرمش بالعينين وتعابير الوجه، وما إلى ذلك من الإشارات التي تلتقطها
كاميرا مركّبة في السيارة، وبالتالي معالجة هذه الإشارات باستخدام الذكاء
الاصطناعي. وعلاوة على ذلك، بفضل استخدام بيانات القياس من البيئة الداخلية للسيارة،
مثل فقدان الحرارة من السائق وتغيّر الإضاءة داخل المركبة، تتنبأ تقنية "باناسونيك"
الجديدة أيضاً بالتحولات الجارية في مستوى النعاس لدى السائق. كما تضمّ هذه
التقنية وظيفة مراقبة الإحساس الحراري، ما يسمح للسائق بالبقاء مستيقظاً بشكل مريح
أثناء القيادة.
1 التقييم بمستوى 2 (النعاس الخفيف) على أساس خمسة مستويات متساوية من
النعاس [1]
لقد أتاحت هذه التقنية
تطوير نظام مراقبة السائق الذي يكشف عن المستوى الحالي لنعاس السائق ويتوقع التحوّلات
في درجة نعاسه بناءً على البيئة الداخلية للسيارة، إضافةً إلى نظام للتحكم بالنعاس
يسمح للسائق بالبقاء مستيقظاً بشكل مريح. وتمنع هذه الأنظمة السائق من النوم أثناء
القيادة.
تقدّم هذه التقنية
الجديدة الميزات التالية:
1. تكتشف النعاس الخفيف الذي
لا يدركه السائق حتى، وذلك عبر قياس ملامح الرمش بالعينين وتعابير الوجه، وما إلى
ذلك.
2. تجمع البيانات في البيئة
الداخلية للسيارة للتنبؤ بالتحولات الحاصلة في مستوى النعاس لدى السائق.
3. تستشعر وترصد مستوى
الإحساس الحراري لدى السائق، ما يسمح للشخص بالبقاء مستيقظاً بشكل مريح.
واجهت الأنظمة التقليدية
للكشف عن النعاس صعوبةً في التبّؤ بالتحولات في النعاس. وتستخدم أنظمة مكافحة النعاس
التقليدية الأصوات والاهتزازات التنبيهية لإيقاظ المستخدمين، ما يمكن أن يقلق راحتهم.
وتعتبر تكنولوجيا "باناسونيك"
المطورَّة حديثاً، التي تتمتع بملفٍ يضم 22 براءة اختراع، تقنيةً مناسبة لتطبيقات أنظمة
رصد الإنسان والبيئة، لاستخدامها في أماكن مثل المركبات الخاصة والتجارية والمكاتب
والمؤسسات التعليمية؛ وأنظمة التنبؤ بالنعاس؛ وأنظمة التحكم بالنعاس لإبقاء الناس
مستيقظين.
الميزات
التقنية الرئيسية:
1. تكتشف النعاس الخفيف الذي
لا يدركه السائق حتى، وذلك عبر قياس ملامح الرمش بالعينين وتعابير الوجه، وما إلى
ذلك.
يُظهر الشخص الذي يشعر
بالنعاس علاماتٍ مختلفة. على سبيل المثال، عندما يشعر الأشخاص بالنعاس، يظهر على
ملامحهم "تعبير الوجه الناعس"، أو "يرمشون بطريقة معينة". ويسمح
تحديد هذه العلامات بالكشف عن مستوى النعاس.
وباستخدام تقنيات التعرف
على الصور التي تم تحسينها من خلال تطوير كاميرات المراقبة وغيرها من الأنظمة، طوّرت
"باناسونيك" مؤخراً تقنية الكشف غير التلامسي عالي الدقة عن للكشف عن ملامح
الرمش لدى الأشخاص وتعابير الوجه، وما إلى ذلك من الصور التي يتم التقاطها. وجمعت الشركة
قاعدة بياناتٍ لمختلف قياسات مستويات النعاس والإشارات البيولوجية، وقامت بتحليل
العلاقة بين حوالي 1800 مقياس يتعلق بملامح الرمش وتعبيرات الوجه وما إلى ذلك، وبين
النعاس، من وجهة نظر فيزيولوجية، بعد استخراج تلك المعلمات من قاعدة البيانات.
واستناداً إلى نتائج تحليل تعابير النعاس التي تم جمعها خلال البحث المشترك مع
معهد أوهارا التذكاري لعلوم العمّل، وهي مؤسسة تعنى بالصالح العام، طوّرت "باناسونيك"
ذكاءً اصطناعياً قادراً على تقدير مستوى نعاس الفرد.
وتسمح هذه الإنجازات بالكشف
عن علامات النعاس الخفيفة، حتى لو لم ينتبه الشخص نفسه لها، وكذلك تحديد المستوى
الفعلي للنعاس.
2. تجميع البيانات في البيئة
الداخلية للسيارة للتنبؤ بالتحولات الحاصلة في مستوى النعاس لدى السائق
على وجه العموم، نادراً
ما يشعر الناس بالنعاس في البيئات الباردة والمضاءة، ولكن يمكنهم الشعور بالنعاس
بسهولة في بيئة دافئة ومعتمة. ولذلك، من المفترض أن يعتمد النعاس على العوامل
البيئية في السيارة، مثل درجة الحرارة والسطوع. وفي حين يرتدي بعض الناس الكثير من
الملابس، يرتدي البعض الآخر كمية أقل في الجو نفسه ودرجة الحرارة نفسها. وتصعّب هذه
الاختلافات في السلوك البشري تقدير الشعور بالنعاس لدى الناس بالاستناد فقط إلى درجة
الحرارة المحيطة.
وأجرت "باناسونيك"
أبحاثاً مشتركة مع جامعة "شيبا"، حيث كشفت تلك الأبحاث أن فقدان الحرارة
من جسم الشخص مرتبط بنعاس الشخص بعد انقضاء وقتٍ محدد، بغضّ النظر عن مقدار
الملابس التي يرتديها ذلك الشخص. وطوّرت "باناسونيك" أيضاً تقنيةً لاتلامسية
لقياس فقدان الحرارة من جسم الشخص بفضل "جريد آي"، مجموعة من المستشعرات
بالأشعة تحت الحمراء "جريد آي" [2]. وبالإضافة إلى ذلك، حددت الشركة
تأثير الوقت المنقضي ودرجة السطوع المحيطة، والتي تقاس بجهاز استشعار البيئة، على
مستوى النعاس لدى الشخص.
ويمكن بفضل هذه النتائج
التنبؤ بكيفية تغيّر مستوى النعاس الحالي للشخص بفعل فقدان الحرارة من الجسم (عبر
القياس غير التلامسي) ودرجة السطوع المحيطة به.
3. تستشعر وترصد مستوى
الإحساس الحراري لدى السائق، ما يسمح للشخص بالبقاء مستيقظاً بشكل مريح.
يمكن
لتعديّل درجة حرارة الغرفة أو انسياب الهواء بناءً على تقدير مستوى النعاس، ما يسهّل
إبقاء الشخص مستيقظًا. ولكن الشخص سيشعر بالبرد عندما تكون درجة حرارة الغرفة
منخفضةً جداً، ما يعني أن مستوى الراحة الحرارية سيختل. وانطلاقًا من خبرتنا المتراكمة
في البيئات الحرارية والفيزيولوجيا، بفضل أعمال البحث والتطوير التي قمنا بها في مجال مكيفات
الهواء والمنتجات الأخرى، طورّت "باناسونيك" من خلال بحث مشترك مع جامعة
نارا للنساء تقنيةً تقدّر الإحساس الحراري2. ويمكن استخدام هذه التقنية
داخل السيارة حيث يبرز تأثير تدفّق الهواء وغيره بشكل كبير. فمن خلال استخدام مجموعة من المستشعرات
بالأشعة تحت الحمراء "جريد آي"، يمكن مراقبة مستوى
الإحساس الحراري للشخص باستمرار كوسيلة مثالية للتحكم بالحرارة، مثل التحكم بدرجة
حرارة مكيّف الهواء على سبيل المثال. ويساعد ذلك على بقاء الشخص مستيقظًا وهو
مرتاح3.
2 تقنية تستخدم مجموعة من
المستشعرات بالأشعة تحت الحمراء لتحديد مستوى الإحساس الحراري لدى الشخص (الإحساس
بالدفء أو البرد) دون تلامس.
3 عند تحديد مستوىً مرتفع
من النعاس لدى السائق، يتم اطلاق جرس إنذار أو اصدار أمر بأخذ قسط من الراحة.
الشروط
[1] خمس
مستويات متساوية للنعاس
مقياس لتحديد مستوى نعاس
الشخص من تعابير الوجه. يتمّ تقييم مستويات النعاس ضمن المستويات الخمس التالية: 1. لا
يشعر بالنعاس على الإطلاق، 2. يشعر بالنعاس قليلاً، 3. يشعر بالنعاس، 4. يشعر بالنعاس
بشكل كبير 5. يشعر بالنعاس بشكل جدّي.
المصدر: هيروكي كيتاجيما،
ناكاهو نوماتا، كيشي يوماماتو، يوشيهيرو جوي: "التنبؤ بمستوى نعاس سائق
السيارة (التقرير الأول تقييم النعاس استنادًا إلى تعابير الوجه وفحص مؤشرات جهاز
التنبؤ الفعّال بالنعاس) "مداولات الجمعية اليابانية للمهندسين
الميكانيكيين" (النسخة سي) مجلد 63، رقم 613، ص. 93-100، 1997
[2] جريد
آي"، مجموعة من المستشعرات بالأشعة تحت الحمراء "جريد آي"
تضمّ مجموعة المستشعرات
بالأشعة تحت الحمراء بيكسلات ثنائية الأبعاد تكشف الأشعة تحت الحمراء (طول الموجة:
10 ميكرومتر) المنبعثة من جسم الإنسان أو الشيء، وتستطيع قياس توزيع
الحرارة ثنائي الأبعاد. وتضمّ مجموعة المستشعرات بالأشعة تحت الحمراء "جريد آي" من
باناسونيك 64 بيكسل، وهي مزوّدة بخوارزمية فائقة الدقة ويمكن استعمالها بالسرعة
والزاوية الملائمتين ليعطي صورًا حراريةً توزاي من حيث الدقة الصور الملتقطة
بـ7800 بيكسل.
|