یک تیم تحقیقاتی اخیراً یک سیستم کنترل نوردهی نورومورفیک (NEC) توسعه داده است که دید ماشین را در شرایط تغییرات نوری شدید بهبود میبخشد.
منتشر شده در Nature Communications، این سیستم الهام گرفته از زیستشناسی، دید محیطی انسان را تقلید میکند تا به سرعت و استحکام بیسابقهای در محیطهای ادراک دینامیک دست یابد. این تیم تحقیقاتی توسط پروفسور جیا پان و پروفسور ییفان ایوان پنگ از دپارتمان علوم کامپیوتر و دپارتمان مهندسی برق و الکترونیک زیر نظر دانشکده مهندسی دانشگاه هنگ کنگ (HKU)، با همکاری یک محقق در دانشگاه ملی استرالیا رهبری شد.
سیستمهای خودکار نوردهی (AE) سنتی به بازخورد تصویر تکراری متکی هستند و یک معضل مرغ و تخممرغ ایجاد میکنند که در تغییرات ناگهانی روشنایی (به عنوان مثال، تونلها، تابش خیرهکننده) با شکست مواجه میشود. سیستم NEC این مشکل را با ادغام دوربینهای رویداد حل میکند—حسگرهایی که تغییرات روشنایی در هر پیکسل را به صورت "رویدادهای" ناهمزمان ثبت میکنند—با یک الگوریتم جدید Trilinear Event Double Integral (TEDI). این رویکرد: با سرعت 130 میلیون رویداد در ثانیه بر روی یک CPU واحد عمل میکند و امکان استقرار در لبه را فراهم میکند.
شیجی لین، نویسنده اول مقاله، توضیح داد: "مانند اینکه چگونه مردمکهای ما فوراً با نور سازگار میشوند، NEC همافزایی بیولوژیکی بین مسیرهای شبکیه را تقلید میکند. با ادغام جریانهای رویداد با معیارهای فیزیکی نور، ما از تنگناهای سنتی عبور میکنیم تا دیدی مستقل از نور ارائه دهیم."
در آزمایشها، این تیم NEC را در سناریوهای حیاتی ماموریت تأیید کرده است:
- رانندگی خودکار: بهبود دقت تشخیص (mAP +47.3%) زمانی که وسایل نقلیه از تونلها به نور خورشید کورکننده خارج میشوند.
- واقعیت افزوده (AR): دستیابی به 11% تخمین موقعیت بالاتر (PCK) برای ردیابی دست زیر چراغهای جراحی.
- بازسازی سهبعدی: فعال کردن SLAM مداوم در محیطهای بیش از حد نوردهی شده که روشهای معمولی با شکست مواجه میشوند.
- کمک AR پزشکی: حفظ تجسم واضح حین عمل با وجود تنظیمات دینامیک نورافکن.
پروفسور پان گفت: "این پیشرفت نشاندهنده یک جهش بزرگ در دید ماشین با پر کردن شکاف بین اصول بیولوژیکی و کارایی محاسباتی است. سیستم NEC نه تنها محدودیتهای کنترل نوردهی سنتی را برطرف میکند، بلکه راه را برای سیستمهای دید سازگارتر و مقاومتر در کاربردهای دنیای واقعی، از وسایل نقلیه خودران گرفته تا رباتیک پزشکی، هموار میکند."
پروفسور پنگ اظهار داشت: "کار مشترک ما در پیشبرد مرزهای مهندسی نورومورفیک مؤثر بوده است. با استفاده از حسگری مبتنی بر رویداد و الگوریتمهای الهام گرفته از زیستشناسی، سیستمی ایجاد کردهایم که نه تنها سریعتر است، بلکه در شرایط سخت نیز مقاومتر است. این گواهی بر قدرت تحقیقات بینرشتهای در حل چالشهای مهندسی پیچیده است."
در درازمدت، پارادایم NEC یک طرح پردازش رویداد-فریم جدید ارائه میدهد که بار پردازش رویدادها/تصاویر با وضوح بالا را کاهش میدهد و اصول بیولوژیکی معقول را در کنترل سطح پایین چشمهای ماشین گنجانده است. این امر راههای جدیدی را برای طراحی دوربین، کنترل سیستم و الگوریتمهای پاییندستی باز میکند. موفقیت این تیم در تجسم همافزایی نورومورفیک در سیستمهای مختلف، یک نقطه عطف است که میتواند الهامبخش بسیاری از خطوط لوله پردازش نوری/تصویری/نورومورفیک باشد و پیامدهای اقتصادی و عملی مستقیمی برای صنعت دارد.
اطلاعات بیشتر: Shijie Lin et al, Embodied neuromorphic synergy for lighting-robust machine vision to see in extreme bright, Nature Communications (2024). DOI: 10.1038/s41467-024-54789-8
اطلاعات مجله: Nature Communications
ارائه شده توسط دانشگاه هنگ کنگ
Citation: Neuromorphic system enhances machine vision in extreme lighting environments (2025, March 3) retrieved 4 March 2025 from https://techxplore.com/news/2025-03-neuromorphic-machine-vision-extreme-environments.html