دانشگاه یزد پژوهش های نظری و کاربردی هوش ماشینی 2821-2029 3 1 2025 08 23 A Novel Approach for Data Alignment in Infrared and RGB Image Fusion Algorithms ارائه روشی نوین به منظور هم ترازی دادگان در الگوریتم‌های تلفیق تصاویر فروسرخ و RGB 35 50 3885 10.22034/abmir.2025.22795.1101 FA راضیه رضوی کارشناسی ارشد، گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه شهرکرد، شهر شهرکرد، ایران 0009-0001-5591-7153 رضا روحانی استادیار، گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه شهرکرد، شهر شهرکرد، ایران Journal Article 2025 02 13 In recent years, human action recognition has become a key topic in the field of computer vision. However, one of the main challenges in this area is extracting effective features to enhance recognition accuracy. Infrared and RGB video data are commonly used for this purpose, yet neither of them alone provides a comprehensive representation of the scene. Therefore, combining these data types can lead to more accurate feature extraction. One effective approach to achieving this goal is through information fusion techniques. However, most human motion recognition datasets are not standardized for fusion, and the data are not properly aligned with each other.<br />In this study, the NTU RGB+D dataset is utilized, and a method for aligning and cropping video data is proposed to fuse infrared and RGB video frames. This method leverages inverse problem-solving techniques and body joint coordinates available in the dataset. The performance of the proposed approach is evaluated using EN, MI, SSIM, and MS-SSIM metrics. The obtained results indicate that the values of EN (7/17) and MI (13/1) demonstrate maximum information transfer and overlap. Additionally, the SSIM (0/78) and MS-SSIM (0/84) values confirm the preservation of structure and high quality of the fused data. These findings validate the effectiveness of the proposed method in enhancing video data fusion. در سال‌های اخیر، تشخیص حرکت انسان به یکی از موضوعات مهم در حوزه بینایی ماشین تبدیل شده است. بااین‌حال، یکی از چالش‌های اساسی در این زمینه، استخراج ویژگی‌های مؤثر برای افزایش دقت تشخیص است. داده‌های ویدئویی فروسرخ و RGB معمولاً برای این منظور استفاده می‌شوند، اما هیچ‌کدام به‌تنهایی اطلاعات کاملی از صحنه ارائه نمی‌دهند. بنابراین، ترکیب این داده‌ها می‌تواند به استخراج ویژگی‌های دقیق‌تر منجر شود. یکی از راهکارهای مؤثر برای دستیابی به این هدف، استفاده از تکنیک‌های تلفیق اطلاعات است. بااین‌وجود، بیشتر مجموعه‌داده‌های تشخیص حرکت انسان برای تلفیق استانداردسازی نشده‌اند و داده‌ها به‌درستی با یکدیگر تراز نیستند. در این پژوهش، از مجموعه‌داده NTU RGB+D استفاده شده و با بهره‌گیری از تکنیک‌های مسائل معکوس و مختصات نقاط بدنی موجود در این مجموعه‌داده، روشی برای ترازسازی و برش داده‌های ویدئویی به‌منظور تلفیق دو نوع داده ویدئویی فروسرخ و RGB ارائه شده است. عملکرد روش پیشنهادی با استفاده از معیارهای EN، MI، SSIM و MS-SSIM مورد ارزیابی قرار گرفته است. نتایج به‌دست‌آمده نشان می‌دهند که مقادیر حاصله از (17/7)EN و (1/13)MI بیانگر حداکثر میزان انتقال و هم‌پوشانی اطلاعات هستند. همچنین، مقادیر (78/0)SSIM و (84/0) MS-SSIM نشان‌دهنده حفظ ساختار و کیفیت بالای داده‌های تلفیق‌شده هستند. این نتایج، کارایی روش پیشنهادی را در بهبود تلفیق داده‌های ویدئویی تأیید می‌کنند. https://abmir.yazd.ac.ir/article_3885_fd72441ff19dc25171bc5e4ff6b529c2.pdf