ارائه راهکاری نوین برای طبقه‌بندی ترافیک رمزنگاری‌شده با بهره‌گیری از یادگیری عمیق

مقالات آماده انتشار

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری، گروه مهندسی کامپیوتر، واحد میبد، دانشگاه آزاد اسلامی، میبد، ایران

2 استادیار، گروه مهندسی کامپیوتر، واحد میبد، دانشگاه آزاد اسلامی، میبد، ایران

3 دانشیار، گروه مهندسی کامپیوتر، دانشکده فنی مهندسی، دانشگاه میبد، میبد، ایران

چکیده

تشخیص روابط خویشاوندی از روی چهره به دلیل تغییرات ناشی از سن، ژست، نور و شرایط غیرکنترل‌شده، چالشی اساسی در بینایی ماشین است. وابستگی روش‌های موجود به داده‌های برچسب‌خورده محدود، تعمیم‌پذیری آن‌ها را کاهش‌داده‌است. در این مقاله، یک چارچوب یادگیری عمیق چندمرحله‌ای برای یادگیری شباهت‌های موروثی چهره ارائه‌می‌شود که ترکیبی از یادگیری خودنظارتی و مدل‌سازی رابطه‌ای مبتنی بر ترنسفورمرهای بصری است. در مرحله اول، بازنمایی‌های مقاوم چهره با آموزش خودنظارتی و بدون برچسب خویشاوندی استخراج‌می‌شوند. سپس در مرحله نظارت‌شده، این بازنمایی‌ها با سازوکار توجه بین‌فردی پالایش‌شده و شباهت‌های ژنتیکی ظریف تقویت‌می‌گردند. روش پیشنهادی بر روی مجموعه داده‌های مرجع ارزیابی‌شده است. نتایج تجربی نشان‌می‌دهد روش پیشنهادی به‌دقت 2/94% در مجموعه‌داده کنترل‌شده KinFaceW-I و دقت 6/87% در مجموعه غیرکنترل‌شده KinFaceW-II/FIW می‌رسد که نسبت به ViT بدون خودنظارتی به‌ترتیب بهبود 8/4% و 4/6% نشان‌میدهد. افت عملکرد در انتقال از محیط کنترل‌شده به غیرکنترل‌شده تنها 6/6% است که کمتر از روش‌های مقایسه‌ای (2/8% تا 2/11%) است. ترکیب یادگیری خودنظارتی با مدل‌سازی توجه‌محور، وابستگی به داده‌های برچسب‌خورده را کاهش و کارایی را در محیط‌های واقعی افزایش‌می‌دهد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

A Multi-Stage Deep Learning Approach for Facial Kinship Recognition Using Self-Supervision and Attention

نویسندگان [English]

  • Nasrin Rasouli 1
  • Kamal Mirzaie 2
  • Mohsen Sardari Zarchi 3
1 Ph.D. student, Department of Computer Engineering, May.C., Islamic Azad University, Maybod, Iran
2 Assistant Professor, Department of Computer Engineering, May.C., Islamic Azad University, Maybod, Iran
3 Associate Professor, Department of Computer Engineering, Meybod University, Meybod, Iran
چکیده [English]

Kinship recognition from facial images is a challenging problem in computer vision due to variations in age, pose, illumination, and unconstrained acquisition conditions. The strong reliance of existing methods on limited labeled kinship data significantly restricts their generalization capability in real-world scenarios. This paper proposes a multi-stage deep learning framework for learning hereditary facial similarities by integrating self-supervised representation learning with transformer-based relational modeling. In the first stage, robust and general facial representations are learned from a large collection of unlabeled face images through self-supervised training, without using any kinship annotations. In the second stage, these representations are refined in a supervised manner using an inter-personal attention mechanism, which explicitly enhances subtle genetic similarities between paired faces. The proposed approach is evaluated on benchmark kinship datasets under both controlled and unconstrained conditions. Experimental results demonstrate that the proposed method achieves 94.2% accuracy on the controlled dataset KinFaceW-I and 87.6% accuracy on the unconstrained dataset KinFaceW-II/FIW, corresponding to significant improvements of 4.8% and 6.4% compared to the ViT without self-supervision, respectively. Furthermore, the performance degradation of the proposed method when transferring from controlled to unconstrained environments is only 6.6%, which is substantially lower than that of comparative methods (ranging from 8.2% to 11.2%). The findings indicate that combining self-supervised pretraining with attention-based relational modeling provides an effective solution for reducing dependency on labeled data while improving the reliability and practical applicability of facial kinship recognition systems.

کلیدواژه‌ها [English]

  • Kinship recognition
  • self-supervised learning
  • vision transformer
  • inter-personal attention

مراجع

[1]     M. C. Mzoughi, N. B. Aoun, and S. J. T. V. C. Naouali, "A review on kinship verification from facial information," Visual Computer, vol. 41, no. 3, pp. 1789-1809, 2025. doi:10.1007/s00371-024-03493-1
[2]     M. Almuashi, S. Z. Mohd Hashim, D. Mohamad, M. H. Alkawaz, A. J. M. T. Ali, and Applications, "Automated kinship verification and identification through human facial images: a survey," Multimedia Tools and Applications, vol. 76, no. 1, pp. 265-307, 2017. doi:10.1007/s11042-015-3007-5 
[3]     J. P. Robinson et al., "Visual kinship recognition of families in the wild," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 40, no. 11, pp. 2624-2637,2018. doi:10.1109/TPAMI.2018.2826549
[4]     J. Yu, M. Li, X. Hao, and G. Xie, "Deep fusion siamese network for automatic kinship verification," in 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), pp. 892-899,2020. doi:10.1109/FG47880.2020.00127
[5]     Jaiswal, A. R. Babu, M. Z. Zadeh, D. Banerjee, and F. J. T. Makedon, "A survey on contrastive self-supervised learning," Technologies, vol. 9, no. 1, p. 2, 2020. doi:10.3390/technologies9010002
[6]     Khan et al., "A survey of the vision transformers and their CNN-transformer based variants," Artificial Intelligence Review, vol. 56, no. Suppl 3, pp. 2917-2970, 2023. doi:10.1007/S10462-023-10595-0
[7]     G. Guo, X. J. I. T. o. I. Wang, and Measurement, "Kinship measurement on salient facial features," IEEE Transactions on Instrumentation and Measurement, vol. 61, no. 8, pp. 2322-2325, 2012. doi:10.1109/TIM.2012.2187468
[8]     A. Chergui, S. Ouchtati, J. Sequeira, S. E. Bekhouche, and F. Bougourzi, "Kinship verification using BSIF and LBP," in 2018 International Conference on Signal, Image, Vision and their Applications (SIVA), pp. 1-5,2018. doi:10.1109/SIVA.2018.8661085
[9]     Z. Zhou and Y. Zhou, "Cross-channel similarity based histograms of oriented gradients for color images," in 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC), pp. 1621-1625, 2018. doi:10.1109/SMC.2019.8913933
[10] A. Puthenputhussery, Q. Liu, and Liu, "Sift flow based genetic fisher vector feature for kinship verification," in 2016 IEEE international conference on image processing (ICIP), pp. 2921-2925,2016. doi:10.1109/icip.2016.7532814
[11] N. Nader, F. E.-Z. El-Gamal, S. El-Sappagh, K. S. Kwak, and M. J. P. C. S. Elmogy, "Kinship verification and recognition based on handcrafted and deep learning feature-based techniques," PeerJ Computer Science, vol. 7, p. e735, 2021. doi:10.7717/peerj-cs.735 
[12] M. M. Sadr, M. Khani, S. M. J. B. S. P. Tootkaleh, and Control, "Predicting athletic injuries with deep Learning: Evaluating CNNs and RNNs for enhanced performance and Safety," Biomedical Signal Processing and Control, vol. 105, p. 107692, 2025. doi:10.1016/j.bspc.2025.107692
[13] A. Menon, R. Yashwanthika, J. Shreya, K. Somasundaram, S. K. Thangavel, and S. Asawa, "Person Re-Identification Using Siamese Triplet Network," in 2025 4th International Conference on Sentiment Analysis and Deep Learning (ICSADL), 2025, pp. 391-397: IEEE. doi:10.1109/ICSADL65848.2025.10933063
[14] N. Giakoumoglou, T. Stathaki, and A. J. a. p. a. Gkelias, "A Review on Discriminative Self-supervised Learning Methods in Computer Vision," arXiv preprint arXiv:2405.04969, 2024. doi:10.48550/arXiv.2405.04969
[15] N. Fnu and A. Bansal, "Understanding the architecture of vision transformer and its variants: A review," in 2024 1st International Conference on Innovative Engineering Sciences and Technological Research (ICIESTR), pp. 1-6,2024.doi:10.1109/ICIESTR60916.2024.10798341
[16] S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. J. A. c. s. Shah, "Transformers in vision: A survey," in ACM Computing Surveys, vol. 54, no. 10s, pp. 1-41, 2022. doi:10.1145/3505244
[17] E. Voita, D. Talbot, F. Moiseev, R. Sennrich, and I. J. a. p. a. Titov, "Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned," in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019. doi:10.18653/v1/p19-1580
[18] I. Fibriani, E. M. Yuniarno, R. Mardiyanto, M. H. J. I. J. o. I. E. Purnomo, and Systems, "SSCNetViT: A Hybrid Siamese Sequential Classification-ViT Model for Kinship Recognition in Indonesia Facial Microexpression," in International Journal of Intelligent Engineering and Systems, vol. 18, no. 1, 2025. doi: 10.22266/ijies2025.0229.59
پژوهش های نظری و کاربردی هوش ماشینی

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 31 مرداد 1405

فایل ها

هم رسانی

ارجاع به این مقاله

آمار