جستجوی معماری عصبی فشرده برای طبقه‌بندی تصاویر با استفاده از الگوریتم جستجوی گرانشی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 مهندسی کامپیوتر، گرایش نرم افزار، دانشگاه لرستان، خرم آباد، ایران

2 مهندسی کامپیوتر ،گرایش هوش مصنوعی، دانشگاه لرستان

چکیده

در این مقاله، یک روش جستجوی معماری عصبی فشرده برای طبقه‌بندی تصاویر با استفاده از الگوریتم جستجوی گرانشی (GSA) ارائه‌شده است. یادگیری عمیق با بهره‌گیری از مدل‌های محاسباتی چندلایه، امکان استخراج خودکار ویژگی‌ها را از داده‌های خام در سطوح انتزاعی مختلف فراهم می‌کند که نقش کلیدی در مسائل پیچیده‌ای مانند طبقه‌بندی تصاویر دارد. روش جستجوی معماری عصبی (NAS) که به‌طور خودکار به کشف معماری‌های جدید شبکه‌های عصبی کانولوشنی (CNN) می‌پردازد، با چالش‌هایی نظیر پیچیدگی محاسباتی و هزینه‌های بالا مواجه است. برای مقابله با این چالش‌ها، رویکردی بر پایه الگوریتم جستجوی گرانشی (GSA) توسعه داده‌شده است که بهینه‌سازی دوسطحی با طول متغیر را برای طراحی معماری‌های میکرو و ماکرو شبکه‌های عصبی کانولوشنی (CNN) به کار می‌گیرد. این رویکرد با استفاده از فضای جستجوی فشرده و گلوگاه‌های کانولوشنی اصلاح‌شده، عملکرد بهتری نسبت به روش‌های پیشرفته نشان می‌دهد. نتایج تجربی بر روی مجموعه داده‌های CIFAR-10، CIFAR-100 و ImageNet نشان می‌دهد که روش پیشنهادی با دقت طبقه‌بندی 98.48% و هزینه جستجوی 1.05 (روز (GPU از الگوریتم‌های موجود ازنظر دقت، هزینه جستجو و پیچیدگی معماری برتری دارد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Compact Neural Architecture Search for Image Classification Using Gravitational Search Algorithm

نویسندگان [English]

  • Sajad Bastami 1
  • Mohammad Bagher Dolatshahi 2
1 Computer Engineering, Software Engineering, Lorestan University, Khorramabad, Iran
2 Computer Engineering Department, Lorestan University, Khoram Abad
چکیده [English]

This paper presents a compact neural architecture search method for image classification using the Gravitational Search Algorithm (GSA). Deep learning, through multi-layer computational models, enables automatic feature extraction from raw data at various levels of abstraction, playing a key role in complex tasks such as image classification. Neural Architecture Search (NAS), which automatically discovers new architectures for Convolutional Neural Networks (CNNs), faces challenges such as high computational complexity and costs. To address these issues, a GSA-based approach has been developed, employing a bi-level variable-length optimization technique to design both micro and macro architectures of CNNs. This approach, leveraging a compact search space and modified convolutional bottlenecks, demonstrates superior performance compared to state-of-the-art methods. Experimental results on CIFAR-10, CIFAR-100, and ImageNet datasets reveal that the proposed method achieves a classification accuracy of 98.48% with a search cost of 1.05 GPU days, outperforming existing algorithms in terms of accuracy, search efficiency, and architectural complexity.

کلیدواژه‌ها [English]

  • Convolutional Neural Networks (CNNs)
  • Deep Learning
  • Gravitational Search Algorithm (GSA)
  • Neural Architecture Search (NAS)

مراجع

‏
[1]     L. Alzubaidi et al., “Review of deep learning: concepts, CNN architectures, challenges, applications, future directions,” J. Big Data, vol. 8, no. 1, Mar. 2021.
[2]     H.-C. Shin et al., “Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning,” IEEE Trans. Med. Imaging, vol. 35, no. 5, pp. 1285-1298, May 2016.
[3]     M. Hussain, J. J. Bird, and D. R. Faria, “A Study on CNN Transfer Learning for Image Classification,” in Advances in Computational Intelligence Systems, vol. 840, A. Lotfi, H. Bouchachia, A. Gegov, C. Langensiepen, and M. McGinnity, Eds. Cham: Springer International Publishing, 2019, pp. 191-202.
[4]     P. Ren et al., “A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions,” ACM Comput. Surv., vol. 54, no. 4, pp. 1-34, May 2022.
[5]     J. Huang, B. Xue, Y. Sun, M. Zhang, and G. G. Yen, “Particle Swarm Optimization for Compact Neural Architecture Search for Image Classification,” IEEE Trans. Evol. Comput., pp. 1-1, 2022.
[6]     E. Rashedi, H. Nezamabadi-pour, and S. Saryazdi, “GSA: A Gravitational Search Algorithm,” Inf. Sci., vol. 179, no. 13, pp. 2232-2248, Jun. 2009.
[7]     S. Tabatabaei, “A new gravitational search optimization algorithm to solve single and multiobjective optimization problems,” J. Intell. Fuzzy Syst., vol. 26, no. 2, pp. 993-1006, 2014.
[8]     D. Pelusi, R. Mascella, and L. Tallini, “Revised Gravitational Search Algorithms Based on Evolutionary-Fuzzy Systems,” Algorithms, vol. 10, no. 2, p. 44, Apr. 2017.
[9]     E. Rashedi, E. Rashedi, and H. Nezamabadi-pour, “A comprehensive survey on gravitational search algorithm,” Swarm Evol. Comput., vol. 41, pp. 141-158, Aug. 2018.
[10]   “Spacetime and Geometry: An Introduction to General Relativity,” ResearchGate. [Online]. Available: https://www.researchgate.net/publication/230967918_Spacetime_and_Geometry_An_Introduction_to_General_Relativity. [Accessed: 24-Sep-2021].
[11]   O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp. 211-252, Dec. 2015.
[12]   Y. Wang, J. Yan, Q. Sun, J. Li, and Z. Yang, “A MobileNets Convolutional Neural Network for GIS Partial Discharge Pattern Recognition in the Ubiquitous Power Internet of Things Context: Optimization, Comparison, and Application,” IEEE Access, vol. 7, pp. 150226-150236, 2019.
[13]   B. Koonce and B. Koonce, “MobileNetV3,” in Convolutional Neural Networks with Swift for Tensorflow, Berkeley, CA: Apress, 2021, pp. 125-144.
[14]   Z. Lu et al., “NSGA-Net: neural architecture search using multi-objective genetic algorithm,” 2019, pp. 419-427.
[15]   Z. Yue, B. Lin, Y. Zhang, and C. Liang, “Effective, Efficient and Robust Neural Architecture Search,” 2022, pp. 1-8.
[16]   S. Li, Y. Sun, G. G. Yen, and M. Zhang, “Automatic 
پژوهش های نظری و کاربردی هوش ماشینی
دوره 2، شماره 1
شهریور 1403
صفحه 77-91

فایل ها

هم رسانی

ارجاع به این مقاله

آمار