دانشگاه یزد پژوهش های نظری و کاربردی هوش ماشینی 2821-2029 3 2 2025 11 22 Steel Price Time Series Forecasting Using a Patch-based Transformer Architecture پیش‌بینی سری‌های زمانی قیمت فولاد با استفاده از معماری ترنسفورمر پچ‌محور 17 33 3951 10.22034/abmir.2025.23536.1152 FA فاطمه زارع مهرجردی استادیار، دانشکده فنی و مهندسی، گروه مهندسی کامپیوتر، دانشگاه میبد، میبد، ایران 0009-0001-3268-0114 عباس نوروزی کارشناسی ارشد، دانشکده فنی و مهندسی، گروه مهندسی کامپیوتر، دانشگاه میبد، میبد، ایران 0009-0004-9679-6759 Journal Article 2025 08 17 Steel, as one of the most critical materials across various industries, plays a vital role in the global economy. However, its high price volatility, complex and non-linear dependencies, and the inability of traditional models to capture long-term correlations have made its accurate forecasting a serious challenge. To overcome these shortcomings, this research proposes a comprehensive deep learning approach for steel price time series forecasting, structured in three main phases. First, the data undergoes preprocessing, including handling missing values, normalization, and creating time window inputs. Second, various deep learning models, including Recurrent Neural Networks (RNNs), Transformer networks (PatchTST), and Convolutional Networks, are trained and optimized. Finally, the third phase involves evaluating and comparing the models' performance using the R², RMSE, and MAE metrics. Evaluation results demonstrate that the PatchTST model, by utilizing its attention mechanism and processing data in segments or "patches," successfully identified complex, long-term dependencies with superior accuracy compared to other models. Specifically, PatchTST achieved a leading R2 value of 0.9815 and the lowest RMSE of 0.0304 in steel price prediction. Conversely, standard RNN models exhibited significantly weaker performance due to their sequential nature and inherent structural limitations. These findings underscore the definitive superiority of Transformer-based models for accurate forecasting of complex time series data. ولاد به عنوان یکی از مهم‌ترین مصالح در صنایع مختلف، نقشی حیاتی در اقتصاد جهانی ایفا می‌کند. اما نوسانات بالای قیمت، وابستگی‌های پیچیده و غیرخطی و عدم توانایی مدل‌های سنتی در ثبت همبستگی‌های بلندمدت، پیش‌بینی دقیق آن را به یک چالش جدی تبدیل کرده است. این پژوهش برای غلبه بر این نارسایی‌ها، یک رویکرد جامع برای پیش‌بینی سری‌های زمانی قیمت فولاد با استفاده از مدل‌های یادگیری عمیق ارائه می‌دهد که شامل سه مرحله اصلی است: در مرحله اول، پیش‌پردازش داده‌ها از قبیل حذف مقادیر گم‌شده، نرمال‌سازی و ایجاد پنجره‌های زمانی ترتیبی انجام‌شده است؛ در مرحله دوم، مدل‌های یادگیری عمیق، شامل مدل‌های شبکه‌های عصبی بازگشتی، شبکه‌های ترنسفورمر (PatchTST) و شبکه‌های کانولوشنی آموزش داده‌شده‌اند و درنهایت، مرحله سوم ارزیابی عملکرد و مقایسه مدل‌ها با استفاده از معیارهای RMSE، MAE و R² صورت گرفته است. نتایج ارزیابی نشان می‌دهد که مدل PatchTST با بهره‌گیری از مکانیزم توجه و پردازش داده‌ها به صورت قطعات یا پچ توانسته است وابستگی‌های پیچیده و بلندمدت را با دقت بالاتری نسبت به سایر مدل‌ها تشخیص دهد؛ به‌طور خاص، PatchTST در پیش‌بینی قیمت‌های فولاد توانست به دقت پیشرو R² با مقدار 9815/0 و حداقل خطای RMSE با مقدار 0304/0 دست یابد. این در حالی است که مدل‌های RNN به دلیل ماهیت ترتیبی و محدودیت‌های ساختاری خود، عملکرد ضعیف‌تری ارائه دادند. این یافته‌ها بر برتری مدل‌های مبتنی بر ترنسفورمر در پیش‌بینی دقیق سری‌های زمانی پیچیده تاکید می‌کند. https://abmir.yazd.ac.ir/article_3951_72cc6932bb45f19da872182360bc6e50.pdf