تولید و ارزیابی مجموعه‌دادگان مهارت‌های صریح و ضمنی در پروفایل‌های فارسی با مدل‌های زبانی

مقالات آماده انتشار

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی کارشناسی ارشد هوش مصنوعی و رباتیکز، دانشکده هوش مصنوعی و علوم شناختی، دانشگاه جامع امام حسین (ع)، تهران، ایران

2 استادیار، دانشکده هوش مصنوعی و علوم شناختی، دانشگاه جامع امام حسین (ع)، تهران، ایران

3 دانشجوی دکتری هوش مصنوعی و رباتیکز، دانشکده هوش مصنوعی و علوم شناختی، دانشگاه جامع امام حسین (ع)، تهران، ایران

چکیده

استنتاج مهارت‌های کاربران از توصیف‌های متنی در پروفایل‌های شغلی، یکی از چالش‌های اساسی در سیستم‌های توصیه‌گر حوزه استخدام و پلتفرم‌های کاریابی است. پیچیدگی اصلی زمانی است که مهارت به‌صورت صریح ذکر نشده، بلکه در قالب جملات روایی و بافت‌های ضمنی پنهان‌شده است. با وجود پیشرفت‌های اخیر در مدل‌های زبانی، تاکنون مجموعه‌دادگان استانداردی برای پژوهش‌های زبان فارسی در این حوزه وجود نداشته که به‌طور عمیق به بازنمایی هم‌زمان مهارت‌های صریح و ضمنی بپردازد. در این پژوهش، نخستین مجموعه‌دادگان فارسی شامل 10430 پروفایل حاشیه‌نویسی‌شده است که از پلتفرم‌های کاریابی کارلنسر و پونیشا ارائه می‌شود و علاوه بر مهارت‌های صریح کاربران، چهار لایه اطلاعاتی دیگر را نیز پوشش می‌دهد: مهارت‌های ضمنی (در سه سطح دشواری)، توصیف روایی، وزن زمینه و آزمون پایایی. ساخت مجموعه‌دادگان با رویکرد ترکیبی «مدل زبانی بزرگ به‌علاوه حلقه انسانی» انجام شده است. برای اعتبارسنجی، چهار مدل زبانی mBERT، ParsBERT، RoBERTa و FaBERT بر روی پنج وظیفه طبقه‌بندی مهارت، تشخیص مهارت ضمنی، تولید توصیف روایی، طبقه‌بندی وزن زمینه و وظیفه سرتاسری ارزیابی شدند. نتایج نشان می‌دهد مدل FaBERT با کسب 91/0 F1=  در طبقه‌بندی صریح و 76/0 F1= در تشخیص مهارت ضمنی، به‌ترتیب 4/3٪ و 6/8٪ بهبود نسبت به بهترین مدل پایه (ParsBERT) نشان داد و معماری فاین‌تیون‌شده آن در تمامی وظایف عملکردی برتر دارد. معرفی این مجموعه‌دادگان و مدل ارزیابی‌شده، بستری مؤثر برای بهبود سامانه‌های جستجوی مهارت‌محور، تطابق شغلی هوشمند و تحلیل پروفایل‌های متنی در حوزه مدیریت منابع انسانی می‌شود.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Construction and Evaluation of a Dataset for Explicit and Implicit Skills from Persian Profiles using Language Models

نویسندگان [English]

  • Ali Hosseinpournaderi 1
  • MohammadAli Javadzade 2
  • Hossein Hosseini 3
1 Master Student in Artificial Intelligence and Robotics, Faculty of Artificial Intelligence and Cognitive Sciences, Imam Hossein Comprehensive University, Tehran, Iran
2 2Assistant Professor, Faculty of Artificial Intelligence and Cognitive Sciences, Imam Hossein Comprehensive University, Tehran, Iran
3 PhD’s Student in Artificial Intelligence and Robotics, Faculty of Artificial Intelligence and Cognitive Sciences, Imam Hossein Comprehensive University, Tehran, Iran
چکیده [English]

Accurately inferring user skills from textual descriptions in job profiles remains a persistent challenge for employment recommendation systems and job-seeking platforms. The core difficulty arises when a skill is not explicitly stated but is instead embedded within narrative sentences and implicit contextual cues. Despite recent strides in language models, Persian has lacked a standard benchmark capable of capturing both explicit and implicit skills with any meaningful depth. This work introduces Ihuskill, the first Persian dataset of its kind, comprising 10430  annotated profiles sourced from the KarLanser freelancing platform. Beyond explicit user skills, it includes four additional information layers: implicit skills categorized into three difficulty levels, narrative explanations, contextual weights, and a dedicated faithfulness test. The dataset was constructed using a hybrid approach that combines a large language model with a human-in-the-loop refinement process. For validation, four language models—mBERT, ParsBERT, RoBERTa, and FaBERT—were evaluated across five downstream tasks: skill classification, implicit skill detection, narrative generation, context weight classification, and a comprehensive end-to-end scenario. The experimental outcomes indicate that the fine-tuned FaBERT architecture consistently outperforms the other models across all tasks. We argue that releasing this dataset along with the evaluated model provides a robust foundation for advancing skill-oriented search systems, enabling intelligent job matching, and improving textual profile analysis within Persian human resource management ecosystems.

کلیدواژه‌ها [English]

  • Text Profile Processing
  • Implicit Skills
  • Ihuskill Dataset
  • Pre-trained Language Models
  • Faithfulness Evaluation

مراجع

[1]        M. Zhang, K. N. Jensen, R. van der Goot, and B. Plank, "Skill extraction from job postings using weak supervision," in *Proc. 2nd Workshop Recommender Syst. Human Resources (RecSys-in-HR)*, Seattle, WA, USA, Jul. 2022, pp. 1–6. [Online]. Available: https://aclanthology.org/2022.recsyshr-1.1/
[2]     LinkedIn Economic Graph, "Global Talent Trends 2024," 2024. [Online]. Available: https://business.linkedin.com/talent-solutions/global-talent-trends
[3]     I. Khaouja, I. Kassou, and M. Ghogho, "A survey on skill identification from online job ads," *IEEE Access*, vol. 9, pp. 118134–118153, 2021, doi: 10.1109/ACCESS.2021.3106120.
[4]     K. Qin, K. Cunningham, and B. C. M. Fung, "SkillBERT: 'Skilling' the BERT to classify skills!," in *Findings of the Association for Computational Linguistics: EMNLP 2020*, Online, Nov. 2020, pp. 1116–1126. [Online]. Available: https://aclanthology.org/2020.findings-emnlp.100/
[5]     A. Gugnani and H. Misra, "Implicit skills extraction using document embedding and its use in job recommendation," in *Proc. AAAI Conf. Artif. Intell.*, New York, NY, USA, Feb. 2020, vol. 34, no. 8, pp. 13286–13293, doi: 10.1609/aaai.v34i08.7038.
[6]     M. Zhang, K. N. Jensen, S. D. Sonniks, and B. Plank, "SkillSpan: Hard and soft skill extraction from English job postings," in *Proc. 2022 Conf. North Amer. Chapter Assoc. Comput. Linguist.: Human Lang. Technol. (NAACL-HLT)*, Seattle, WA, USA, Jul. 2022, pp. 4962–4984, doi: 10.18653/v1/2022.naacl-main.366.
[7]     T. A. F. Green, D. Maynard, and C. Lin, "Development of a benchmark corpus to support entity recognition in job descriptions," in *Proc. Thirteenth Lang. Resources Eval. Conf. (LREC)*, Marseille, France, Jun. 2022, pp. 1201–1208. [Online]. Available: https://aclanthology.org/2022.lrec-1.128/
[8]     A.-S. Gnehm, "Evaluation of transfer learning and domain adaptation for analyzing German-speaking job advertisements," in *Proc. Thirteenth Lang. Resources Eval. Conf. (LREC)*, Marseille, France, Jun. 2022, pp. 3891–3899. [Online]. Available: https://aclanthology.org/2022.lrec-1.127/
[9]     M. Farahani, M. Gharachorloo, M. Farahani, and M. Manthouri, "ParsBERT: Transformer-based model for Persian language understanding," *Neural Process. Lett.*, vol. 53, pp. 3831–3847, Dec. 2021, doi: 10.1007/s11063-021-10528-4.
[10] M. Masumi, S. S. Majd, M. Shamsfard, and H. Beigy, "FaBERT: Pre-training BERT on Persian blogs," 2024, *arXiv:2402.06617*. [Online]. Available: https://arxiv.org/abs/2402.06617
[11] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of deep bidirectional transformers for language understanding," in *Proc. 2019 Conf. North Amer. Chapter Assoc. Comput. Linguist.: Human Lang. Technol. (NAACL-HLT)*, Minneapolis, MN, USA, Jun. 2019, pp. 4171–4186. [Online]. Available: https://aclanthology.org/N19-1423/
[12] A. Conneau et al., "Unsupervised cross-lingual representation learning at scale," in *Proc. 58th Annu. Meeting Assoc. Comput. Linguist. (ACL)*, Online, Jul. 2020, pp. 8440–8451, doi: 10.18653/v1/2020.acl-main.747.
[13] European Commission, "ESCO (European Skills, Competences, Qualifications and Occupations) - Version 1.0," 2017. [Online]. Available: https://ec.europa.eu/esco/portal/escopedia/ESCO_version_1.0
[14] European Commission, "ESCO handbook," Publications Office of the European Union, Luxembourg, 2021. [Online]. Available: https://ec.europa.eu/esco/portal/escopedia/ESCO_handbook
[15] Z. Ji et al., "Survey of hallucination in natural language generation," *ACM Comput. Surv.*, vol. 55, no. 12, pp. 1–38, Mar. 2023, doi: 10.1145/3571730.
[16] Y. Liu et al., "RoBERTa: A robustly optimized BERT pretraining approach," 2019, *arXiv:1907.11692*. [Online]. Available: https://arxiv.org/abs/1907.11692
[17] A. AleAhmad, H. Amiri, E. Darrudi, M. Rahgozar, and F. Oroumchian, "Hamshahri: A standard Persian text collection," *Knowl.-Based Syst.*, vol. 22, no. 5, pp. 382–387, Jul. 2009, doi: 10.1016/j.knosys.2009.02.002.
[18] D. Khashabi et al., "ParsiNLU: A suite of language understanding challenges for Persian," 2020, *arXiv:2012.06154*. [Online]. Available: https://arxiv.org/abs/2012.06154
[19] H. M. Khansari and M. Shamsfard, "HmBlogs: A big general Persian corpus," 2021, *arXiv:2111.02362*. [Online]. Available: https://arxiv.org/abs/2111.02362
[20] M. H. Khansari, M. Shamsfard, and H. Beigy, "MELAC: Massive Evaluation of Large Language Models with Alignment of Culture in Persian Language," in Proceedings of the Joint International Conference on Natural Language Processing and the Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL), 2025, pp. 1933–1950.
[21] S. Mohtasham, M. Masumi, and M. Shamsfard, "Advancing Persian LLM Evaluation: A Comprehensive Benchmark for Cultural and Linguistic Alignment," in Findings of the North American Chapter of the Association for Computational Linguistics (NAACL), 2025.
[22] M. Zhang, K. N. Jensen, and B. Plank, "SkiLLMo: Normalized ESCO Skill Extraction through Transformer Models," in Proceedings of the 40th ACM/SIGAPP Symposium on Applied Computing, 2025, pp. 1969–1978..
[23] J. M. Wang and Z. Sun, "LLM-Supervised Multilingual Skill Extraction and Classification from Job Ads," in Natural Language Processing and Information Systems, Springer, 2025.
[24] A. AleAhmad, H. Amiri, E. Darrudi, M. Rahgozar, and F. Oroumchian, "Matina: A Large-Scale 73B Token Persian Text Corpus," in Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2024.
[25] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proc. NAACL-HLT, Minneapolis, MN, USA, Jun. 2019, pp. 4171–4186. doi: 10.18653/v1/N19-1423.
[26]     A. Conneau et al., “Unsupervised cross-lingual representation learning at scale,” in Proc. ACL, Online, Jul. 2020, pp. 8440–8451. doi: 10.18653/v1/2020.acl-main.747.
پژوهش های نظری و کاربردی هوش ماشینی

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 11 آبان 1405

فایل ها

هم رسانی

ارجاع به این مقاله

آمار