در عصر حاضر، با گسترش روزافزون حجم متون فنی در حوزه‌های مختلف، نیاز به سیستم‌های خودکار طبقه‌بندی این متون بیش از پیش احساس می‌شود. طبقه‌بندی دقیق و سریع متون فنی می‌تواند در زمینه‌های گوناگونی مانند بازیابی اطلاعات، خلاصه‌سازی متن، و تحلیل احساسات مورد استفاده قرار گیرد. مقاله حاضر با عنوان “TechTexC: طبقه‌بندی متون فنی با استفاده از کانولوشن و شبکه حافظه طولانی کوتاه‌مدت دوطرفه” به بررسی یک سیستم طبقه‌بندی متون فنی می‌پردازد که با بهره‌گیری از شبکه‌های عصبی کانولوشن و حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM)، عملکرد قابل توجهی در این زمینه ارائه می‌دهد.

این مقاله توسط عمر شریف، افتخار حسین و محمد مشیول هوک نوشته شده است. نویسندگان، متخصصان حوزه پردازش زبان طبیعی و یادگیری ماشین هستند. زمینه تحقیقاتی آن‌ها تمرکز بر توسعه سیستم‌های خودکار برای درک و تحلیل زبان طبیعی، به ویژه در متون تخصصی و فنی، است. تجربه و دانش آن‌ها در این حوزه‌ها، منجر به ارائه یک راهکار نوآورانه و کارآمد برای طبقه‌بندی متون فنی شده است.

چکیده مقاله به شرح زیر است:

“این مقاله به تشریح جزئیات سیستم طبقه‌بندی متون فنی و نتایج آن می‌پردازد که به عنوان بخشی از شرکت در رقابت TechDofication 2020 توسعه داده شده است. این رقابت شامل دو زیرمسئله بود: (i) مسئله اول، شناسایی حوزه فنی کلان متن داده شده در یک زبان مشخص، و (ii) مسئله دوم، طبقه‌بندی یک متن از حوزه علوم کامپیوتر به زیرحوزه‌های دقیق‌تر. یک سیستم طبقه‌بندی (به نام ‘TechTexC’) برای انجام این طبقه‌بندی با استفاده از سه تکنیک توسعه داده شده است: شبکه عصبی کانولوشن (CNN)، شبکه حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM) و ترکیب CNN با BiLSTM. نتایج نشان می‌دهد که مدل CNN با BiLSTM نسبت به سایر تکنیک‌ها در مسئله 1 زیرمسئله‌ها (a، b، c و g) و مسئله 2a عملکرد بهتری دارد. این مدل ترکیبی امتیازهای f1 برابر با 82.63 (زیرمسئله a)، 81.95 (زیرمسئله b)، 82.39 (زیرمسئله c)، 84.37 (زیرمسئله g) و 67.44 (مسئله 2a) را در مجموعه داده توسعه به دست آورد. علاوه بر این، در مورد مجموعه داده آزمون، رویکرد ترکیبی CNN با BiLSTM به دقت بالاتری برای زیرمسئله‌های 1a (70.76%)، 1b (79.97%)، 1c (65.45%)، 1g (49.23%) و 2a (70.14%) دست یافت.”

به طور خلاصه، مقاله حاضر یک سیستم طبقه‌بندی متون فنی را ارائه می‌دهد که از ترکیب دو مدل یادگیری عمیق قدرتمند، یعنی شبکه‌های عصبی کانولوشن (CNN) و شبکه‌های حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM)، بهره می‌برد. این سیستم در رقابت TechDofication 2020 شرکت کرده و نتایج قابل توجهی را در طبقه‌بندی متون فنی به دست آورده است.

روش‌شناسی تحقیق در این مقاله شامل چند مرحله کلیدی است:

• آماده‌سازی داده‌ها: مجموعه داده مورد استفاده در این تحقیق، مجموعه داده TechDofication 2020 است که شامل متون فنی در حوزه‌های مختلف است. داده‌ها قبل از ورود به مدل، پیش‌پردازش شده‌اند. این پیش‌پردازش معمولاً شامل مواردی مانند حذف علائم نگارشی، تبدیل متن به حروف کوچک، و ریشه‌یابی کلمات است.
• مدل‌سازی: در این تحقیق، سه مدل مختلف برای طبقه‌بندی متون فنی مورد بررسی قرار گرفته است:
  • شبکه عصبی کانولوشن (CNN): این مدل برای استخراج ویژگی‌های مهم از متن استفاده می‌شود. CNNها معمولاً در وظایف پردازش تصویر استفاده می‌شوند، اما می‌توانند برای پردازش متن نیز به کار روند. در این مورد، CNNها الگوهای مهم در جملات را شناسایی می‌کنند.
  • شبکه حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM): این مدل برای درک وابستگی‌های طولانی‌مدت در متن استفاده می‌شود. BiLSTMها با پردازش متن از هر دو جهت (جلو به عقب و عقب به جلو)، اطلاعات بیشتری در مورد متن کسب می‌کنند.
  • مدل ترکیبی CNN و BiLSTM: این مدل از مزایای هر دو مدل CNN و BiLSTM بهره می‌برد. CNN ویژگی‌های محلی را استخراج می‌کند و BiLSTM وابستگی‌های طولانی‌مدت را درک می‌کند. این مدل ترکیبی، معماری اصلی سیستم TechTexC را تشکیل می‌دهد.
• آموزش و ارزیابی مدل: مدل‌ها با استفاده از مجموعه داده آموزش، آموزش داده شده‌اند و عملکرد آن‌ها با استفاده از مجموعه داده ارزیابی، سنجیده شده است. معیارهای ارزیابی شامل دقت (Accuracy)، بازخوانی (Recall)، و امتیاز F1 است.

برای مثال، فرض کنید یک متن فنی در مورد “یادگیری عمیق” داریم. CNN ممکن است کلمات کلیدی مانند “شبکه عصبی”، “پس‌انتشار” و “تابع فعال‌سازی” را شناسایی کند. BiLSTM نیز ممکن است وابستگی بین “شبکه عصبی” و “پس‌انتشار” را درک کند و تشخیص دهد که “پس‌انتشار” برای آموزش “شبکه عصبی” استفاده می‌شود. مدل ترکیبی، با ترکیب این اطلاعات، می‌تواند به طور دقیق‌تر متن را به عنوان یک متن در مورد “یادگیری عمیق” طبقه‌بندی کند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• مدل ترکیبی CNN و BiLSTM عملکرد بهتری نسبت به مدل‌های CNN و BiLSTM به تنهایی دارد. این نشان می‌دهد که ترکیب این دو مدل می‌تواند اطلاعات بیشتری را از متن استخراج کند و در نتیجه، دقت طبقه‌بندی را بهبود بخشد.
• سیستم TechTexC در رقابت TechDofication 2020 نتایج قابل قبولی را به دست آورده است. این نشان می‌دهد که این سیستم می‌تواند به عنوان یک ابزار کارآمد برای طبقه‌بندی متون فنی در حوزه‌های مختلف مورد استفاده قرار گیرد.
• نتایج حاصله نشان می‌دهد که استفاده از مدل‌های یادگیری عمیق برای طبقه‌بندی متون فنی، یک رویکرد امیدوارکننده است. با پیشرفت‌های بیشتر در این زمینه، می‌توان انتظار داشت که سیستم‌های طبقه‌بندی متون فنی در آینده دقت و کارایی بیشتری داشته باشند.

به طور خاص، مدل ترکیبی امتیازهای F1 قابل توجهی را در زیرمسئله‌های مختلف رقابت TechDofication 2020 به دست آورده است. این امتیازها نشان‌دهنده عملکرد خوب این مدل در طبقه‌بندی دقیق متون فنی در حوزه‌های مختلف است.

این تحقیق دارای کاربردهای متعددی است:

• بازیابی اطلاعات: سیستم TechTexC می‌تواند برای بهبود سیستم‌های بازیابی اطلاعات مورد استفاده قرار گیرد. با طبقه‌بندی دقیق متون فنی، می‌توان نتایج جستجو را به طور دقیق‌تری به نیازهای کاربر مرتبط کرد.
• خلاصه‌سازی متن: سیستم TechTexC می‌تواند برای خلاصه‌سازی خودکار متون فنی مورد استفاده قرار گیرد. با شناسایی موضوعات اصلی متن، می‌توان خلاصه‌ای دقیق و مفید از آن ارائه داد.
• تحلیل احساسات: سیستم TechTexC می‌تواند برای تحلیل احساسات در متون فنی مورد استفاده قرار گیرد. با شناسایی نظرات و احساسات بیان شده در متن، می‌توان اطلاعات مفیدی در مورد نگرش افراد نسبت به یک فناوری یا محصول خاص به دست آورد.

دستاورد اصلی این تحقیق، ارائه یک سیستم طبقه‌بندی متون فنی کارآمد است که می‌تواند در حوزه‌های مختلف مورد استفاده قرار گیرد. این سیستم با استفاده از مدل‌های یادگیری عمیق پیشرفته، دقت و کارایی بالایی را در طبقه‌بندی متون فنی ارائه می‌دهد.

مقاله “TechTexC: طبقه‌بندی متون فنی با استفاده از کانولوشن و شبکه حافظه طولانی کوتاه‌مدت دوطرفه” یک راهکار نوآورانه و کارآمد برای طبقه‌بندی متون فنی ارائه می‌دهد. این سیستم با بهره‌گیری از شبکه‌های عصبی کانولوشن و حافظه طولانی کوتاه‌مدت دوطرفه، عملکرد قابل توجهی در این زمینه ارائه می‌دهد و می‌تواند در حوزه‌های مختلفی مانند بازیابی اطلاعات، خلاصه‌سازی متن، و تحلیل احساسات مورد استفاده قرار گیرد. نتایج این تحقیق نشان می‌دهد که استفاده از مدل‌های یادگیری عمیق برای طبقه‌بندی متون فنی، یک رویکرد امیدوارکننده است و با پیشرفت‌های بیشتر در این زمینه، می‌توان انتظار داشت که سیستم‌های طبقه‌بندی متون فنی در آینده دقت و کارایی بیشتری داشته باشند. تحقیق حاضر، گامی مهم در جهت توسعه سیستم‌های خودکار برای درک و تحلیل متون تخصصی و فنی به شمار می‌رود.