در عصر حاضر، با گسترش روزافزون رسانه‌های خبری آنلاین، حجم عظیمی از اطلاعات در دسترس قرار گرفته است. این فراوانی اطلاعات، اگرچه فرصت‌های بی‌نظیری برای تحلیل و درک روندهای اجتماعی و فرهنگی در مناطق جغرافیایی مختلف فراهم می‌آورد، اما در عین حال، چالش‌های قابل توجهی را نیز پیش روی تحلیلگران قرار می‌دهد. استخراج الگوها و روندهای معنادار از میان این حجم انبوه داده‌ها، وظیفه‌ای دشوار و زمان‌بر است که نیاز به ابزارها و روش‌های کارآمد دارد.

این مقاله توسط تیمی از محققان به رهبری A. Bock, A. Palladino, S. Smith-Heisters, I. Boardman, E. Pellegrini, E. J. Bienenstock, و A. Valenti نگارش شده است. تخصص این محققان در زمینه‌های پردازش زبان طبیعی (NLP)، داده‌کاوی و تحلیل رسانه‌های اجتماعی است. زمینه اصلی تحقیق آن‌ها، توسعه روش‌هایی برای استخراج اطلاعات و الگوهای معنادار از داده‌های متنی بزرگ، با هدف درک بهتر روندهای اجتماعی و فرهنگی است.

مقاله حاضر، رویکردی مبتنی بر پردازش زبان طبیعی را برای کمی‌سازی چگونگی تغییر مجموعه‌ای از موضوعات از پیش تعریف شده در طول زمان در یک پیکره متنی بزرگ ارائه می‌دهد. ایده اصلی این است که با شناسایی و رتبه‌بندی مجموعه‌ای از واژه‌ها و عبارات (n-grams) که به موضوعات مورد نظر مرتبط هستند، و بررسی الگوهای استفاده از آن‌ها در طول زمان، می‌توان تصویری از برجستگی پویای هر موضوع در پیکره متنی به دست آورد. ظهور، ناپدید شدن، یا تغییرات قابل توجه در استفاده از این واژه‌ها و عبارات، نشان‌دهنده تغییرات در میزان توجه و اهمیت موضوعات مرتبط در طول زمان است. به عبارت دیگر، این روش به ما امکان می‌دهد تا به صورت “پایین به بالا” (ground-up) تصویری از برجستگی پویای یک موضوع در یک مجموعه داده متنی به دست آوریم.

به عنوان مثال، اگر موضوع مورد نظر “آلودگی هوا” باشد، واژه‌ها و عباراتی مانند “کیفیت هوا”، “ذرات معلق”، “شاخص آلودگی”، “ترافیک”، “بیماری‌های تنفسی” و غیره به عنوان n-grams مرتبط شناسایی می‌شوند. سپس، با بررسی تغییرات در میزان استفاده از این واژه‌ها و عبارات در طول زمان (مثلاً در اخبار روزانه یا هفتگی)، می‌توان تشخیص داد که آیا توجه به موضوع آلودگی هوا در حال افزایش، کاهش یا ثابت است.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• تعریف موضوعات مورد نظر: ابتدا، مجموعه‌ای از موضوعات مورد نظر که قرار است برجستگی آن‌ها در طول زمان بررسی شود، تعریف می‌شوند. این موضوعات می‌توانند بسیار متنوع باشند و بسته به اهداف تحقیق، انتخاب می‌شوند.
• جمع‌آوری پیکره متنی: یک پیکره متنی بزرگ که شامل اسناد مرتبط با موضوعات مورد نظر است، جمع‌آوری می‌شود. این پیکره می‌تواند شامل اخبار، مقالات، پست‌های شبکه‌های اجتماعی، یا هر نوع متن دیگری باشد.
• پیش‌پردازش متن: متن جمع‌آوری شده، پیش‌پردازش می‌شود تا برای تحلیل آماده شود. این مرحله شامل حذف علائم نگارشی، تبدیل حروف به کوچک، حذف کلمات توقف (stop words) و انجام عملیات ریشه‌یابی (stemming) یا لِماتیزاسیون (lemmatization) است.
• شناسایی و رتبه‌بندی n-grams: واژه‌ها و عبارات (n-grams) مرتبط با هر موضوع، شناسایی و بر اساس میزان ارتباط آن‌ها با موضوع، رتبه‌بندی می‌شوند. برای این کار، می‌توان از روش‌های مختلفی مانند TF-IDF، Chi-squared، یا mutual information استفاده کرد.
• محاسبه میزان استفاده از n-grams در طول زمان: میزان استفاده از هر n-gram در طول زمان، محاسبه می‌شود. این کار معمولاً با تقسیم پیکره متنی به بازه‌های زمانی مشخص (مثلاً روزانه، هفتگی، یا ماهانه) و شمارش تعداد دفعاتی که هر n-gram در هر بازه زمانی ظاهر می‌شود، انجام می‌شود.
• تحلیل تغییرات در میزان استفاده از n-grams: تغییرات در میزان استفاده از n-grams در طول زمان، تحلیل می‌شود. این تحلیل می‌تواند شامل شناسایی روندهای صعودی، نزولی، یا دوره‌ای در میزان استفاده از n-grams باشد.
• ارائه تصویری از برجستگی پویای موضوعات: بر اساس تحلیل تغییرات در میزان استفاده از n-grams، تصویری از برجستگی پویای هر موضوع در طول زمان ارائه می‌شود. این تصویر می‌تواند به صورت نمودار، جدول، یا هر فرمت دیگری که به درک بهتر روندها کمک کند، نمایش داده شود.

یافته‌های این تحقیق نشان می‌دهد که با استفاده از رویکرد پردازش زبان طبیعی ارائه شده، می‌توان به طور موثری تغییرات در میزان توجه و اهمیت موضوعات مختلف را در یک پیکره متنی بزرگ رصد کرد. محققان دریافتند که ظهور، ناپدید شدن، یا تغییرات قابل توجه در استفاده از n-grams، نشان‌دهنده تغییرات در برجستگی موضوعات مرتبط در طول زمان است. به عنوان مثال، آن‌ها توانستند با بررسی تغییرات در میزان استفاده از واژه‌ها و عبارات مرتبط با “انتخابات”، “اقتصاد”، “بهداشت” و “محیط زیست”، روندهای مربوط به این موضوعات را در یک پیکره خبری بزرگ شناسایی کنند.

یکی از یافته‌های جالب این تحقیق، شناسایی “لحظات عطف” (tipping points) در توجه به موضوعات مختلف بود. لحظات عطف، نقاطی در زمان هستند که در آن‌ها میزان توجه به یک موضوع به طور ناگهانی و قابل توجهی افزایش یا کاهش می‌یابد. شناسایی این لحظات می‌تواند به تحلیلگران کمک کند تا عوامل موثر بر تغییرات در افکار عمومی و روندهای اجتماعی را بهتر درک کنند.

نتایج این تحقیق، کاربردهای گسترده‌ای در زمینه‌های مختلف دارد، از جمله:

• تحلیل رسانه‌های اجتماعی: رصد و تحلیل روندهای اجتماعی و سیاسی در شبکه‌های اجتماعی.
• مدیریت بحران: شناسایی و پاسخ به بحران‌های اجتماعی و بهداشتی.
• بازاریابی: درک بهتر نیازها و خواسته‌های مشتریان و تطبیق استراتژی‌های بازاریابی بر اساس آن.
• سیاست‌گذاری: ارائه اطلاعات دقیق و به‌روز به سیاست‌گذاران برای تصمیم‌گیری‌های آگاهانه.
• تحقیقات علوم اجتماعی: بررسی و تحلیل تغییرات در افکار عمومی و رفتارهای اجتماعی.

دستاورد اصلی این تحقیق، ارائه یک روش کارآمد و قابل اعتماد برای کمی‌سازی برجستگی پویای موضوعات در پیکره متنی است. این روش می‌تواند به تحلیلگران و محققان کمک کند تا حجم عظیمی از اطلاعات متنی را به طور موثرتری تحلیل کنند و الگوها و روندهای معنادار را استخراج کنند.

مقاله حاضر، گامی مهم در راستای توسعه ابزارها و روش‌های پردازش زبان طبیعی برای تحلیل داده‌های متنی بزرگ است. رویکرد ارائه شده در این مقاله، به تحلیلگران و محققان امکان می‌دهد تا با دقت بیشتری تغییرات در میزان توجه و اهمیت موضوعات مختلف را در طول زمان رصد کنند. این اطلاعات می‌تواند در زمینه‌های مختلف، از تحلیل رسانه‌های اجتماعی و مدیریت بحران گرفته تا سیاست‌گذاری و تحقیقات علوم اجتماعی، مورد استفاده قرار گیرد. با توجه به گسترش روزافزون حجم داده‌های متنی در دسترس، توسعه چنین ابزارها و روش‌هایی، از اهمیت فزاینده‌ای برخوردار است.