۱. مقدمه و اهمیت تحقیق

تحلیل تقاضای بازار محصول، سنگ بنای اصلی برای تدوین استراتژی‌های کسب‌وکار موفق در دنیای رقابتی امروز است. درک عمیق از آنچه مصرف‌کنندگان می‌خواهند، چگونه آن را بیان می‌کنند و چه عواملی بر تصمیم‌گیری خرید آن‌ها تأثیر می‌گذارد، برای هر سازمانی که قصد دارد در بازار باقی بماند و رشد کند، حیاتی است. در این میان، بازارهای نوظهور و جمعیت‌های زبانی خاص، چالش‌ها و فرصت‌های منحصر به فردی را پیش روی کسب‌وکارها قرار می‌دهند.

کشور بنگلادش، با جمعیتی بالغ بر ۲۲۸ میلیون نفر که اکثریت آن‌ها به زبان بنگالی صحبت می‌کنند، یکی از این بازارهای بزرگ و در حال رشد است. نکته قابل توجه در تعاملات آنلاین این جمعیت، استفاده گسترده از “بنگلیش” (Banglish) است؛ ترکیبی از زبان بنگالی و انگلیسی که به طور طبیعی در شبکه‌های اجتماعی و پلتفرم‌های آنلاین رواج یافته است. با افزایش نقش شبکه‌های اجتماعی به عنوان یک بازار آنلاین پویا، مصرف‌کنندگان نه تنها محصولات را در این فضاها خریداری می‌کنند، بلکه تجربیات، نظرات و ارزیابی‌های خود را نیز به اشتراک می‌گذارند. این اشتراک‌گذاری‌ها، چه مثبت و چه منفی، اطلاعات ارزشمندی درباره ترجیحات، نیازها و رضایت مشتریان ارائه می‌دهد.

با توجه به این پدیده، درک و تحلیل این حجم عظیم از داده‌های متنی غیررسمی و مختلط (بنگلیش) برای شناسایی روندهای بازار و تقاضای محصولات، امری ضروری است. این تحقیق با هدف پرداختن به این چالش، بر آن است تا با بهره‌گیری از قدرت پردازش زبان طبیعی (NLP)، تحلیل احساسات (Sentiment Analysis) و بازشناسی موجودیت‌های نام‌دار (Named Entity Recognition)، به تحلیل تقاضای بازار گوشی‌های هوشمند در بنگلادش بپردازد و به طور خاص، محبوب‌ترین برندها و مدل‌ها را بر اساس جنسیت مصرف‌کنندگان شناسایی کند.

۲. نویسندگان و زمینه تحقیق

این پژوهش توسط تیمی از محققان شامل Md Sabbir Hossain، Nishat Nayla و Annajiat Alim Rasel ارائه شده است. تمرکز اصلی این مقاله در حوزه محاسبات و زبان (Computation and Language) قرار می‌گیرد، که نشان‌دهنده تلاش محققان برای پل زدن بین علوم کامپیوتر، به‌ویژه پردازش زبان طبیعی، و درک پدیده‌های زبانی و اجتماعی در دنیای واقعی است.

زمینه‌های مرتبط با این تحقیق عبارتند از:

• پردازش زبان طبیعی (NLP): استفاده از الگوریتم‌ها و مدل‌ها برای درک، تفسیر و تولید زبان انسانی.
• تحلیل احساسات (Sentiment Analysis): تعیین نگرش، نظر یا احساس بیان شده در یک متن (مثبت، منفی، خنثی).
• بازشناسی موجودیت‌های نام‌دار (NER): شناسایی و دسته‌بندی موجودیت‌های خاص در متن، مانند نام افراد، مکان‌ها، سازمان‌ها، محصولات و غیره.
• تحلیل بازار و رفتار مصرف‌کننده: درک عوامل مؤثر بر تقاضا، ترجیحات و تصمیمات خرید مشتریان.
• زبان‌شناسی محاسباتی: مطالعه زبان با استفاده از روش‌های محاسباتی.

تمرکز بر زبان بنگلیش، این تحقیق را از مطالعات مشابه که معمولاً بر زبان‌های استاندارد انجام می‌شود، متمایز می‌سازد و به چالش‌های پردازش زبان‌های ترکیبی و غیررسمی می‌پردازد.

۳. چکیده و خلاصه محتوا

چکیده مقاله به طور خلاصه به اهداف، روش‌شناسی و یافته‌های اصلی تحقیق می‌پردازد. هدف اصلی تحقیق، تحلیل تقاضای بازار محصولات در بنگلادش با تمرکز بر گوشی‌های هوشمند است. این تحلیل از طریق پردازش متون بنگلیش جمع‌آوری شده از شبکه‌های اجتماعی و وب‌سایت‌ها صورت می‌گیرد. در این راستا، از تکنیک‌های تحلیل احساسات برای سنجش نظرات مثبت و منفی کاربران و از بازشناسی موجودیت‌های نام‌دار برای شناسایی دقیق محصولات (برندها و مدل‌های گوشی) استفاده می‌شود. یکی از اهداف نوآورانه تحقیق، تفکیک و تحلیل تقاضا بر اساس جنسیت کاربران است.

خلاصه محتوا:

• اهمیت تحلیل تقاضا: نقش حیاتی در تدوین استراتژی‌های کسب‌وکار.
• بستر زبانی: جامعه پرشمار بنگالی‌زبان و استفاده گسترده از “بنگلیش” در تعاملات آنلاین، به‌ویژه در شبکه‌های اجتماعی که به بازارهای آنلاین تبدیل شده‌اند.
• هدف اصلی: جمع‌آوری داده‌های متنی بنگلیش، تحلیل احساسات و بازشناسی موجودیت‌های نام‌دار برای ارزیابی تقاضای بازار گوشی‌های هوشمند در بنگلادش و شناسایی محبوب‌ترین‌ها بر اساس جنسیت.
• داده‌ها: جمع‌آوری اطلاعات مرتبط با محصولات از شبکه‌های اجتماعی (با استفاده از اسکرپرهای داده آنی) و اطلاعات تکمیلی محصولات از ویکی‌پدیا و سایر وب‌سایت‌ها (با استفاده از وب اسکرپرهای پایتون).
• پردازش داده: فیلتر کردن داده‌های خام با استفاده از روش‌های NLP با بهره‌گیری از کتابخانه‌های Pandas و Seaborn در پایتون.
• مدل‌سازی:
  • بازشناسی موجودیت‌های نام‌دار (NER): استفاده از مدل سفارشی NER شرکت Spacey و Amazon Comprehend Custom NER.
  • تحلیل احساسات: استقرار یک مدل ترتیبی (Sequential model) با استفاده از TensorFlow و تنظیم دقیق پارامترها.
  • تخمین جنسیت: استفاده از Google Cloud Translation API و کتابخانه BanglaLinga برای تخمین جنسیت کاربران.
• دستاوردها: شناسایی اقلام و خدمات پرتقاضا در بازار بنگلادش با استفاده از رویکردهای NLP و مدل‌های یادگیری ماشین.
• دقت مدل‌ها:
  • Spacey Custom NER: دقت ۸۷.۹۹٪
  • Amazon Comprehend Custom NER: دقت ۹۵.۵۱٪
  • مدل ترتیبی (برای تحلیل تقاضا): دقت ۸۷.۰۲٪
• بهبود خطای املایی: مدیریت حدود ۸۰٪ از اشتباهات املایی با استفاده از ترکیبی از الگوریتم‌های Levenshtein Distance و Ratio پس از تحلیل Spacey.

۴. روش‌شناسی تحقیق

این پژوهش از یک رویکرد جامع و چندوجهی برای تحلیل تقاضای بازار بهره می‌برد که شامل جمع‌آوری داده، پیش‌پردازش، مدل‌سازی و تحلیل نتایج است. جزئیات روش‌شناسی به شرح زیر است:

الف) جمع‌آوری داده

جمع‌آوری داده‌ها در دو دسته اصلی انجام شده است:

• داده‌های مرتبط با محصول از شبکه‌های اجتماعی: با استفاده از اسکرپرهای داده آنی (instant data scrapers)، نظرات، پست‌ها و بحث‌های کاربران در مورد محصولات (به‌ویژه گوشی‌های هوشمند) از پلتفرم‌های شبکه‌های اجتماعی استخراج شده است. این داده‌ها به دلیل ماهیتشان، غالباً حاوی اصطلاحات عامیانه، اختصارات و ترکیب زبان بنگالی و انگلیسی (بنگلیش) هستند.
• اطلاعات تکمیلی محصولات: برای غنی‌سازی داده‌ها و اطمینان از صحت اطلاعات محصول، داده‌هایی مانند مشخصات فنی، قیمت و نقد و بررسی‌های عمومی از منابع معتبر مانند ویکی‌پدیا و سایر وب‌سایت‌های مرتبط جمع‌آوری شده است. این کار با استفاده از وب اسکرپرهای توسعه‌یافته با زبان پایتون انجام شده است.

ب) پیش‌پردازش و فیلتر کردن داده‌ها

داده‌های خام جمع‌آوری شده، حاوی نویز، اطلاعات نامربوط و خطا هستند. برای آماده‌سازی این داده‌ها برای مدل‌سازی، مراحل پیش‌پردازش زیر انجام شده است:

• پاکسازی متن: حذف کاراکترهای اضافی، URLها، ایموجی‌ها و سایر عناصر غیرمتنی.
• نرمال‌سازی: تبدیل حروف بزرگ به کوچک، مدیریت اختصارات رایج و اصلاح برخی غلط‌های املایی.
• توکن‌سازی (Tokenization): شکستن متن به واحدهای کوچک‌تر (کلمات یا عبارات).
• حذف کلمات توقف (Stop Word Removal): حذف کلمات پرتکرار و کم‌اهمیت (مانند “و”، “در”، “است”) که تأثیر کمی بر معنای کلی دارند.
• ریشه‌یابی (Stemming/Lemmatization): کاهش کلمات به شکل ریشه‌ای یا پایه آن‌ها برای استانداردسازی.
• مدیریت خطای املایی: همانطور که در یافته‌ها اشاره شده، از ترکیبی از الگوریتم‌های Levenshtein Distance و Levenshtein Ratio برای شناسایی و تصحیح خطاهای املایی در حدود ۸۰٪ موارد استفاده شده است. این امر به ویژه برای زبان بنگلیش که ممکن است املای غیر استاندارد بیشتری داشته باشد، بسیار حیاتی است.

تمامی این مراحل با استفاده از کتابخانه‌های قدرتمند پایتون مانند Pandas برای مدیریت داده‌ها و Seaborn برای مصورسازی (که در این بخش به صورت مستقیم ذکر نشده اما بخشی از ابزارهای تحلیلی محسوب می‌شود) پیاده‌سازی شده‌اند.

ج) مدل‌سازی

برای دستیابی به اهداف تحقیق، از مدل‌های مختلف یادگیری ماشین و NLP استفاده شده است:

• بازشناسی موجودیت‌های نام‌دار (NER):
  • Spacey Custom NER Model: آموزش یک مدل NER سفارشی با استفاده از کتابخانه SpaCy. این مدل برای شناسایی موجودیت‌های خاص مربوط به محصولات (مانند نام برند، مدل گوشی، ویژگی‌ها) در متون بنگلیش آموزش دیده است.
  • Amazon Comprehend Custom NER: استفاده از سرویس ابری آمازون برای ساخت و آموزش مدل NER سفارشی. این رویکرد به محققان اجازه می‌دهد تا از زیرساخت ابری قدرتمند برای پردازش حجم بالایی از داده‌ها استفاده کنند.
• تحلیل احساسات (Sentiment Analysis):

  برای تعیین اینکه آیا نظرات کاربران در مورد محصولات مثبت، منفی یا خنثی است، از یک مدل ترتیبی (Sequential model) مبتنی بر TensorFlow استفاده شده است. این مدل با تنظیم دقیق پارامترهای خود (parameter tweaking) برای عملکرد بهینه بر روی داده‌های متنی بنگلیش تنظیم شده است.

• تخمین جنسیت (Gender Estimation):

  برای تفکیک تحلیل‌ها بر اساس جنسیت، محققان از Google Cloud Translation API در ترکیب با کتابخانه BanglaLinga استفاده کرده‌اند. این ترکیب به آن‌ها امکان می‌دهد تا زبان متن را تشخیص داده و سپس با تحلیل محتوای زبانی و عبارات رایج، جنسیت احتمالی نویسنده یا بازبین را تخمین بزنند.

د) ارزیابی مدل‌ها

عملکرد مدل‌ها با معیارهای دقت (Accuracy) ارزیابی شده است:

• Spacey Custom NER: ۸۷.۹۹٪
• Amazon Comprehend Custom NER: ۹۵.۵۱٪
• Sequential Model (Demand Analysis): ۸۷.۰۲٪

این دقت‌های بالا نشان‌دهنده اثربخشی روش‌شناسی و مدل‌های انتخاب شده در پردازش زبان پیچیده بنگلیش و استخراج اطلاعات مفید است.

۵. یافته‌های کلیدی

این تحقیق با به‌کارگیری رویکرد ترکیبی NLP، تحلیل احساسات و NER، نتایج ارزشمندی را در خصوص تقاضای بازار محصولات در بنگلادش، به‌ویژه در حوزه گوشی‌های هوشمند، به دست آورده است:

• شناسایی محصولات پرتقاضا: مدل‌های توسعه‌یافته توانسته‌اند با دقت بالایی، اقلام و خدمات مورد توجه مصرف‌کنندگان در بازار بنگلادش را شناسایی کنند. این امر به کسب‌وکارها کمک می‌کند تا بر روی محصولاتی تمرکز کنند که بیشترین پتانسیل فروش را دارند.
• تحلیل احساسات کاربران: با دسته‌بندی نظرات کاربران به مثبت، منفی و خنثی، این تحقیق به کسب‌وکارها تصویری روشن از میزان رضایت مشتریان از محصولات مختلف ارائه می‌دهد. این اطلاعات برای بهبود کیفیت محصول، خدمات پس از فروش و استراتژی‌های بازاریابی بسیار ارزشمند است.
• شناسایی محبوب‌ترین برندها و مدل‌ها: تکنیک NER به طور مؤثر نام برندها و مدل‌های گوشی‌های هوشمند را از میان حجم انبوهی از متون استخراج کرده است. این یافته‌ها تصویر روشنی از سهم بازار و محبوبیت محصولات در میان مصرف‌کنندگان بنگلادشی ارائه می‌دهند.
• تحلیل تفکیکی بر اساس جنسیت: یکی از یافته‌های نوآورانه این تحقیق، توانایی تحلیل تقاضا و ترجیحات بر اساس جنسیت کاربران است. این امر به شرکت‌ها اجازه می‌دهد تا کمپین‌های بازاریابی هدفمندتری را برای گروه‌های جنسیتی مختلف طراحی کنند. برای مثال، ممکن است مشخص شود که بانوان بیشتر به دنبال ویژگی‌های خاصی در گوشی‌ها (مانند کیفیت دوربین یا طراحی) هستند، در حالی که آقایان به مشخصات فنی دیگر (مانند سرعت پردازش یا عمر باتری) اولویت می‌دهند.
• مدیریت و کاهش خطاهای املایی: اثربخشی روش پیشنهادی در مدیریت خطاهای املایی (حدود ۸۰٪) برای زبان بنگلیش، گامی مهم در جهت افزایش دقت پردازش زبان‌های غیر استاندارد و ترکیبی است. این امر کیفیت کلی تحلیل را بهبود می‌بخشد.
• دقت بالای مدل‌ها: دستیابی به دقت‌های بالا در مدل‌های NER (تا ۹۵.۵۱٪) و تحلیل تقاضا (حدود ۸۷٪)، نشان‌دهنده قابلیت اطمینان نتایج حاصل از این تحقیق است.

به عنوان مثال، تحلیل ممکن است نشان دهد که در بین کاربران مرد، برند “X” با مدل “Y” محبوبیت بیشتری دارد، در حالی که در بین کاربران زن، برند “A” با مدل “B” ترجیح داده می‌شود. این نوع اطلاعات، بینش عمیقی برای تصمیم‌گیری‌های استراتژیک فراهم می‌کند.

۶. کاربردها و دستاوردها

این تحقیق نه تنها از نظر علمی ارزشمند است، بلکه کاربردهای عملی گسترده‌ای برای کسب‌وکارها، بازاریابان، توسعه‌دهندگان محصول و حتی سیاست‌گذاران در بازارهای نوظهور دارد.

• تصمیم‌گیری استراتژیک کسب‌وکار: شرکت‌ها می‌توانند با استفاده از این روش‌شناسی، تقاضای بازار برای محصولات فعلی و آتی خود را بهتر پیش‌بینی کنند. این بهینه‌سازی در تولید، مدیریت موجودی و تخصیص منابع منجر خواهد شد.
• بازاریابی هدفمند: درک ترجیحات تفکیکی بر اساس جنسیت و سایر ویژگی‌های جمعیتی (که در آینده قابل افزودن است) به شرکت‌ها اجازه می‌دهد تا پیام‌های بازاریابی خود را شخصی‌سازی کرده و اثربخشی کمپین‌های خود را افزایش دهند.
• توسعه محصول: شناسایی نقاط قوت و ضعف محصولات از دیدگاه مصرف‌کنندگان (از طریق تحلیل احساسات) و درک ویژگی‌های مورد انتظار (از طریق NER) می‌تواند به تیم‌های تحقیق و توسعه برای طراحی محصولات بهتر و مطابق با نیاز بازار کمک کند.
• ورود به بازارهای جدید: برای شرکت‌هایی که قصد ورود به بازارهایی مانند بنگلادش را دارند، این تحقیق یک نقشه راه برای درک عمیق فرهنگ زبانی و ترجیحات مصرف‌کنندگان ارائه می‌دهد.
• مدیریت اعتبار برند (Brand Reputation Management): با رصد مستمر نظرات آنلاین، کسب‌وکارها می‌توانند به سرعت به مسائل منفی واکنش نشان دهند و اقدامات لازم برای حفظ و بهبود تصویر برند خود را انجام دهند.
• افزایش دقت پردازش زبان‌های غیر استاندارد: دستاورد مهم دیگر، اثبات موفقیت‌آمیز بودن استفاده از NLP و تکنیک‌های یادگیری ماشین برای پردازش زبان‌های ترکیبی و غیررسمی مانند بنگلیش است. این خود راه را برای تحقیقات مشابه در سایر زبان‌ها و لهجه‌ها هموار می‌کند.
• قابلیت توسعه: روش‌شناسی استفاده شده، مقیاس‌پذیر است و می‌تواند برای تحلیل تقاضای طیف وسیعی از محصولات و خدمات، نه تنها گوشی‌های هوشمند، مورد استفاده قرار گیرد.

به طور کلی، این تحقیق یک نمونه عالی از کاربرد هوش مصنوعی و NLP برای حل چالش‌های واقعی کسب‌وکار در بازارهای جهانی است.

۷. نتیجه‌گیری

پژوهش حاضر با موفقیت توانسته‌ است تحلیلی جامع از تقاضای بازار محصولات در بنگلادش، با تمرکز بر گوشی‌های هوشمند، را با استفاده از پردازش زبان طبیعی (NLP)، تحلیل احساسات و بازشناسی موجودیت‌های نام‌دار (NER) بر روی متون زبان بنگلیش ارائه دهد. نویسندگان با جمع‌آوری داده‌ها از منابع متنوع، پیش‌پردازش دقیق و به‌کارگیری مدل‌های یادگیری ماشین پیشرفته، توانسته‌اند به یافته‌های ارزشمندی دست یابند.

دقت بالای مدل‌های مورد استفاده، به‌ویژه در بخش NER (۹۵.۵۱٪) و تحلیل تقاضا (۸۷.۰۲٪)، گواهی بر اثربخشی رویکرد اتخاذ شده است. توانایی مدیریت خطاهای املایی و تحلیل تفکیکی بر اساس جنسیت، این تحقیق را از مطالعات مشابه متمایز می‌سازد و کاربرد عملی آن را برای کسب‌وکارها افزایش می‌دهد.

این مطالعه نشان می‌دهد که حتی در زبان‌های غیر استاندارد و ترکیبی مانند بنگلیش، با استفاده از ابزارهای مناسب NLP، می‌توان به درک عمیقی از رفتار مصرف‌کننده، روندهای بازار و ترجیحات مشتریان دست یافت. این یافته‌ها برای شرکت‌های داخلی و بین‌المللی که به دنبال گسترش فعالیت خود در بازارهای نوظهور هستند، بسیار راهگشا خواهد بود.

آینده این تحقیق می‌تواند شامل بسط دامنه تحلیل به محصولات بیشتر، افزودن سایر ابعاد جمعیتی (مانند سن، منطقه جغرافیایی) به تحلیل، و توسعه مدل‌های پیشرفته‌تر برای پردازش زبان‌های ترکیبی و درک بهتر ظرافت‌های زبانی باشد. در نهایت، این پژوهش گامی مهم در جهت بهره‌گیری از داده‌های متنی در زبان‌های کمتر پردازش شده برای پیشبرد اهداف تجاری و اجتماعی است.