همکاری مؤثر مستلزم آن است که گروه‌ها به طور استراتژیک خود را تنظیم کنند تا بر چالش‌ها غلبه کنند. تحقیقات نشان داده است که گروه‌ها ممکن است به دلیل تفاوت در ادراک اعضا از چالش‌ها، که می‌تواند از حمایت خارجی بهره‌مند شود، نتوانند خود را تنظیم کنند. مقاله‌ی حاضر به بررسی پتانسیل استفاده از سه مدل متمایز پردازش زبان طبیعی (NLP) در تشخیص چالش‌ها و شناسایی ابعاد چالش (شناختی، فراشناختی، عاطفی و فنی/سایر چالش‌ها) از گفتمان دانشجویان می‌پردازد. این سه مدل عبارتند از: یک مدل مبتنی بر قواعد دانش تخصصی، یک مدل یادگیری ماشین نظارت‌شده (ML) و یک مدل زبانی بزرگ (LLM) نظیر GPT-4. این مقاله به قلم واناپون سوراووراشت، جنیفر سئون و موتلو چوکورووا نوشته شده و در دسته‌های محاسبات و زبان و همچنین کامپیوترها و جامعه قرار می‌گیرد.

همکاری و یادگیری مشارکتی به طور فزاینده‌ای در محیط‌های آموزشی مورد استفاده قرار می‌گیرند. با این حال، موفقیت در این نوع یادگیری نیازمند توانایی دانشجویان در شناسایی و حل چالش‌هایی است که در طول فرآیند همکاری با آن روبرو می‌شوند. لحظات چالش‌برانگیز، نقاط عطفی هستند که در آن‌ها گروه نیاز به مداخله و خودتنظیمی دارد تا بتواند به طور موثر به هدف خود دست یابد. شناسایی این لحظات و ارائه بازخورد مناسب می‌تواند به بهبود عملکرد گروهی و یادگیری فردی کمک کند. بنابراین، توسعه روش‌های خودکار برای تشخیص این لحظات اهمیت بسزایی دارد. مسئله کلیدی اینجاست که اعضای گروه ممکن است در درک و شناسایی چالش ها اختلاف نظر داشته باشند. این اختلاف می تواند منجر به عدم خودتنظیمی مؤثر و در نتیجه کاهش کیفیت یادگیری شود. به همین دلیل، نیاز به یک سیستم خارجی که بتواند به طور خودکار چالش ها را تشخیص دهد و بازخورد مناسب ارائه دهد، بیش از پیش احساس می شود.

این تحقیق توسط واناپون سوراووراشت، جنیفر سئون و موتلو چوکورووا انجام شده است. این محققان در زمینه‌های پردازش زبان طبیعی، یادگیری ماشینی، و یادگیری مشارکتی تخصص دارند. زمینه‌ی اصلی تحقیقات آن‌ها، استفاده از فناوری‌های نوین برای بهبود فرآیندهای یادگیری و همکاری در محیط‌های آموزشی است. مطالعات قبلی این محققان نشان داده است که مداخله به موقع و ارائه بازخورد مناسب در لحظات چالش‌برانگیز می‌تواند به طور قابل توجهی عملکرد دانشجویان را در یادگیری مشارکتی بهبود بخشد.

به طور خاص، تخصص آن‌ها در زمینه‌ی تنظیم اجتماعی یادگیری (Socially Shared Regulation of Learning – SSRL) است. این مفهوم بر این تاکید دارد که یادگیری در محیط‌های گروهی تنها به دانش فردی اعضا وابسته نیست، بلکه به توانایی آن‌ها در تنظیم فرآیندهای یادگیری به صورت مشترک نیز بستگی دارد. شناسایی چالش‌ها، برنامه‌ریزی، نظارت بر پیشرفت و انطباق با شرایط متغیر، از جمله مواردی هستند که در SSRL مورد توجه قرار می‌گیرند.

این مقاله به بررسی سه رویکرد مختلف برای تشخیص خودکار لحظات چالش‌برانگیز در گفتمان دانشجویان می‌پردازد. رویکرد اول، یک مدل مبتنی بر قواعد دانش تخصصی است که توسط کارشناسان طراحی شده است. این مدل از مجموعه‌ای از قوانین و الگوها برای شناسایی کلمات و عبارات کلیدی که نشان‌دهنده چالش هستند، استفاده می‌کند. رویکرد دوم، یک مدل یادگیری ماشین نظارت‌شده است که با استفاده از داده‌های برچسب‌گذاری شده توسط انسان آموزش داده شده است. این مدل قادر است الگوهای پیچیده‌تری را در داده‌ها یاد بگیرد و دقت بالاتری نسبت به مدل مبتنی بر قواعد ارائه دهد. رویکرد سوم، استفاده از یک مدل زبانی بزرگ (LLM) مانند GPT-4 است. این مدل‌ها با استفاده از حجم عظیمی از داده‌های متنی آموزش داده شده‌اند و قادر به درک و تولید زبان طبیعی با دقت بالایی هستند. در این مقاله، عملکرد این سه رویکرد در تشخیص چالش‌ها و همچنین شناسایی ابعاد مختلف چالش (شناختی، فراشناختی، عاطفی و فنی) با یکدیگر مقایسه شده است.

نتایج نشان می‌دهد که مدل‌های یادگیری ماشین نظارت‌شده و مدل‌های زبانی بزرگ مانند GPT-4 در هر دو وظیفه (تشخیص چالش و شناسایی ابعاد چالش) عملکرد قابل قبولی دارند. در مقابل، مدل مبتنی بر قواعد به شدت به ویژگی‌های مهندسی شده توسط متخصصان وابسته است و عملکرد ضعیف‌تری دارد. با این حال، نویسندگان مقاله تاکید می‌کنند که LLM ها به دلیل مشکلاتی مانند عدم قابلیت اطمینان، مسائل مربوط به ارزیابی اعتبار، حفظ حریم خصوصی و توهم (confabulation)، نمی‌توانند راه‌حل قطعی برای مشکلات تشخیص و ارائه بازخورد در SSRL باشند.

روش‌شناسی تحقیق شامل مراحل زیر است:

• جمع‌آوری داده: داده‌های مورد استفاده در این تحقیق، شامل گفتمان‌های دانشجویان در حین انجام فعالیت‌های یادگیری مشارکتی است. این گفتمان‌ها به صورت متنی ثبت و ذخیره شده‌اند.
• برچسب‌گذاری داده: داده‌ها توسط کارشناسان برچسب‌گذاری شده‌اند. هر بخش از گفتمان که نشان‌دهنده یک چالش باشد، برچسب‌گذاری شده و ابعاد مختلف چالش (شناختی، فراشناختی، عاطفی و فنی) نیز مشخص شده‌اند.
• طراحی و آموزش مدل‌ها: سه مدل مختلف (مبتنی بر قواعد، یادگیری ماشین نظارت‌شده و LLM) طراحی و آموزش داده شده‌اند. مدل یادگیری ماشین نظارت‌شده از الگوریتم‌های متداول در این زمینه مانند ماشین‌های بردار پشتیبان (SVM) یا شبکه‌های عصبی استفاده کرده است. مدل LLM از GPT-4 استفاده کرده و با داده‌های برچسب‌گذاری شده، برای تشخیص چالش‌ها fine-tune شده است.
• ارزیابی عملکرد مدل‌ها: عملکرد مدل‌ها با استفاده از معیارهای ارزیابی متداول در پردازش زبان طبیعی، مانند دقت (Accuracy)، بازخوانی (Recall) و امتیاز F1، مورد ارزیابی قرار گرفته است.
• مقایسه و تحلیل نتایج: نتایج به دست آمده از سه مدل با یکدیگر مقایسه شده و تحلیل شده است تا نقاط قوت و ضعف هر مدل مشخص شود.

به عنوان مثال، مدل مبتنی بر قواعد ممکن است برای شناسایی چالش‌های فنی که با کلمات کلیدی خاصی مانند “error”، “bug” یا “compatibility” همراه هستند، عملکرد خوبی داشته باشد. در حالی که مدل LLM می‌تواند چالش‌های پیچیده‌تر و ظریف‌تری را که نیازمند درک عمیق‌تری از متن هستند، تشخیص دهد. برای مثال، یک جمله مانند “من مطمئن نیستم که در این مرحله باید چه کاری انجام دهیم” ممکن است توسط مدل مبتنی بر قواعد نادیده گرفته شود، اما مدل LLM می‌تواند آن را به عنوان نشانه‌ای از یک چالش فراشناختی (عدم آگاهی از فرآیند حل مسئله) تشخیص دهد.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل‌های یادگیری ماشین نظارت‌شده و مدل‌های زبانی بزرگ (LLM) مانند GPT-4، عملکرد بهتری نسبت به مدل مبتنی بر قواعد در تشخیص چالش‌ها و شناسایی ابعاد چالش دارند.
• مدل‌های LLM، به دلیل توانایی درک و تولید زبان طبیعی، قادر به تشخیص چالش‌های پیچیده‌تر و ظریف‌تری هستند که تشخیص آن‌ها برای مدل‌های مبتنی بر قواعد دشوار است.
• با وجود عملکرد خوب LLM ها، مشکلاتی مانند عدم قابلیت اطمینان، مسائل مربوط به ارزیابی اعتبار، حفظ حریم خصوصی و توهم (confabulation) مانع از استفاده گسترده از آن‌ها در تشخیص و ارائه بازخورد در SSRL می‌شود.
• شفافیت مدل‌ها (به ویژه LLM ها) برای ارائه بازخورد معنادار و قابل اعتماد به دانشجویان و مربیان ضروری است.

این تحقیق دستاوردهای مهمی در زمینه یادگیری مشارکتی و پردازش زبان طبیعی دارد. کاربردهای بالقوه این تحقیق عبارتند از:

• توسعه سیستم‌های هوشمند برای تشخیص خودکار لحظات چالش‌برانگیز در یادگیری مشارکتی و ارائه بازخورد مناسب به دانشجویان. این سیستم‌ها می‌توانند به دانشجویان کمک کنند تا به طور موثرتری بر چالش‌ها غلبه کنند و عملکرد گروهی خود را بهبود بخشند.
• بهبود طراحی فعالیت‌های یادگیری مشارکتی با شناسایی الگوهای متداول چالش‌هایی که دانشجویان با آن روبرو می‌شوند. این اطلاعات می‌تواند به مربیان کمک کند تا فعالیت‌هایی طراحی کنند که کمتر چالش‌برانگیز باشند یا حمایت‌های مناسبی را برای دانشجویان فراهم کنند.
• ارائه ابزارهایی برای مربیان تا بتوانند به طور موثرتری بر فرآیند یادگیری مشارکتی نظارت کنند و در صورت نیاز مداخله کنند. این ابزارها می‌توانند به مربیان کمک کنند تا دانشجویانی که با چالش روبرو هستند را شناسایی کرده و بازخورد شخصی‌سازی شده ارائه دهند.
• استفاده از LLM ها در زمینه های دیگر آموزشی که نیاز به تحلیل گفتمان و ارائه بازخورد خودکار دارند، مانند ارزیابی مقالات و ارائه بازخورد در مورد مهارت‌های نوشتاری.

این مقاله نشان می‌دهد که مدل‌های زبانی بزرگ مانند GPT-4 پتانسیل بالایی در تشخیص خودکار لحظات چالش‌برانگیز در یادگیری مشارکتی دارند. با این حال، استفاده از این مدل‌ها نیازمند توجه به چالش‌هایی مانند عدم قابلیت اطمینان، مسائل مربوط به ارزیابی اعتبار، حفظ حریم خصوصی و توهم (confabulation) است. برای استفاده موثر از LLM ها در آموزش، لازم است که این مدل‌ها شفاف‌تر باشند و بازخورد ارائه شده توسط آن‌ها قابل اعتماد و معنادار باشد. تحقیقات آینده باید بر روی توسعه روش‌هایی برای بهبود قابلیت اطمینان و شفافیت LLM ها و همچنین ارزیابی دقیق تاثیر آن‌ها بر یادگیری دانشجویان تمرکز کنند. همچنین، توجه به اخلاقیات استفاده از این تکنولوژی ها و حفاظت از حریم خصوصی دانشجویان از اهمیت بالایی برخوردار است.

به طور خلاصه، در حالی که LLM ها نویدبخش هستند، نباید آن‌ها را به عنوان راه‌حلی جادویی برای مشکلات یادگیری مشارکتی در نظر گرفت. بلکه باید با احتیاط و با در نظر گرفتن محدودیت‌های آن‌ها از این فناوری‌ها استفاده کرد و همواره به دنبال روش‌هایی برای بهبود آن‌ها بود.