در سال‌های اخیر، مدل‌های زبان بزرگ (LLMs) و شبکه‌های عصبی مبتنی بر مکانیسم توجه (Attention Mechanism) انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. مدل‌هایی نظیر BERT، ترنسفورمر (Transformer) و GPT با توانایی خیره‌کننده خود در درک و تولید زبان، مرزهای این حوزه را جابجا کرده‌اند. با این حال، علی‌رغم موفقیت‌های چشمگیر، درک کامل نحوه عملکرد داخلی این مدل‌های پیچیده همچنان یک چالش بزرگ باقی مانده است. این مقاله به کاوش در ساختارهای پنهان این مدل‌ها می‌پردازد، و با استفاده از ابزارهای آنالیز توپولوژیک داده (Topological Data Analysis – TDA)، به‌ویژه اعداد بتی (Betti numbers)، دیدگاه‌های جدیدی را در مورد گراف‌های توجه ارائه می‌دهد.

اهمیت این تحقیق در دو بعد اصلی نهفته است: اول، تلاش برای «باز کردن جعبه سیاه» مدل‌های هوش مصنوعی و فراهم آوردن درکی عمیق‌تر از مکانیسم‌های تصمیم‌گیری آن‌ها. این امر برای اعتمادپذیری، قابلیت تفسیر و بهبود مستمر این مدل‌ها حیاتی است. دوم، معرفی و کاربرد روش‌های توپولوژیک در زمینه‌ای که پیش از این کمتر مورد کاوش قرار گرفته بود. توپولوژی به مطالعه ویژگی‌های ساختاری اشیاء می‌پردازد که تحت تغییر شکل‌های پیوسته ثابت می‌مانند؛ این ویژگی‌ها می‌توانند بینش‌های عمیقی در مورد ساختار اساسی داده‌ها یا مدل‌ها فراهم آورند. این مقاله نشان می‌دهد که چگونه می‌توان از این ابزارهای قدرتمند برای استخراج اطلاعات ساختاری معنی‌دار از گراف‌های توجه استفاده کرد و حتی به نتایج طبقه‌بندی رقابتی دست یافت.

این مقاله توسط لیدا کوشناروا (Laida Kushnareva)، دیمیتری پیونتکوفسکی (Dmitri Piontkovski)، و ایرینا پیونتکوفسکایا (Irina Piontkovskaya) به رشته تحریر درآمده و در دسته‌بندی “محاسبات و زبان” (Computation and Language) قرار می‌گیرد که نمایانگر ماهیت بین‌رشته‌ای آن است.

زمینه تحقیق این مقاله بر تقاطع دو حوزه داغ و پیچیده استوار است: پردازش زبان طبیعی (NLP) و آنالیز توپولوژیک داده (TDA). در حوزه NLP، مدل‌های مبتنی بر ترنسفورمر، به‌ویژه BERT، با بهره‌گیری از مکانیسم توجه برای وزن‌دهی به ارتباطات بین کلمات در یک جمله، توانستند عملکرد بی‌سابقه‌ای در وظایفی مانند خلاصه‌سازی، ترجمه ماشینی، پاسخ به سؤال و طبقه‌بندی متن از خود نشان دهند. مکانیسم توجه به مدل اجازه می‌دهد تا به‌جای پردازش ترتیبی ورودی، به بخش‌های مختلف آن همزمان توجه کند و روابط دوربرد را بهتر شناسایی کند.

از سوی دیگر، آنالیز توپولوژیک داده (TDA) ابزاری نسبتاً جدید اما بسیار قدرتمند برای استخراج ویژگی‌های ساختاری و شکل داده‌هاست. این روش به ویژه در مواجهه با داده‌های پیچیده، نویزدار و با ابعاد بالا که روش‌های آماری سنتی ممکن است در آن ناکارآمد باشند، مفید است. همولوژی پایدار (Persistent Homology)، سنگ‌بنای TDA، به ما این امکان را می‌دهد که “حفره‌ها” (holes)، “حلقه‌ها” (loops) و “فضاهای خالی” (voids) در داده‌ها را در مقیاس‌های مختلف شناسایی و اندازه‌گیری کنیم. اعداد بتی، که خروجی این تحلیل هستند، تعداد این اجزای توپولوژیکی را در هر بعد نشان می‌دهند:

• بتی صفر (β₀): تعداد مولفه‌های همبند (connected components)
• بتی یک (β₁): تعداد حلقه‌ها یا “حفره‌ها”
• بتی دو (β₂): تعداد فضاهای خالی سه‌بعدی

این مقاله برای اولین بار، با ترکیب این دو حوزه، سعی دارد تا ساختار توپولوژیک گراف‌های توجه را در مدل BERT کاوش کند و نشان دهد که چگونه می‌توان از این ساختار برای بهبود درک و عملکرد مدل‌ها استفاده کرد. این رویکرد نه تنها جدید است بلکه پتانسیل کشف قوانین بنیادی پنهان در پشت این مدل‌های پیچیده را دارد.

این تحقیق پیشگامانه، با هدف درک عمیق‌تر از چگونگی عملکرد مدل‌های زبانی مبتنی بر توجه، روش‌های تحلیل توپولوژیک را بر گراف‌های توجه محاسبه‌شده از هدهای توجه مدل BERT (مورد اشاره در arXiv:1810.04805v2) اعمال می‌کند. هسته اصلی این پژوهش بر این ایده متمرکز است که ساختار هندسی و توپولوژیک این گراف‌ها می‌تواند اطلاعات بسیار ارزشمندی را در مورد نحوه پردازش زبان توسط مدل آشکار سازد.

نویسندگان مقاله نشان می‌دهند که با استخراج ویژگی‌های توپولوژیک پایدار، به‌ویژه اعداد بتی، از این گراف‌های توجه آموزش‌دیده، می‌توان یک دسته‌بندی‌کننده (classifier) ساخت. نکته کلیدی اینجاست که این دسته‌بندی‌کننده می‌تواند به نتایج طبقه‌بندی متنی دست یابد که هم‌تراز (on par) با روش‌های دسته‌بندی متداول است. این یافته حائز اهمیت است زیرا نشان می‌دهد که ویژگی‌های توپولوژیکی که ساختارهای بنیادی و ارتباطات داخلی مدل را توصیف می‌کنند، به تنهایی قدرت پیش‌بینی‌کنندگی قابل توجهی دارند و می‌توانند به عنوان نمایشگرهای معناداری از متن عمل کنند.

برای اثبات اعتبار این رویکرد، نویسندگان اهمیت این نمایش توپولوژیکی متن را در سه معیار بنچمارک طبقه‌بندی متن به نمایش گذاشته‌اند. این کار تأیید می‌کند که صرفاً با نگاه کردن به “شکل” ارتباطات درونی مدل، می‌توان به اطلاعات کافی برای انجام وظایف پیچیده NLP دست یافت. این دستاورد یک نقطه عطف محسوب می‌شود، چرا که تا آنجا که نویسندگان می‌دانند، این اولین تلاش برای تجزیه و تحلیل توپولوژی یک شبکه عصبی مبتنی بر توجه است که به‌طور گسترده‌ای برای پردازش زبان طبیعی استفاده می‌شود. این پژوهش نه تنها یک روش جدید برای تحلیل مدل‌ها ارائه می‌دهد، بلکه راه را برای طراحی نسل‌های بعدی مدل‌های قابل تفسیرتر و کارآمدتر هموار می‌کند.

روش‌شناسی این تحقیق مبتنی بر پیاده‌سازی گام به گام آنالیز توپولوژیک بر روی گراف‌های توجه استخراج‌شده از مدل BERT است. این فرآیند را می‌توان در چندین مرحله کلیدی خلاصه کرد:

۱. استخراج گراف‌های توجه:

مدل BERT دارای چندین هد توجه (Attention Heads) است که هر یک به‌طور مستقل به روابط بین توکن‌های ورودی توجه می‌کنند. برای هر جمله ورودی، هر هد توجه یک ماتریس توجه (Attention Matrix) تولید می‌کند که نشان‌دهنده وزن توجه از هر توکن به سایر توکن‌ها در جمله است. این ماتریس‌ها را می‌توان به عنوان وزن یال‌های یک گراف کامل (Complete Graph) در نظر گرفت که در آن توکن‌ها گره‌ها (nodes) و وزن‌های توجه، قدرت ارتباطی بین آن‌ها (edge weights) هستند. برای مثال، اگر جمله‌ای ۱۰۰ کلمه داشته باشد، یک گراف کامل با ۱۰۰ گره و تقریباً ۵۰۰۰ یال خواهیم داشت.

۲. ساخت مجتمع‌های سیمپلیسیال (Simplicial Complexes):

پس از استخراج گراف توجه، مرحله بعدی ساخت یک مجتمع سیمپلیسیال فیلترشده (Filtered Simplicial Complex) است. در همولوژی پایدار، ما به جای تحلیل مستقیم گراف، یک سری از مجتمع‌های سیمپلیسیال را می‌سازیم که به‌تدریج “چگالی” روابط را افزایش می‌دهند. این کار با اعمال یک آستانه (threshold) بر روی وزن یال‌های گراف انجام می‌شود:

• در ابتدا، تنها گره‌ها (سیمپلیس‌های صفر بعدی) وجود دارند.
• سپس، با افزایش آستانه (یا کاهش فاصله بین نقاط)، یال‌هایی (سیمپلیس‌های یک بعدی) اضافه می‌شوند که نشان‌دهنده روابط قوی‌تر هستند.
• با ادامه این فرآیند، مثلث‌ها (سیمپلیس‌های دوبعدی)، تتراهدرون‌ها (سیمپلیس‌های سه‌بعدی) و سیمپلیس‌های ابعاد بالاتر نیز تشکیل می‌شوند.

این فرآیند به ما اجازه می‌دهد تا بفهمیم چگونه ویژگی‌های توپولوژیکی (مانند حلقه‌ها یا حفره‌ها) در مقیاس‌های مختلف “متولد” و “مرده” می‌شوند.

۳. محاسبه اعداد بتی:

با استفاده از الگوریتم‌های همولوژی پایدار، برای هر فیلتر مجتمع سیمپلیسیال، اعداد بتی (Betti numbers) محاسبه می‌شوند. اعداد بتی نشان‌دهنده تعداد “حفره‌ها” در ابعاد مختلف هستند:

• β₀: تعداد مولفه‌های همبند. این عدد نشان‌دهنده تعداد بخش‌های مجزا در گراف است.
• β₁: تعداد حلقه‌ها یا “حفره‌ها”. این‌ها نشان‌دهنده ساختارهای چرخه‌ای در گراف هستند، مانند جملات یا عبارت‌هایی که به صورت دایره‌وار به هم مرتبطند.
• β₂: تعداد “فضاهای خالی” سه‌بعدی. این‌ها نشان‌دهنده ساختارهای پیچیده‌تر و شبکه‌های توخالی هستند.

خروجی این مرحله، یک نمودار پایداری (Persistence Diagram) است که نقاط آن نشان‌دهنده زمان “تولد” و “مرگ” هر ویژگی توپولوژیکی هستند. این نمودارها، به نوبه خود، به عنوان بردار ویژگی (feature vector) برای طبقه‌بندی‌کننده استفاده می‌شوند.

۴. ساخت و ارزیابی طبقه‌بندی‌کننده:

ویژگی‌های استخراج‌شده از نمودار پایداری (مانند مجموع، میانگین، یا حداکثر اعداد بتی در بازه‌های مختلف) به عنوان ورودی برای یک مدل طبقه‌بندی ماشینی استاندارد (مانند ماشین بردار پشتیبان (Support Vector Machine – SVM) یا رگرسیون لجستیک (Logistic Regression)) استفاده می‌شوند. این طبقه‌بندی‌کننده برای انجام وظایف طبقه‌بندی متن آموزش داده می‌شود. عملکرد این مدل سپس با روش‌های طبقه‌بندی سنتی که از نمایش‌های متنی مرسوم (مانند بردارهای ورودی (embeddings) یا TF-IDF) استفاده می‌کنند، مقایسه می‌شود.

۵. بنچمارک‌ها:

پژوهشگران برای اثبات کارایی روش خود، آزمایش‌ها را بر روی سه بنچمارک متداول طبقه‌بندی متن انجام دادند. این بنچمارک‌ها اطمینان می‌دهند که نتایج به‌دست‌آمده قابل تعمیم به وظایف مختلف طبقه‌بندی متن هستند و صرفاً محدود به یک مجموعه داده خاص نیستند.

این رویکرد دقیق، امکان ارزیابی کمی نقش توپولوژی در درک و تحلیل مدل‌های زبان را فراهم می‌آورد و پایه‌ای محکم برای نتایج و یافته‌های کلیدی مقاله ایجاد می‌کند.

تحقیق ارائه شده در این مقاله، مجموعه‌ای از یافته‌های کلیدی و بینش‌های عمیق را در مورد ساختار درونی شبکه‌های عصبی مبتنی بر توجه آشکار می‌سازد. برجسته‌ترین دستاورد، اثبات این فرضیه است که ویژگی‌های بنیادی توپولوژیکی، به‌ویژه اعداد بتی، می‌توانند به تنهایی به عنوان نمایشگرهای مؤثر و قدرتمند برای وظایف طبقه‌بندی متن عمل کنند.

• عملکرد رقابتی دسته‌بندی‌کننده: مهمترین یافته این است که دسته‌بندی‌کننده‌ای که صرفاً بر اساس ویژگی‌های استخراج‌شده از اعداد بتی گراف‌های توجه مدل BERT ساخته شده است، می‌تواند به نتایج طبقه‌بندی متنی هم‌تراز (on par) با روش‌های سنتی دست یابد. این بدان معناست که بدون نیاز به بردارهای پیچیده کلمات یا ویژگی‌های مهندسی‌شده دیگر، صرفاً با تحلیل “شکل” روابط داخلی مدل، می‌توان به دقت قابل قبولی در طبقه‌بندی دست پیدا کرد. این نتیجه به شدت نشان می‌دهد که گراف‌های توجه دارای یک ساختار ذاتی و معنی‌دار هستند که توسط اعداد بتی قابل استخراج است.
• ارتباط نمایش توپولوژیک: این تحقیق به وضوح نشان می‌دهد که نمایش توپولوژیک متن از طریق گراف‌های توجه، نه تنها ممکن است بلکه بسیار مرتبط و غنی از اطلاعات است. اعداد بتی قادرند جنبه‌های ساختاری متفاوتی از متن را که ممکن است از طریق نمایش‌های برداری خطی یا آماری به‌راحتی قابل تشخیص نباشند، ثبت کنند. برای مثال، β₀ می‌تواند انسجام یا بخش‌بندی معنایی متن را نشان دهد، در حالی که β₁ می‌تواند به پیچیدگی‌های ساختاری یا وجود “حلقه‌های ارجاعی” در روابط توجه اشاره کند.
• تأیید وجود ساختار معنایی در گراف‌های توجه: این واقعیت که ویژگی‌های توپولوژیک به طبقه‌بندی کمک می‌کنند، یک تأیید قدرتمند است بر این ایده که هدهای توجه BERT صرفاً روابط آماری را یاد نمی‌گیرند، بلکه ساختارهای سازمان‌یافته و معنایی را در داده‌های ورودی ایجاد می‌کنند. این ساختارها می‌توانند به عنوان یک “نقشه توپولوژیک” از روابط کلمه‌ای عمل کنند که برای درک زمینه و معنای کلی جمله ضروری هستند.
• گامی به سوی تفسیرپذیری (Interpretability): این رویکرد جدید یک مسیر امیدوارکننده برای تفسیرپذیری مدل‌های هوش مصنوعی باز می‌کند. به جای تلاش برای درک میلیون‌ها پارامتر، ما می‌توانیم با نگاه کردن به ویژگی‌های توپولوژیک ساده‌تر و قابل درک‌تر مانند اعداد بتی، بینش‌هایی در مورد چگونگی پردازش اطلاعات توسط مدل کسب کنیم. این کار به ما کمک می‌کند تا بفهمیم مدل چگونه “فکر می‌کند” و تصمیم می‌گیرد، که برای ساخت سیستم‌های هوش مصنوعی قابل اعتمادتر و مسئولیت‌پذیرتر حیاتی است.

به‌طور خلاصه، این یافته‌ها نشان می‌دهند که می‌توان از ابزارهای توپولوژیک برای کشف و بهره‌برداری از ساختارهای پنهان در مدل‌های یادگیری عمیق استفاده کرد و این ساختارها اطلاعات کافی برای انجام وظایف پیچیده را در خود جای داده‌اند.

کاربردها و دستاوردهای این تحقیق فراتر از یک پیشرفت صرفاً نظری است و می‌تواند تأثیرات عملی قابل توجهی در حوزه‌های مختلف هوش مصنوعی و پردازش زبان طبیعی داشته باشد:

• افزایش تفسیرپذیری مدل‌ها (Model Interpretability): یکی از بزرگترین چالش‌های مدل‌های یادگیری عمیق، خاصیت “جعبه سیاه” (black box) آن‌هاست. این تحقیق با ارائه یک روش کمی برای تحلیل ساختارهای درونی گراف‌های توجه از طریق اعداد بتی، گام مهمی در جهت افزایش تفسیرپذیری برمی‌دارد. با درک اینکه چگونه ویژگی‌های توپولوژیک خاصی با تصمیمات مدل مرتبط هستند، می‌توانیم به فهم عمیق‌تری از چگونگی عملکرد مدل دست یابیم. این امر به مهندسان و محققان اجازه می‌دهد تا نقاط قوت و ضعف مدل را بهتر شناسایی کنند.
• مهندسی ویژگی‌های جدید و قدرتمند: اعداد بتی و سایر ویژگی‌های مشتق شده از همولوژی پایدار، منبعی جدید و قدرتمند برای مهندسی ویژگی (Feature Engineering) در وظایف NLP ارائه می‌دهند. این ویژگی‌ها ساختارهای ذاتی و هندسی داده‌ها را در نظر می‌گیرند و ممکن است نسبت به نمایش‌های برداری سنتی، اطلاعات مکمل و مقاوم‌تری در برابر نویز و تغییرات کوچک ارائه دهند. این می‌تواند به ساخت مدل‌های NLP قوی‌تر و با کارایی بالاتر منجر شود.
• بهبود طراحی مدل‌های عصبی: با درک بهتر توپولوژی‌های تولیدشده توسط هدهای توجه، می‌توانیم به بینش‌هایی دست یابیم که منجر به طراحی معماری‌های عصبی (Neural Architectures) جدید و بهینه‌تر شود. به عنوان مثال، اگر مشاهده شود که توپولوژی‌های خاصی با عملکرد بهتر مرتبط هستند، می‌توانیم به گونه‌ای مدل‌ها را طراحی کنیم که این ساختارهای توپولوژیک مطلوب را تولید کنند. این ممکن است شامل تغییراتی در مکانیسم توجه یا لایه‌های دیگر مدل باشد.
• تشخیص ناهنجاری و خطای مدل: تحلیل توپولوژیک می‌تواند به عنوان ابزاری برای تشخیص ناهنجاری (Anomaly Detection) در رفتار مدل یا داده‌های ورودی استفاده شود. گراف‌های توجهی که توپولوژی‌های غیرعادی یا غیرمنتظره‌ای از خود نشان می‌دهند، ممکن است نشان‌دهنده ورودی‌های چالش‌برانگیز، خطاهای مدل، یا حتی حملات متخاصمانه (adversarial attacks) باشند.
• افزایش کارایی و کاهش منابع: اگر ویژگی‌های توپولوژیک بتوانند اطلاعات کافی را با ابعاد کمتر از بردارهای ورودی (embeddings) بزرگ و پیچیده ارائه دهند، ممکن است بتوانیم به مدل‌های NLP کوچک‌تر، سریع‌تر و با مصرف منابع کمتر دست یابیم، بدون اینکه عملکرد را به خطر بیندازیم. این امر به‌ویژه در محیط‌های با منابع محدود یا برای برنامه‌های کاربردی در زمان واقعی (real-time applications) بسیار ارزشمند خواهد بود.
• گشودن افق‌های جدید تحقیقاتی: این تحقیق پلی بین حوزه توپولوژی و یادگیری عمیق ایجاد می‌کند. این کار، محققان را تشویق می‌کند تا به کاوش در دیگر ابزارهای هندسه و توپولوژی دیفرانسیلی (Differential Geometry and Topology) برای درک و بهبود مدل‌های هوش مصنوعی بپردازند. این می‌تواند منجر به ظهور یک زیرشاخه جدید و پربار در تحقیقات هوش مصنوعی شود که پتانسیل کشف اصول بنیادی جدید را دارد.

در مجموع، دستاورد اصلی این مقاله نه تنها یک روش طبقه‌بندی جدید، بلکه یک چارچوب مفهومی و ابزاری قدرتمند برای نگاه کردن به شبکه‌های عصبی از منظری کاملاً جدید است که می‌تواند به نسل‌های بعدی مدل‌های هوش مصنوعی هوشمندتر، شفاف‌تر و کارآمدتر منجر شود.

در این مقاله، ما شاهد یک کاوش نوآورانه و عمیق در ساختارهای پنهان گراف‌های توجه مدل BERT بودیم. با بهره‌گیری از قدرت آنالیز توپولوژیک داده (TDA) و به ویژه محاسبه اعداد بتی، محققان توانستند نشان دهند که این ویژگی‌های ساختاری نه تنها قادر به ثبت اطلاعات معنادار از متن هستند، بلکه می‌توانند به عنوان پایه‌ای برای یک سیستم طبقه‌بندی عمل کنند که نتایج آن هم‌تراز با روش‌های رایج و پیچیده‌تر است.

مهمترین پیام این تحقیق این است که “اعداد بتیِ گراف‌های توجه هرآنچه واقعاً نیاز دارید”؛ این جمله، به اختصار، قدرت شگفت‌انگیز ویژگی‌های توپولوژیک را در تقریب زدن و حتی گاهی جایگزینی نمایش‌های پیچیده‌تر و پرهزینه‌تر مدل‌ها بیان می‌کند. این دستاورد یک قدم بزرگ به سوی تفسیرپذیری مدل‌های یادگیری عمیق برمی‌دارد و به ما اجازه می‌دهد تا به جای درک پیچیدگی‌های عددی، به فرم و ساختار هندسی داخلی آن‌ها نگاه کنیم.

این پژوهش نه تنها یک روش جدید برای تحلیل مدل‌ها ارائه می‌دهد، بلکه افق‌های جدیدی را برای تحقیقات آینده می‌گشاید. آینده می‌تواند شامل کاوش در ابعاد بالاتر اعداد بتی، بررسی دیگر معیارهای توپولوژیکی، اعمال این روش‌ها بر روی مدل‌های ترنسفورمر بزرگ‌تر و مدل‌های مولد، یا حتی ادغام مستقیم ویژگی‌های توپولوژیک در فرآیند آموزش شبکه‌های عصبی باشد. در نهایت، این مقاله نشان می‌دهد که پیوند دادن حوزه‌های مختلف ریاضیات و علوم کامپیوتر می‌تواند به کشف بینش‌های عمیق و ایجاد پیشرفت‌های انقلابی در هوش مصنوعی منجر شود.