مقدمه: ظهور ترانسفورمرها در یادگیری نمایش گراف

در دنیای پیچیده یادگیری ماشین، شناسایی الگوها و روابط پنهان در داده‌ها، کلید دستیابی به مدل‌های قدرتمند و کارآمد است. در سال‌های اخیر، معماری ترانسفورمر که ابتدا برای پردازش زبان طبیعی (NLP) طراحی شده بود، به یکی از ارکان اصلی در حوزه یادگیری نمایش گراف (Graph Representation Learning) تبدیل شده است. گراف‌ها، به دلیل توانایی‌شان در نمایش ساختارهای پیچیده و روابط بین موجودیت‌ها، در حوزه‌های متنوعی از علوم مانند شبکه‌های اجتماعی، سیستم‌های توصیه‌گر، کشف دارو و درک مولکولی کاربرد فراوانی دارند. با این حال، پردازش کارآمد گراف‌های بزرگ و پیچیده همواره چالش‌برانگیز بوده است. مقاله حاضر با عنوان “Transformers are efficient hierarchical chemical graph learners” (ترانسفورمرها، یادگیرنده کارای گراف‌های شیمیایی سلسله‌مراتبی)، به بررسی این چالش و ارائه راه‌حلی نوآورانه می‌پردازد.

اهمیت این پژوهش در تطبیق موفقیت‌آمیز معماری ترانسفورمر، که در پردازش داده‌های متوالی (مانند متن) درخشیده است، به حوزه یادگیری نمایش گراف نهفته است. این تطبیق می‌تواند دریچه‌های جدیدی را به سوی مدل‌سازی دقیق‌تر و کارآمدتر ساختارهای مولکولی و دیگر انواع داده‌های گرافی بگشاید.

نویسندگان و زمینه تحقیق

این مقاله توسط گروهی از محققان برجسته در زمینه یادگیری ماشین و شیمی محاسباتی نگاشته شده است: Zihan Pengmei، Zimu Li، Chih-chan Tien، Risi Kondor و Aaron R. Dinner. حضور نام‌هایی چون Risi Kondor که پیشگام در تحقیقات مرتبط با یادگیری نمایش گراف و معماری‌های مبتنی بر همسانی (Equivariance) است، نشان‌دهنده عمق علمی و نوآوری در این پژوهش است. زمینه اصلی تحقیق این مقاله، یادگیری ماشین، به طور خاص یادگیری نمایش گراف و کاربرد آن در حوزه شیمی (مانند پیش‌بینی خواص مولکولی) است.

چکیده: نوآوری SubFormer در پردازش گراف

چکیده مقاله به طور خلاصه به مشکل اصلی و راه‌حل پیشنهادی می‌پردازد. چالش اصلی در رویکردهای فعلی مبتنی بر ترانسفورمر برای گراف‌ها، این است که اغلب گره‌ها یا یال‌ها را به عنوان توکن‌های مجزا در نظر می‌گیرند. این رویکرد، به خصوص برای گراف‌های با اندازه متوسط، به دلیل پیچیدگی محاسباتی نمایی (Quadratic Scaling) مکانیزم توجه (Self-Attention) نسبت به تعداد توکن‌ها، با مشکل مواجه می‌شود. به عبارت دیگر، با افزایش تعداد گره‌ها و یال‌ها، محاسبات به سرعت سرسام‌آور شده و مدل‌سازی غیرعملی می‌شود.

برای غلبه بر این محدودیت، مقاله، معماری جدیدی به نام SubFormer را معرفی می‌کند. SubFormer به جای پردازش هر گره یا یال به صورت مجزا، بر روی زیرگراف‌ها (Subgraphs) کار می‌کند. این زیرگراف‌ها از طریق مکانیزم گذردهی پیام (Message Passing) اطلاعات را جمع‌آوری و تجمیع می‌کنند. این رویکرد دو مزیت کلیدی دارد:

• کاهش قابل توجه تعداد توکن‌های مورد نیاز برای پردازش.
• تقویت توانایی مدل در یادگیری تعاملات دوربرد (Long-range Interactions) بین بخش‌های مختلف گراف.

نویسندگان، کارایی SubFormer را با اجرای آن بر روی بنچمارک‌های پیش‌بینی خواص مولکولی از ساختارهای شیمیایی ارزیابی کرده‌اند. نتایج نشان می‌دهد که SubFormer با مدل‌های پیشرفته (State-of-the-art) ترانسفورمر گراف رقابت می‌کند، اما با هزینه محاسباتی بسیار کمتر. به طور خاص، زمان آموزش آن در حد چند دقیقه بر روی کارت گرافیک معمولی است. علاوه بر این، مقاله به تفسیر وزن‌های توجه (Attention Weights) در SubFormer از منظر ساختارهای شیمیایی پرداخته و نشان می‌دهد که این مدل از مشکل بیش‌فراموشی (Over-smoothing) که در شبکه‌های عصبی گراف سنتی رایج است، کمتر رنج می‌برد و از بیش‌فشردگی (Over-squashing) نیز اجتناب می‌کند.

روش‌شناسی تحقیق: معماری SubFormer

قلب نوآوری این مقاله، معماری SubFormer است. همانطور که اشاره شد، SubFormer با رویکرد سنتی پردازش جداگانه گره‌ها یا یال‌ها خداحافظی می‌کند و به جای آن، ساختار گراف را به صورت سلسله‌مراتبی و با استفاده از زیرگراف‌ها مدل می‌کند.

مراحل اصلی در SubFormer به شرح زیر است:

• تشکیل زیرگراف‌ها: گراف اولیه (که می‌تواند یک مولکول باشد) به مجموعه‌ای از زیرگراف‌های همپوشان یا مجزا تقسیم می‌شود. این تقسیم‌بندی می‌تواند بر اساس معیارهای مختلفی مانند نزدیکی گره‌ها، ساختار محلی یا الگوریتم‌های خوشه‌بندی انجام شود. هدف این است که زیرگراف‌ها، واحدهای معنادار و کوچکتری از اطلاعات را در بر بگیرند.
• جمع‌آوری اطلاعات درون زیرگراف (Message Passing): درون هر زیرگراف، مکانیزم گذردهی پیام به کار گرفته می‌شود. این مکانیزم به گره‌های درون زیرگراف اجازه می‌دهد تا اطلاعات همسایگان خود را دریافت کرده و نمایش (Representation) خود را بر اساس این اطلاعات به‌روزرسانی کنند. این مرحله شبیه به کاری است که شبکه‌های عصبی گراف سنتی انجام می‌دهند، اما در مقیاس کوچکتر و درون یک زیرگراف. این فرآیند باعث می‌شود که نمایش هر زیرگراف، نمایانگر ویژگی‌ها و ساختار داخلی خود باشد.
• توجه بین زیرگراف‌ها (Cross-Subgraph Attention): پس از اینکه هر زیرگراف به یک نمایش فشرده و معنا‌دار دست یافت، مکانیزم توجه ترانسفورمر در سطح زیرگراف‌ها به کار گرفته می‌شود. در این مرحله، SubFormer به هر زیرگراف اجازه می‌دهد تا با سایر زیرگراف‌ها “توجه” کند. این توجه، به مدل امکان می‌دهد تا روابط و وابستگی‌های بین بخش‌های مختلف مولکول یا ساختار گرافی را، حتی اگر از نظر فیزیکی دور باشند، درک کند. این همان جایی است که SubFormer بر مشکل تعاملات دوربرد غلبه می‌کند.
• سطوح سلسله‌مراتبی: نام “SubFormer” به این نکته اشاره دارد که این فرآیند می‌تواند به صورت سلسله‌مراتبی تکرار شود. یعنی می‌توان زیرگراف‌های تشکیل شده را مجدداً به زیرگراف‌های بزرگتر تقسیم کرد و این فرآیند را در سطوح مختلف تکرار نمود. این سلسله‌مراتب به مدل کمک می‌کند تا ویژگی‌ها را در مقیاس‌های مختلف (از اتم‌ها و پیوندها تا کل مولکول) یاد بگیرد.

این رویکرد سلسله‌مراتبی و مبتنی بر زیرگراف، تعداد توکن‌های ورودی به مکانیزم توجه را به شدت کاهش می‌دهد. به جای N توکن برای N گره، ما با تعداد بسیار کمتری توکن (تعداد زیرگراف‌ها) سر و کار داریم. این امر منجر به کاهش چشمگیر پیچیدگی محاسباتی از O(N^2) به چیزی بسیار کمتر (وابسته به تعداد زیرگراف‌ها) می‌شود.

یافته‌های کلیدی: کارایی، دقت و تفسیرپذیری

نتایج تجربی مقاله SubFormer را به عنوان یک مدل بسیار امیدوارکننده معرفی می‌کند:

• کارایی محاسباتی بالا: SubFormer در پیش‌بینی خواص مولکولی، با مدل‌های پیشرفته ترانسفورمر گراف رقابت می‌کند، اما با سرعت آموزش به طور قابل توجهی بالاتر. محققان گزارش داده‌اند که آموزش این مدل بر روی پردازنده‌های گرافیکی معمولی در حد چند دقیقه انجام می‌شود، که این برای مدل‌های بزرگ یادگیری عمیق بسیار چشمگیر است. این کارایی، SubFormer را برای کاربردهای عملی و آموزش بر روی مجموعه داده‌های بزرگ مناسب می‌سازد.
• رقابت با State-of-the-art: با وجود کاهش پیچیدگی محاسباتی، SubFormer توانسته است به دقت‌هایی دست یابد که با مدل‌های پیچیده‌تر و کندتر قابل مقایسه است. این نشان‌دهنده آن است که کاهش توکن‌ها لزوماً به ضرر قدرت نمایشی مدل تمام نشده است.
• کاهش بیش‌فراموشی (Over-smoothing): شبکه‌های عصبی گراف سنتی، به ویژه با افزایش عمق شبکه، اغلب با مشکل “بیش‌فراموشی” مواجه می‌شوند، جایی که نمایش گره‌ها بیش از حد شبیه به هم شده و اطلاعات خاص هر گره از دست می‌رود. SubFormer با تمرکز بر زیرگراف‌ها و توجه بین آن‌ها، توانسته است این مشکل را تا حد زیادی کاهش دهد و اطلاعات متمایز هر بخش از گراف را حفظ کند.
• اجتناب از بیش‌فشردگی (Over-squashing): این پدیده زمانی رخ می‌دهد که اطلاعات از گره‌های زیاد به تعداد کمی از گره‌ها فشرده می‌شود و باعث از دست رفتن جزئیات می‌شود. SubFormer با معماری سلسله‌مراتبی خود، از این اتکای بیش از حد به گره‌های مرکزی اجتناب کرده و اطلاعات را به شکل مؤثری در سطوح مختلف پردازش می‌کند.
• تفسیرپذیری توجه: یکی از جنبه‌های جذاب تحقیق، تفسیر وزن‌های توجه در SubFormer است. نویسندگان با بررسی این وزن‌ها، دریافتند که مکانیزم توجه به طور معناداری بر روی بخش‌های مهم و فعال مولکول تمرکز می‌کند. به عنوان مثال، در پیش‌بینی خواص، توجه ممکن است بر روی گروه‌های عاملی خاص یا ساختارهای حلقوی متمرکز شود که نقش کلیدی در آن خاصیت دارند. این قابلیت تفسیرپذیری، به دانشمندان شیمی کمک می‌کند تا بفهمند مدل چگونه به پیش‌بینی خود رسیده و یافته‌های مدل را با دانش شیمیایی خود تطبیق دهند.

کاربردها و دستاوردها: فراتر از پیش‌بینی مولکولی

اگرچه مقاله بر روی پیش‌بینی خواص مولکولی تمرکز دارد، اما اصول SubFormer را می‌توان به طور گسترده‌تری در سایر کاربردهای یادگیری نمایش گراف تعمیم داد:

• کشف دارو و طراحی مولکولی: پیش‌بینی دقیق خواص مولکولی (مانند حلالیت، سمیت، یا فعالیت دارویی) گام اول و حیاتی در فرآیند کشف دارو است. SubFormer با دقت و کارایی بالا، می‌تواند سرعت و دقت این فرآیند را افزایش دهد. همچنین، قابلیت تفسیرپذیری آن می‌تواند به طراحی مولکول‌های جدید با خواص مطلوب کمک کند.
• علوم مواد: درک ارتباط بین ساختار مواد و خواص آن‌ها، برای طراحی مواد جدید با ویژگی‌های مهندسی مورد نظر، ضروری است. گراف‌ها ابزار مناسبی برای نمایش ساختار مواد (مانند شبکه‌های کریستالی یا پلیمرها) هستند و SubFormer می‌تواند در پیش‌بینی خواص فیزیکی و شیمیایی این مواد به کار گرفته شود.
• شبکه‌های مولکولی و زیستی: شبکه‌هایی که برهم‌کنش پروتئین‌ها، ژن‌ها یا مسیرهای متابولیکی را نشان می‌دهند، ساختارهای گرافی پیچیده‌ای دارند. SubFormer می‌تواند در تحلیل این شبکه‌ها، شناسایی نقاط کلیدی و پیش‌بینی عملکرد آن‌ها مفید باشد.
• شبکه‌های اجتماعی و وب: هرچند زمینه اصلی مقاله شیمی است، اما معماری SubFormer قابلیت تعمیم به گراف‌های بزرگ در سایر حوزه‌ها را نیز دارد، جایی که مدل‌سازی روابط دوربرد و سلسله‌مراتبی اهمیت دارد.
• توسعه مدل‌های یادگیری ماشین کارآمدتر: دستاورد اصلی این مقاله، ارائه یک معماری ترانسفورمر گراف است که به طور قابل توجهی از نظر محاسباتی کارآمدتر است. این امر می‌تواند الهام‌بخش توسعه نسل بعدی مدل‌های یادگیری ماشین برای داده‌های گرافی باشد.

نتیجه‌گیری: گامی نوین در یادگیری نمایش گراف

مقاله “Transformers are efficient hierarchical chemical graph learners” با معرفی معماری SubFormer، گامی مهم و نوآورانه در زمینه یادگیری نمایش گراف برداشته است. این پژوهش به یکی از چالش‌های اساسی در استفاده از ترانسفورمرها برای گراف‌ها، یعنی مقیاس‌پذیری محاسباتی، پاسخی عملی و مؤثر داده است. با پردازش اطلاعات به صورت سلسله‌مراتبی و از طریق زیرگراف‌ها، SubFormer توانسته است ضمن حفظ یا بهبود دقت، هزینه محاسباتی را به شدت کاهش دهد.

مزایای کلیدی SubFormer شامل:

• کارایی بالا در آموزش و پردازش.
• توانایی یادگیری تعاملات دوربرد.
• کاهش مشکلات رایج مانند بیش‌فراموشی.
• پتانسیل تفسیرپذیری یافته‌های مدل.

این دستاوردها، SubFormer را به ابزاری قدرتمند برای دانشمندان و مهندسان در حوزه‌های مختلف، به ویژه شیمی، تبدیل می‌کند. توسعه این معماری، راه را برای مدل‌سازی مؤثرتر ساختارهای پیچیده در مقیاس‌های بزرگتر و با منابع محاسباتی محدودتر هموار می‌سازد و نشان می‌دهد که چگونه می‌توان از ایده‌های موفق در یک حوزه (مانند NLP) برای حل مسائل پیچیده در حوزه‌های دیگر بهره برد.