در سال‌های اخیر، معماری ترانسفورمر (Transformer) به یکی از انتخاب‌های غالب در حوزه‌های مختلف یادگیری ماشین، از جمله پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (Computer Vision)، تبدیل شده است. این معماری با بهره‌گیری از مکانیسم‌های توجه (Attention Mechanisms)، امکان پردازش داده‌های ترتیبی و ایجاد روابط بین عناصر مختلف را به شکلی کارآمد فراهم می‌کند. با این حال، علی‌رغم موفقیت‌های چشمگیر در این حوزه‌ها، ترانسفورمرها در وظایف مربوط به بازنمایی گراف (Graph Representation Learning) به اندازه‌ی شبکه‌های عصبی گراف (GNNs) عملکرد مطلوبی نداشته‌اند. این مسئله، پرسش‌هایی را در مورد قابلیت ترانسفورمرها در درک و پردازش داده‌های ساختاریافته به صورت گراف ایجاد کرده است.

مقاله مورد بحث توسط تیمی از محققان به نام‌های Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, و Tie-Yan Liu به رشته تحریر درآمده است. این محققان در زمینه یادگیری ماشین و هوش مصنوعی تخصص دارند و به دنبال یافتن پاسخی برای این سوال اساسی هستند که چرا ترانسفورمرها در بازنمایی گراف عملکرد ضعیفی دارند و چگونه می‌توان این مشکل را برطرف کرد. زمینه تحقیقاتی این مقاله، برقراری ارتباط بین دو حوزه مهم یادگیری ماشین، یعنی معماری ترانسفورمر و یادگیری بازنمایی گراف، است.

چکیده این مقاله به این نکته اشاره دارد که علی‌رغم محبوبیت و کارایی بالای ترانسفورمرها در حوزه‌های دیگر، این معماری در مقایسه با GNNها در وظایف پیش‌بینی سطح گراف (Graph-level Prediction) عملکرد قابل قبولی نداشته است. این موضوع، سوالی اساسی را مطرح می‌کند که چگونه ترانسفورمرها می‌توانند در یادگیری بازنمایی گراف به خوبی عمل کنند. مقاله حاضر به این سوال پاسخ می‌دهد و با معرفی معماری جدیدی به نام Graphormer، نشان می‌دهد که ترانسفورمرها می‌توانند به نتایج بسیار خوبی در طیف گسترده‌ای از وظایف یادگیری بازنمایی گراف، به ویژه در چالش‌های بزرگ‌مقیاس OGB (Open Graph Benchmark)، دست یابند.

ایده اصلی این مقاله، ضرورت کدگذاری موثر اطلاعات ساختاری یک گراف در مدل ترانسفورمر است. به عبارت دیگر، برای اینکه ترانسفورمرها بتوانند به درستی داده‌های ساختاریافته به صورت گراف را پردازش کنند، باید اطلاعات مربوط به گره‌ها، یال‌ها و روابط بین آن‌ها به شکلی مناسب به مدل ارائه شود. نویسندگان مقاله برای این منظور، روش‌های ساده اما موثری را برای کدگذاری ساختاری پیشنهاد کرده‌اند. علاوه بر این، آن‌ها از نظر ریاضی، توانایی بیانی (Expressive Power) معماری Graphormer را مشخص کرده‌اند و نشان داده‌اند که با استفاده از روش‌های پیشنهادی برای کدگذاری اطلاعات ساختاری گراف‌ها، بسیاری از GNNهای محبوب را می‌توان به عنوان حالت‌های خاصی از Graphormer در نظر گرفت.

روش‌شناسی تحقیق این مقاله شامل چند بخش کلیدی است:

• معرفی Graphormer: ارائه معماری جدیدی بر پایه ترانسفورمر که به طور خاص برای یادگیری بازنمایی گراف طراحی شده است.
• روش‌های کدگذاری ساختاری: پیشنهاد روش‌هایی برای کدگذاری اطلاعات ساختاری گراف (مانند فاصله بین گره‌ها، درجه گره‌ها و غیره) به شکلی که برای ترانسفورمر قابل فهم باشد. این اطلاعات به عنوان ورودی به مدل ترانسفورمر داده می‌شوند.
• تحلیل نظری: ارائه تحلیل‌های ریاضی برای اثبات توانایی بیانی Graphormer و نشان دادن اینکه این معماری می‌تواند GNNهای مختلف را شبیه‌سازی کند.
• آزمایش‌های تجربی: انجام آزمایش‌های متعدد بر روی مجموعه‌داده‌های مختلف گراف، از جمله OGB، برای ارزیابی عملکرد Graphormer در مقایسه با GNNهای موجود.

به طور خلاصه، روش‌شناسی تحقیق ترکیبی از نوآوری در معماری مدل، طراحی روش‌های کدگذاری اطلاعات ساختاری، تحلیل نظری و ارزیابی تجربی است.

یافته‌های کلیدی این تحقیق عبارتند از:

• عملکرد برتر Graphormer: معماری Graphormer در طیف گسترده‌ای از وظایف یادگیری بازنمایی گراف، عملکرد بهتری نسبت به GNNهای موجود نشان داده است. این برتری به ویژه در چالش‌های بزرگ‌مقیاس OGB مشهود است.
• اهمیت کدگذاری ساختاری: کدگذاری اطلاعات ساختاری گراف نقش حیاتی در موفقیت ترانسفورمرها در یادگیری بازنمایی گراف دارد. روش‌های پیشنهادی در این مقاله به ترانسفورمر کمک می‌کنند تا به طور موثرتری داده‌های ساختاریافته را پردازش کند.
• توانایی بیانی Graphormer: تحلیل‌های ریاضی نشان می‌دهد که Graphormer دارای توانایی بیانی بالایی است و می‌تواند GNNهای مختلف را شبیه‌سازی کند. این نشان می‌دهد که Graphormer یک مدل قدرتمند و انعطاف‌پذیر برای یادگیری بازنمایی گراف است.

به عنوان مثال، در آزمایش‌ها نشان داده شده است که Graphormer می‌تواند در پیش‌بینی خواص مولکولی، که یک وظیفه مهم در شیمی و زیست‌شناسی است، به نتایج بسیار دقیقی دست یابد. این امر نشان می‌دهد که Graphormer می‌تواند در کاربردهای عملی مختلفی مورد استفاده قرار گیرد.

این تحقیق دارای کاربردهای گسترده‌ای در زمینه‌های مختلف است، از جمله:

• شیمی و داروسازی: پیش‌بینی خواص مولکولی و طراحی داروهای جدید. Graphormer می‌تواند برای شناسایی مولکول‌هایی با خواص مطلوب، مانند فعالیت ضد سرطانی یا توانایی اتصال به پروتئین‌های خاص، استفاده شود.
• علوم اجتماعی: تحلیل شبکه‌های اجتماعی و پیش‌بینی رفتار کاربران. Graphormer می‌تواند برای شناسایی الگوهای ارتباطی، گروه‌های تاثیرگذار و پیش‌بینی انتشار اطلاعات در شبکه‌های اجتماعی استفاده شود.
• مهندسی: طراحی سیستم‌های پیچیده و بهینه‌سازی عملکرد آن‌ها. Graphormer می‌تواند برای مدل‌سازی و تحلیل شبکه‌های ارتباطی، شبکه‌های حمل و نقل و سایر سیستم‌های پیچیده استفاده شود.

از جمله دستاوردهای مهم این تحقیق می‌توان به موارد زیر اشاره کرد:

• ارائه یک معماری جدید و قدرتمند برای یادگیری بازنمایی گراف: Graphormer یک مدل پیشرفته است که می‌تواند در طیف گسترده‌ای از وظایف عملکرد بهتری نسبت به مدل‌های موجود داشته باشد.
• ارائه روش‌های موثر برای کدگذاری اطلاعات ساختاری گراف: این روش‌ها به ترانسفورمرها کمک می‌کنند تا به طور موثرتری داده‌های ساختاریافته را پردازش کنند.
• پیشرفت در درک نظری یادگیری بازنمایی گراف: تحلیل‌های ریاضی ارائه شده در این مقاله به درک بهتری از توانایی بیانی مدل‌های مختلف یادگیری بازنمایی گراف کمک می‌کند.

این مقاله به طور موثری به این سوال پاسخ می‌دهد که چرا ترانسفورمرها در بازنمایی گراف ضعیف عمل می‌کنند و چگونه می‌توان این مشکل را برطرف کرد. با معرفی معماری Graphormer و ارائه روش‌های موثر برای کدگذاری اطلاعات ساختاری گراف، این تحقیق نشان می‌دهد که ترانسفورمرها می‌توانند به نتایج بسیار خوبی در وظایف یادگیری بازنمایی گراف دست یابند. این یافته‌ها، دریچه‌ای جدید به روی استفاده از ترانسفورمرها در حوزه‌های مختلفی که با داده‌های ساختاریافته سروکار دارند، باز می‌کند.

در نهایت، این مقاله نه تنها یک راه حل عملی برای بهبود عملکرد ترانسفورمرها در بازنمایی گراف ارائه می‌دهد، بلکه درک عمیق‌تری از چالش‌های موجود در این حوزه را نیز فراهم می‌کند و راه را برای تحقیقات آینده هموار می‌سازد.