در سال‌های اخیر، مدل‌های مبتنی بر ترنسفورمر (Transformer) به موفقیت‌های چشمگیری در یادگیری بازنمایی داده‌ها با ساختار گرافیکی دست یافته‌اند. این موفقیت‌ها، فراتر از حوزه‌های سنتی مانند پردازش زبان طبیعی و بینایی ماشین گسترش یافته‌اند. با این حال، کاربرد این مدل‌ها در گراف‌های بزرگ با چالش‌هایی روبرو است. پیچیدگی محاسباتی بالا، به ویژه به دلیل استفاده از مکانیزم توجه (Attention) با پیچیدگی درجه دوم نسبت به تعداد گره‌ها، و همچنین تجمیع پیام‌ها از گره‌های نامرتبط فراوان، محدودیت‌هایی را ایجاد می‌کند. مقاله حاضر، با عنوان “ترنسفورمر گراف تغییرشکل‌پذیر” (Deformable Graph Transformer – DGT)، به دنبال رفع این مشکلات و امکان‌پذیر ساختن استفاده از ترنسفورمرها در گراف‌های بزرگ است.

این مقاله توسط گروهی از محققان برجسته در حوزه‌ی یادگیری ماشین و هوش مصنوعی از جمله Jinyoung Park, Seongjun Yun, Hyeonjin Park, Jaewoo Kang, Jisu Jeong, Kyung-Min Kim, Jung-woo Ha, Hyunwoo J. Kim به نگارش درآمده است. تخصص و تجربه‌ی این نویسندگان در زمینه‌های مختلفی از جمله یادگیری عمیق، شبکه‌های عصبی گراف، و معماری‌های ترنسفورمر، به آن‌ها این امکان را داده است تا راهکاری نوآورانه برای غلبه بر محدودیت‌های موجود ارائه دهند. این تحقیق در ادامه‌ی تلاش‌های قبلی برای توسعه و بهبود مدل‌های یادگیری ماشین بر روی داده‌های گرافیکی انجام شده است و هدف آن، ارائه‌ی روشی کارآمدتر و مقیاس‌پذیرتر برای یادگیری بازنمایی گره‌ها در گراف‌های بزرگ است.

مقاله “ترنسفورمر گراف تغییرشکل‌پذیر” (DGT) یک رویکرد جدید برای یادگیری بازنمایی در گراف‌های بزرگ ارائه می‌دهد. این روش با بهره‌گیری از مکانیزم توجه پراکنده (Sparse Attention) و نمونه‌برداری پویا از گره‌های مرتبط، پیچیدگی محاسباتی را به صورت خطی با تعداد گره‌ها کاهش می‌دهد. به طور خاص، چارچوب DGT ابتدا دنباله‌های متعددی از گره‌ها را با معیارهای مختلف ایجاد می‌کند تا نزدیکی ساختاری و معنایی را در نظر بگیرد. سپس، با ترکیب این دنباله‌ها با رمزگذاری موقعیتی Katz (Katz Positional Encodings) قابل یادگیری، توجه پراکنده برای یادگیری بازنمایی گره‌ها با هزینه محاسباتی بسیار کمتری اعمال می‌شود. نتایج تجربی نشان می‌دهد که DGT در 7 مجموعه داده محک استاندارد، عملکردی بهتر از مدل‌های مبتنی بر ترنسفورمر با توجه کامل (Full Attention) ارائه می‌دهد، در حالی که 2.5 تا 449 برابر هزینه محاسباتی کمتری دارد.

روش‌شناسی تحقیق در این مقاله بر پایه‌ی چند اصل کلیدی استوار است:

• توجه پراکنده (Sparse Attention): به جای استفاده از مکانیزم توجه کامل که در آن هر گره به تمام گره‌های دیگر توجه می‌کند، DGT فقط به زیرمجموعه‌ای از گره‌های مرتبط توجه می‌کند. این امر باعث کاهش چشمگیر پیچیدگی محاسباتی می‌شود.
• نمونه‌برداری پویا (Dynamic Sampling): گره‌های مرتبط برای مکانیزم توجه به صورت پویا و بر اساس ویژگی‌های گره‌ها و ساختار گراف انتخاب می‌شوند. این امر به مدل اجازه می‌دهد تا به طور انتخابی بر روی گره‌هایی تمرکز کند که بیشترین اطلاعات را ارائه می‌دهند.
• دنباله‌های گره‌ای متعدد (Multiple Node Sequences): DGT چندین دنباله از گره‌ها را با معیارهای مختلف (مانند نزدیکی ساختاری و معنایی) ایجاد می‌کند. این امر به مدل کمک می‌کند تا جنبه‌های مختلف ساختار گراف را درک کند.
• رمزگذاری موقعیتی Katz (Katz Positional Encodings): برای افزودن اطلاعات موقعیتی به دنباله‌های گره‌ای، از یک نوع رمزگذاری موقعیتی قابل یادگیری به نام Katz Positional Encodings استفاده می‌شود. این رمزگذاری، اطلاعات مربوط به فاصله بین گره‌ها در گراف را در بر می‌گیرد.

به طور خلاصه، روش‌شناسی DGT بر این ایده استوار است که با تمرکز بر روی گره‌های مرتبط و استفاده از مکانیزم توجه پراکنده، می‌توان بازنمایی‌های قوی و کارآمدی از گره‌ها در گراف‌های بزرگ یاد گرفت.

مثال عملی: فرض کنید می‌خواهیم اطلاعات مربوط به یک کاربر در یک شبکه اجتماعی را استخراج کنیم. به جای بررسی ارتباط کاربر با تمامی افراد شبکه، DGT فقط با بررسی ارتباط کاربر با دوستان نزدیک، گروه‌های عضو شده، و افرادی با علایق مشابه، اطلاعات مورد نیاز را جمع‌آوری می‌کند. این کار باعث صرفه‌جویی در زمان و منابع محاسباتی می‌شود.

نتایج حاصل از آزمایش‌های گسترده نشان می‌دهد که DGT به طور قابل توجهی عملکرد بهتری نسبت به مدل‌های مبتنی بر ترنسفورمر با توجه کامل دارد. برخی از یافته‌های کلیدی عبارتند از:

• بهبود عملکرد: DGT در 7 مجموعه داده محک استاندارد، از جمله مجموعه‌های داده مربوط به طبقه‌بندی گره‌ها و پیش‌بینی لینک‌ها، عملکرد بهتری نسبت به مدل‌های رقیب ارائه داده است.
• کاهش هزینه محاسباتی: DGT با 2.5 تا 449 برابر هزینه محاسباتی کمتری نسبت به مدل‌های مبتنی بر ترنسفورمر با توجه کامل، به این عملکرد دست یافته است.
• مقیاس‌پذیری: DGT به خوبی بر روی گراف‌های بزرگ مقیاس‌پذیر است و می‌تواند با کارآیی بالا، بازنمایی‌های گره‌ای را یاد بگیرد.
• اثرگذاری رمزگذاری موقعیتی Katz: آزمایش‌ها نشان می‌دهد که استفاده از رمزگذاری موقعیتی Katz، به طور قابل توجهی به بهبود عملکرد DGT کمک می‌کند.

این یافته‌ها نشان می‌دهد که DGT یک رویکرد کارآمد و موثر برای یادگیری بازنمایی در گراف‌های بزرگ است.

DGT دارای کاربردهای گسترده‌ای در زمینه‌های مختلف است، از جمله:

• تحلیل شبکه‌های اجتماعی: DGT می‌تواند برای شناسایی جوامع، پیش‌بینی رفتار کاربران، و تشخیص اطلاعات نادرست در شبکه‌های اجتماعی مورد استفاده قرار گیرد.
• کشف دارو: DGT می‌تواند برای پیش‌بینی خواص دارویی مولکول‌ها و شناسایی اهداف دارویی جدید مورد استفاده قرار گیرد.
• سیستم‌های توصیه‌گر: DGT می‌تواند برای بهبود دقت و کارآیی سیستم‌های توصیه‌گر، با در نظر گرفتن روابط بین کاربران و آیتم‌ها مورد استفاده قرار گیرد.
• تحلیل گراف دانش: DGT می‌تواند برای استخراج دانش از گراف‌های دانش بزرگ و پیچیده، و همچنین برای بهبود استدلال و استنتاج در این گراف‌ها مورد استفاده قرار گیرد.

دستاوردها: دستاورد اصلی این مقاله، ارائه‌ی یک روش کارآمد و مقیاس‌پذیر برای یادگیری بازنمایی در گراف‌های بزرگ است. DGT با کاهش پیچیدگی محاسباتی و بهبود عملکرد، امکان استفاده از مدل‌های مبتنی بر ترنسفورمر را در طیف گسترده‌ای از کاربردها فراهم می‌کند.

مثال کاربردی: در حوزه‌ی کشف دارو، DGT می‌تواند برای تحلیل گراف‌های بزرگ مولکولی و شناسایی ترکیباتی با خواص دارویی مطلوب مورد استفاده قرار گیرد. این امر می‌تواند به تسریع فرآیند کشف دارو و کاهش هزینه‌های مربوطه کمک کند.

مقاله “ترنسفورمر گراف تغییرشکل‌پذیر” یک گام مهم در جهت توسعه مدل‌های یادگیری ماشین برای داده‌های گرافیکی است. DGT با ارائه یک رویکرد نوآورانه برای کاهش پیچیدگی محاسباتی و بهبود عملکرد، امکان استفاده از ترنسفورمرها را در گراف‌های بزرگ فراهم می‌کند. این امر می‌تواند به پیشرفت‌های قابل توجهی در زمینه‌های مختلفی از جمله تحلیل شبکه‌های اجتماعی، کشف دارو، و سیستم‌های توصیه‌گر منجر شود. با توجه به اهمیت روزافزون داده‌های گرافیکی در دنیای امروز، DGT می‌تواند نقش مهمی در آینده‌ی یادگیری ماشین و هوش مصنوعی ایفا کند. تحقیقات آتی می‌تواند بر روی بهبود بیشتر مکانیزم توجه پراکنده، توسعه رمزگذاری‌های موقعیتی جدید، و همچنین بررسی کاربردهای DGT در حوزه‌های جدید تمرکز کند.