در سال‌های اخیر، مدل‌های ترنسفورمر (Transformer) انقلابی در حوزه‌های پردازش زبان طبیعی (NLP) و بینایی ماشین (Computer Vision) ایجاد کرده‌اند. این مدل‌ها با توانایی بی‌نظیر خود در یادگیری وابستگی‌های بلندمدت و پردازش موازی داده‌ها، مرزهای قابلیت‌های هوش مصنوعی را جابجا کرده‌اند. با این حال، کاربرد ترنسفورمرها در ساختارهای غیرائوکُلیدسی مانند گراف‌ها، که پیچیدگی‌های توپولوژیکی خاص خود را دارند، همچنان یک چالش تحقیقاتی مهم به شمار می‌رود.

مقاله “گِران‌فورمر: تولید گراف مبتنی بر ترنسفورمر” (Gransformer: Transformer-based Graph Generation) پاسخی نوآورانه به این چالش ارائه می‌دهد. این پژوهش، چارچوبی جدید برای تولید گراف‌ها با بهره‌گیری از قدرت مدل‌های ترنسفورمر معرفی می‌کند. تولید گراف‌های واقعی و معنادار، کاربردهای گسترده‌ای در علوم مختلف از جمله کشف دارو، طراحی مواد، مدل‌سازی شبکه‌های اجتماعی، و بیوانفورماتیک دارد. توانایی تولید گراف‌هایی که ویژگی‌های ساختاری و آماری گراف‌های واقعی را تقلید می‌کنند، می‌تواند به پیشرفت‌های چشمگیری در این حوزه‌ها منجر شود.

اهمیت این مقاله نه تنها در معرفی یک مدل جدید، بلکه در چگونگی انطباق معماری ترنسفورمر با ماهیت گرافی داده‌ها نهفته است. نویسندگان با اصلاحات هوشمندانه در مکانیسم توجه و کدگذاری موقعیتی، ترنسفورمر را قادر ساخته‌اند تا اطلاعات ساختاری گراف را به طور مؤثر درک و بازتولید کند. این رویکرد، دریچه‌ای جدید به سوی کاربرد گسترده‌تر ترنسفورمرها در حوزه‌هایی فراتر از داده‌های ترتیبی استاندارد می‌گشاید و به عنوان پلی میان قدرت ترنسفورمرها و پیچیدگی‌های ساختارهای گرافی عمل می‌کند.

این مقاله حاصل تلاش محققان برجسته، احمد خواجه‌نژاد، سید علی اوسیه، محمود کریمیان، و حمید بیگی است. این تیم تحقیقاتی، با تخصص در زمینه یادگیری ماشین (Machine Learning)، به ویژه مدل‌های تولیدی (Generative Models) و شبکه‌های عصبی گراف (Graph Neural Networks)، به کاوش در مرزهای جدید پرداخته‌اند. زمینه اصلی تحقیق آن‌ها، توسعه الگوریتم‌ها و مدل‌هایی است که قادر به درک، تحلیل و تولید ساختارهای پیچیده داده‌ای مانند گراف‌ها باشند.

پژوهشگران به خوبی با چالش‌های موجود در تولید گراف آشنا هستند. گراف‌ها برخلاف داده‌های متنی یا تصویری، ساختار ثابتی ندارند و ترتیب گره‌ها یا یال‌ها در آن‌ها معنای خاصی ندارد (به جز در گراف‌های ترتیبی خاص). این ویژگی‌ها، اعمال مستقیم مدل‌های توالی‌محور مانند ترنسفورمر را دشوار می‌سازد. از این رو، تلاش این تیم بر آن است که با نوآوری در معماری‌های موجود، راه‌حل‌هایی برای غلبه بر این دشواری‌ها ارائه دهند.

کار آن‌ها در راستای یک روند کلی‌تر در یادگیری ماشین قرار می‌گیرد که به دنبال گسترش کاربرد مدل‌های موفق از حوزه‌های خاص به دامنه‌های پیچیده‌تر است. با توجه به نام نویسندگان، به نظر می‌رسد این پژوهش توسط محققان ایرانی انجام شده است که نشان‌دهنده مشارکت فعال و رو به رشد جامعه علمی ایران در پیشرفت‌های جهانی هوش مصنوعی است. تمرکز بر ترکیب ترنسفورمرها با ساختارهای گرافی، نقطه عطفی در توسعه مدل‌های تولیدی برای داده‌های ساختاریافته غیرخطی محسوب می‌شود.

مقاله “گِران‌فورمر” یک رویکرد جدید مبتنی بر ترنسفورمر را برای تولید گراف معرفی می‌کند. با توجه به موفقیت‌های چشمگیر ترنسفورمرها در زمینه‌های مختلف، نویسندگان این ایده را مطرح کرده‌اند که با اصلاحات مناسب، این معماری قدرتمند می‌تواند برای تولید ساختارهای گرافی نیز به کار گرفته شود.

خلاصه‌ای از نوآوری‌های کلیدی و محتوای اصلی مقاله به شرح زیر است:

• اصلاح انکودر ترنسفورمر: انکودر استاندارد ترنسفورمر به گونه‌ای تغییر یافته تا بتواند اطلاعات ساختاری گراف ورودی را به طور مؤثر استخراج و بهره‌برداری کند. این اصلاحات به مدل اجازه می‌دهد تا روابط پیچیده میان گره‌ها را بهتر درک کند.
• مکانیسم توجه تطبیق‌یافته: مکانیسم توجه در ترنسفورمر برای در نظر گرفتن وجود یا عدم وجود یال بین هر جفت گره، سفارشی‌سازی شده است. این تغییر، توجه مدل را به روابط زوجی گره‌ها که برای ساختار گراف حیاتی هستند، معطوف می‌کند.
• معیار آشنایی گرافی (Graph-based Familiarity Measure): یک معیار جدید بر اساس الگوریتم‌های انتشار پیام (message-passing) معرفی شده که میزان آشنایی یا قرابت بین جفت گره‌ها را در گراف اندازه‌گیری می‌کند. این معیار هم در مکانیسم توجه و هم در کدگذاری موقعیتی (Positional Encoding) استفاده می‌شود و اطلاعات ساختاری غنی را به مدل منتقل می‌کند. ویژگی مهم این معیار، خودرگرسیو (autoregressive) بودن آن است که امکان محاسبه احتمالات شرطی لازم را در یک پاس رو به جلو فراهم می‌کند.
• مدل‌سازی تولید متوالی یال‌ها: در لایه خروجی، از یک رمزگشای خودکار نقاب‌دار (Masked Autoencoder) برای تخمین چگالی (density estimation) استفاده شده است. این رویکرد به مدل اجازه می‌دهد تا تولید متوالی یال‌های وابسته به هر گره را به طور کارآمدی مدل‌سازی کند.
• جلوگیری از گره‌های ایزوله: یکی از چالش‌های تولید گراف، ایجاد گره‌های ایزوله (Isolated Nodes) است. برای رفع این مشکل، نویسندگان تکنیکی مبتنی بر ترتیب گره‌ها با پیمایش اول سطح (BFS node orderings) ارائه داده‌اند تا از تولید گره‌هایی که بدون اتصال به گره‌های قبلی هستند، جلوگیری شود.
• ارزیابی عملکرد: این روش بر روی مجموعه داده‌های مصنوعی و واقعی ارزیابی شده و با روش‌های مرتبط دیگر، از جمله مدل‌های بازگشتی (recurrent models) و شبکه‌های عصبی پیچشی گراف (Graph Convolutional Networks – GCNs)، مقایسه شده است. نتایج تجربی نشان می‌دهد که گران‌فورمر عملکردی قابل رقابت با این روش‌های پیشرفته ارائه می‌دهد.

رویکرد گران‌فورمر بر پایه اصلاحات دقیق و نوآورانه در معماری استاندارد ترنسفورمر بنا شده است تا بتواند به طور مؤثر اطلاعات ساختاری گراف را پردازش و تولید کند. در ادامه به تشریح جزئیات روش‌شناسی پرداخته می‌شود:

۱. ساختار انکودر ترنسفورمر اصلاح‌شده

معماری ترنسفورمر به طور پیش‌فرض برای داده‌های توالی‌مانند طراحی شده است. برای انطباق آن با گراف‌ها، انکودر ترنسفورمر به گونه‌ای اصلاح می‌شود که هر گره در گراف ورودی به عنوان یک توکن (token) در نظر گرفته شود. سپس، به جای صرفاً در نظر گرفتن ویژگی‌های گره‌ها، اطلاعاتی در مورد همسایگی و ساختار محلی نیز به نمایش گره‌ها اضافه می‌شود. این کار می‌تواند از طریق لایه‌های اولیه پردازش گرافی مانند GNNهای ساده انجام شود که نمایش‌های اولیه گره‌ها را با جمع‌آوری اطلاعات از همسایگانشان غنی می‌سازند، قبل از اینکه به بلوک‌های ترنسفورمر وارد شوند.

۲. مکانیسم توجه مبتنی بر ساختار

مکانیسم توجه خودکار (Self-Attention) قلب ترنسفورمر است. در گران‌فورمر، این مکانیسم به گونه‌ای اصلاح شده تا حضور یا عدم حضور یال بین هر جفت گره را در محاسبات توجه در نظر بگیرد. به طور سنتی، توجه بین هر جفت توکن محاسبه می‌شود. اما در گراف‌ها، این توجه باید به نحوی با ساختار یال‌ها مرتبط باشد. این بدان معناست که امتیاز توجه (attention score) بین دو گره تنها بر اساس شباهت ویژگی‌های آن‌ها نیست، بلکه با توجه به وجود یک یال بین آن‌ها یا مسیرهای کوتاهی که آن‌ها را به هم وصل می‌کنند، تعدیل می‌شود. این رویکرد تضمین می‌کند که مدل هنگام تصمیم‌گیری برای تولید یک یال، به روابط ساختاری واقعی گراف اهمیت می‌دهد.

۳. معیار آشنایی گرافی (Graph-based Familiarity Measure)

یکی از مهمترین نوآوری‌ها در گران‌فورمر، معرفی معیار آشنایی گرافی است. این معیار، به جای کدگذاری موقعیتی مرسوم که بر اساس ترتیب خطی است، میزان نزدیکی یا ارتباط دو گره در گراف را بر اساس الگوریتم‌های انتشار پیام (message-passing algorithms) محاسبه می‌کند. انتشار پیام در GNNها روشی رایج برای جمع‌آوری اطلاعات از همسایگان و انتقال آن در سراسر گراف است.

• کاربرد: این معیار هم برای کدگذاری موقعیتی و هم برای مکانیسم توجه به کار می‌رود. به این ترتیب، مدل نه تنها از موقعیت “فرضی” گره‌ها در یک توالی بهره‌مند می‌شود، بلکه از موقعیت “واقعی” آن‌ها در ساختار گراف نیز آگاه می‌گردد.
• خاصیت خودرگرسیو: این معیار به صورت خودرگرسیو (autoregressive) طراحی شده است. این ویژگی به مدل امکان می‌دهد تا در یک پاس رو به جلو (single forward pass)، احتمالات شرطی لازم برای تولید متوالی یال‌ها را محاسبه کند. این موضوع کارایی مدل را به شدت افزایش می‌دهد، زیرا نیازی به چندین بار تکرار فرآیند برای هر مرحله از تولید نیست.

۴. مدل‌سازی تولید متوالی یال‌ها

برای تولید گراف، گران‌فورمر رویکردی متوالی را در پیش می‌گیرد، به این صورت که یال‌ها را به تدریج اضافه می‌کند. در لایه خروجی، از یک رمزگشای خودکار نقاب‌دار (Masked Autoencoder) برای تخمین چگالی (density estimation) استفاده می‌شود. این جزء مدل به طور خاص برای مدل‌سازی کارآمد تولید متوالی یال‌های وابسته به هر گره طراحی شده است. به عنوان مثال، هنگام تولید یال‌های مرتبط با گره i، مدل می‌تواند از اطلاعات یال‌هایی که قبلاً به گره‌های j < i متصل شده‌اند، بهره‌برداری کند. ماسک‌گذاری به مدل اجازه می‌دهد تا روی بخش‌های خاصی از گراف در حال تولید تمرکز کند و وابستگی‌های محلی را به طور دقیق‌تری یاد بگیرد.

۵. جلوگیری از تولید گره‌های ایزوله

یکی از مشکلات رایج در مدل‌های تولید گراف، امکان تولید گره‌های ایزوله است که به هیچ گره دیگری متصل نیستند و از نظر کاربردی بی‌معنی تلقی می‌شوند. برای مقابله با این مشکل، نویسندگان تکنیکی بر اساس ترتیب گره‌ها با پیمایش اول سطح (BFS node orderings) را پیشنهاد می‌کنند. این تکنیک تضمین می‌کند که هر گره جدیدی که تولید می‌شود، به نحوی به گره‌های قبلی متصل گردد. با این روش، مدل در هر مرحله از تولید، تضمین می‌کند که گره‌های جدید بخشی از مولفه متصل (connected component) گراف شوند و از تولید گراف‌های غیرواقعی با گره‌های مجزا جلوگیری می‌کند. این کار با اعمال محدودیت‌هایی بر روی فرآیند انتخاب یال در هر مرحله از تولید گره صورت می‌گیرد.

نتایج تجربی حاصل از ارزیابی گران‌فورمر بر روی مجموعه‌ داده‌های مختلف، نشان‌دهنده قابلیت‌های بالای این مدل در تولید گراف است. یافته‌های کلیدی مقاله را می‌توان به صورت زیر خلاصه کرد:

• عملکرد رقابتی: گران‌فورمر عملکردی قابل رقابت و در برخی موارد برتر از روش‌های پیشرفته قبلی، از جمله مدل‌های بازگشتی (RNN-based models) و شبکه‌های عصبی پیچشی گراف (GCN-based models) در وظیفه تولید گراف از خود نشان می‌دهد. این امر نشان‌دهنده اثربخشی رویکرد مبتنی بر ترنسفورمر در این دامنه است.
• توانایی درک ساختارهای پیچیده: مدل قادر است ساختارهای توپولوژیکی پیچیده را در گراف‌های تولیدی بازتولید کند. این شامل توزیع درجه گره‌ها، ویژگی‌های خوشه‌بندی، و دیگر معیارهای آماری-ساختاری است که نشان‌دهنده تولید گراف‌های با کیفیت و واقعی‌تر است.
• موفقیت در مجموعه‌داده‌های مختلف: ارزیابی‌ها بر روی هر دو مجموعه داده‌های مصنوعی (synthetic) و واقعی (real-world) انجام شده است. در مجموعه‌داده‌های مصنوعی، مدل توانایی خود را در یادگیری الگوهای بنیادی نشان داده، و در مجموعه‌داده‌های واقعی (مانند گراف‌های شیمیایی یا اجتماعی)، پتانسیل خود را برای کاربردهای عملی اثبات کرده است.
• اثربخشی نوآوری‌های روش‌شناختی: هر یک از اجزای نوآورانه معرفی‌شده در مدل، به بهبود کلی عملکرد کمک شایانی کرده است:
  • معیار آشنایی گرافی: این معیار به طور قابل توجهی کیفیت کدگذاری موقعیتی و دقت مکانیسم توجه را افزایش می‌دهد و به مدل امکان می‌دهد تا وابستگی‌های دوربرد گرافی را به طور مؤثرتری شناسایی کند.
  • مدل‌سازی با رمزگشای خودکار نقاب‌دار: این رویکرد به مدل اجازه می‌دهد تا تولید متوالی یال‌ها را به شکلی کارآمدتر و با در نظر گرفتن وابستگی‌های محلی انجام دهد که منجر به تولید گراف‌های منسجم‌تر می‌شود.
  • استفاده از BFS node orderings: این تکنیک به طور موثری از تولید گره‌های ایزوله جلوگیری کرده و تضمین می‌کند که گراف‌های تولیدی از اتصال‌پذیری مناسبی برخوردار باشند.
• کارایی و مقیاس‌پذیری: با توجه به ماهیت خودرگرسیو معیار آشنایی و امکان محاسبه احتمالات در یک پاس رو به جلو، مدل پتانسیل بالایی برای کارایی محاسباتی، به ویژه در مقایسه با روش‌هایی که نیاز به مراحل تکراری بیشتری دارند، ارائه می‌دهد.

دستاورد اصلی گران‌فورمر، ارائه یک چارچوب قدرتمند و انعطاف‌پذیر برای تولید گراف است که می‌تواند در طیف وسیعی از کاربردهای علمی و صنعتی مورد استفاده قرار گیرد. این مدل نه تنها به پیشبرد تحقیقات نظری در زمینه یادگیری عمیق برای گراف‌ها کمک می‌کند، بلکه کاربردهای عملی قابل توجهی نیز دارد:

• کشف و طراحی دارو: یکی از مهمترین کاربردهای تولید گراف، در حوزه شیمی و داروسازی است. مدل می‌تواند مولکول‌های جدید با خواص مطلوب را تولید کند. هر مولکول را می‌توان به عنوان یک گراف (اتم‌ها گره‌ها و پیوندها یال‌ها) در نظر گرفت. گران‌فورمر می‌تواند به طراحی مولکول‌های دارویی با پتانسیل بالاتر یا مواد با ویژگی‌های خاص کمک کند.
• مدل‌سازی شبکه‌های اجتماعی: در تحلیل شبکه‌های اجتماعی، تولید گراف‌های مصنوعی که ویژگی‌های آماری شبکه‌های واقعی را تقلید می‌کنند، برای حفظ حریم خصوصی داده‌ها، شبیه‌سازی گسترش اطلاعات یا بیماری‌ها، و آزمایش الگوریتم‌های جدید کاربرد دارد. گران‌فورمر می‌تواند به محققان در ایجاد چنین شبکه‌هایی کمک کند.
• طراحی شبکه‌های کامپیوتری و زیرساخت‌ها: در مهندسی، طراحی شبکه‌های بهینه (مانند شبکه‌های ارتباطی، حمل و نقل، یا توزیع انرژی) یک چالش بزرگ است. مدل‌های تولید گراف می‌توانند برای پیشنهاد ساختارهای بهینه بر اساس معیارهای خاصی مانند هزینه، قابلیت اطمینان، یا توان عملیاتی استفاده شوند.
• بیوانفورماتیک: در بیولوژی و پزشکی، گراف‌ها برای نمایش شبکه‌های تعامل پروتئین‌ها، ژن‌ها، یا مسیرهای متابولیکی به کار می‌روند. گران‌فورمر می‌تواند در مدل‌سازی و پیش‌بینی ساختار و عملکرد این شبکه‌های بیولوژیکی پیچیده مفید باشد.
• سیستم‌های توصیه‌گر: در سیستم‌های توصیه‌گر، روابط بین کاربران و آیتم‌ها اغلب به صورت گراف مدل‌سازی می‌شوند. تولید گراف‌های تعامل کاربر-آیتم می‌تواند به بهبود توصیه‌ها و شناسایی الگوهای جدید کمک کند.

دستاورد کلیدی این مقاله، نشان دادن این نکته است که معماری ترنسفورمر، با اصلاحات مناسب، می‌تواند به طور مؤثری برای داده‌های گرافی نیز به کار گرفته شود. این موضوع، دریچه‌ای جدید به سوی کاربردهای گسترده‌تر ترنسفورمرها در حوزه‌هایی فراتر از داده‌های ترتیبی استاندارد می‌گشاید و توانایی مدل‌های تولیدی را در تولید ساختارهای پیچیده و واقعی به میزان قابل توجهی افزایش می‌دهد.

مقاله “گِران‌فورمر: تولید گراف مبتنی بر ترنسفورمر” گام مهمی در ترکیب قدرت و انعطاف‌پذیری مدل‌های ترنسفورمر با پیچیدگی‌های ساختارهای گرافی برداشته است. این پژوهش نشان می‌دهد که با اعمال اصلاحات هوشمندانه در معماری ترنسفورمر، می‌توان آن را برای وظیفه چالش‌برانگیز تولید گراف‌ها به کار گرفت و نتایج قابل توجهی به دست آورد.

نوآوری‌های اصلی گران‌فورمر شامل اصلاح انکودر ترنسفورمر برای بهره‌برداری از اطلاعات ساختاری، تطبیق مکانیسم توجه برای در نظر گرفتن یال‌ها، معرفی معیار آشنایی گرافی مبتنی بر انتشار پیام (که هم خودرگرسیو است و هم در کدگذاری موقعیتی و توجه به کار می‌رود)، استفاده از رمزگشای خودکار نقاب‌دار برای مدل‌سازی تولید یال‌ها، و توسعه تکنیکی برای جلوگیری از تولید گره‌های ایزوله با استفاده از ترتیب BFS می‌شود. این مجموعه از نوآوری‌ها، به گران‌فورمر امکان می‌دهد تا گراف‌هایی با کیفیت بالا، واقعی و از نظر ساختاری منسجم تولید کند.

نتایج تجربی نشان می‌دهد که گران‌فورمر عملکردی قابل رقابت با پیشرفته‌ترین روش‌های تولید گراف، از جمله مدل‌های بازگشتی و شبکه‌های عصبی پیچشی گراف، ارائه می‌دهد. این دستاورد نه تنها به پیشرفت نظری در زمینه یادگیری عمیق برای گراف‌ها کمک می‌کند، بلکه راه را برای کاربردهای عملی متعدد در حوزه‌هایی مانند کشف دارو، طراحی مواد، مدل‌سازی شبکه‌های اجتماعی و بیوانفورماتیک هموار می‌سازد.

در نهایت، گران‌فورمر اثبات می‌کند که ترنسفورمرها، فراتر از حوزه‌های سنتی خود، پتانسیل بالایی برای حل مسائل پیچیده در داده‌های ساختاریافته غیرخطی مانند گراف‌ها دارند. این مقاله چارچوبی محکم برای تحقیقات آتی در زمینه مدل‌های تولیدی گرافی مبتنی بر ترنسفورمر ارائه می‌دهد و می‌تواند الهام‌بخش توسعه مدل‌های پیچیده‌تر و کارآمدتر برای انواع ساختارهای داده‌ای باشد.