در اقیانوس بی‌کران داده‌های بیولوژیکی، پروتئین‌ها نقش اصلی را ایفا می‌کنند. آن‌ها ماشین‌های مولکولی حیات هستند که تقریباً تمام فرایندهای سلولی را پیش می‌برند. با این حال، دانش ما در مورد این بازیگران کلیدی به طرز شگفت‌آوری محدود است. تخمین زده می‌شود که کمتر از ۱٪ از توالی‌های پروتئینی شناخته‌شده، از نظر ساختاری و عملکردی حاشیه‌نویسی (Annotated) شده‌اند. این شکاف عظیم در دانش، که گاهی از آن به عنوان «ماده تاریک پروتئوم» یاد می‌شود، مانعی جدی بر سر راه پیشرفت در پزشکی، بیوتکنولوژی و علوم زیستی است.

در سال‌های اخیر، جامعه هوش مصنوعی، به ویژه در حوزه پردازش زبان طبیعی (NLP)، با توسعه مدل‌های یادگیری خودنظارتی (Self-supervised learning) انقلابی را تجربه کرده است. مدل‌های ترنسفورمر (Transformer) مانند BERT و GPT توانسته‌اند با یادگیری از حجم عظیمی از متون بدون برچسب، نمایش‌های معنایی عمیقی از زبان انسان به دست آورند. این موفقیت الهام‌بخش دانشمندان برای به‌کارگیری رویکردی مشابه در زیست‌شناسی شده است: مدل‌های زبانی پروتئین (Protein Language Models – PLMs). این مدل‌ها با پروتئین‌ها نه به عنوان مولکول‌های شیمیایی، بلکه به عنوان «جملاتی» نوشته‌شده با الفبای بیست حرفی اسیدهای آمینه رفتار می‌کنند و سعی در یادگیری «گرامر» حیات دارند.

مقاله حاضر، با عنوان «پیش‌آموزش مدل‌های زبانی پروتئین با جفت‌های اتصال مستقل از برچسب، عملکرد را در وظایف پایین‌دستی ارتقا می‌دهد»، یک گام نوآورانه و مهم در این مسیر برمی‌دارد. این پژوهش یک استراتژی جدید برای پیش‌آموزش این مدل‌ها ارائه می‌دهد که نه تنها بر توالی‌های منفرد، بلکه بر «تعاملات» بالقوه بین جفت‌های پروتئینی تمرکز دارد و این کار را به شیوه‌ای هوشمندانه و بدون نیاز به داده‌های برچسب‌دار انجام می‌دهد. اهمیت این کار در پتانسیل آن برای رمزگشایی از شبکه پیچیده تعاملات پروتئینی و در نتیجه، سرعت بخشیدن به کشف دارو و درک عمیق‌تر بیماری‌ها نهفته است.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های مودستاس فیلیپاویسیوس (Modestas Filipavicius)، متئو مانیکا (Matteo Manica)، یوریس کادو (Joris Cadow) و ماریا رودریگز مارتینز (Maria Rodriguez Martinez) به انجام رسیده است. این محققان، که بسیاری از آن‌ها با گروه تحقیقاتی PaccMann در ارتباط هستند، در خط مقدم به‌کارگیری هوش مصنوعی و یادگیری ماشین برای حل مسائل پیچیده در علوم زیستی و پزشکی فعالیت می‌کنند. تمرکز آن‌ها بر توسعه مدل‌هایی است که قادر به درک و پیش‌بینی رفتار مولکول‌های زیستی، از پروتئین‌ها گرفته تا ترکیبات دارویی، باشند. این پژوهش در نقطه تلاقی هیجان‌انگیز بیوانفورماتیک، زیست‌شناسی محاسباتی و هوش مصنوعی قرار دارد و نشان‌دهنده تغییر پارادایم از روش‌های سنتی به سمت رویکردهای مبتنی بر داده و یادگیری عمیق برای مطالعه سیستم‌های بیولوژیکی است.

ایده اصلی این مقاله، هوشمندانه و در عین حال ساده است. مدل‌های زبانی پروتئین موجود، عمدتاً با دیدن توالی‌های پروتئینی به صورت مجزا و منفرد آموزش می‌بینند. اما نویسندگان این فرضیه را مطرح می‌کنند که اگر مدل در مرحله پیش‌آموزش، به جای یک پروتئین، «جفت‌هایی» از پروتئین‌ها را ببیند، می‌تواند به طور ضمنی الگوهای مرتبط با تعاملات مولکولی را بیاموزد.

نکته کلیدی و نوآورانه این رویکرد، مستقل از برچسب (Label-Agnostic) بودن آن است. محققان از پایگاه داده STRING، که حاوی اطلاعات تعاملات پروتئین-پروتئین است، برای ساخت جفت‌های پروتئینی استفاده کردند. این جفت‌ها شامل پروتئین‌هایی بودند که با هم تعامل دارند و همچنین پروتئین‌هایی که تعاملی ندارند. با این حال، در حین پیش‌آموزش، هیچ برچسبی به مدل داده نشد که مشخص کند کدام جفت متصل‌شونده و کدام غیرمتصل‌شونده است. تنها وظیفه مدل، انجام «مدل‌سازی زبان نقاب‌دار» (Masked Language Modeling – MLM) بود. در این وظیفه، برخی از اسیدهای آمینه در توالی‌ها به صورت تصادفی حذف (نقاب‌دار) می‌شوند و مدل باید آن‌ها را بر اساس محتوای اطرافشان پیش‌بینی کند.

فرضیه اصلی این بود که برای موفقیت در پیش‌بینی اسیدهای آمینه نقاب‌دار در یک پروتئین، زمانی که پروتئین دیگری در کنار آن قرار دارد، مکانیزم توجه (Attention Mechanism) مدل ترنسفورمر مجبور می‌شود الگوهای بین مولکولی و جایگاه‌های بالقوه اتصال را شناسایی کند. پس از این مرحله پیش‌آموزش، مدل حاصل برای وظایف خاصی مانند پیش‌بینی اتصال پروتئین-پروتئین، تنظیم دقیق (Fine-tuning) شد و نتایج نشان داد که این رویکرد به طور قابل توجهی از مدل‌هایی که فقط بر روی توالی‌های تکی آموزش دیده‌اند، بهتر عمل می‌کند.

الف) معماری مدل: RoBERTa و Longformer

پژوهشگران مدل خود را بر پایه معماری RoBERTa (Robustly Optimized BERT Pretraining Approach) بنا نهادند. RoBERTa نسخه‌ای بهینه‌شده از مدل معروف BERT است که به دلیل توانایی بالا در درک محتوا و روابط دوربرد در توالی‌ها شهرت دارد. با این حال، مدل‌های استاندارد ترنسفورمر با محدودیت طول ورودی (معمولاً ۵۱۲ توکن) مواجه هستند که برای تحلیل پروتئین‌های بزرگ یا کمپلکس‌های چندپروتئینی کافی نیست. برای غلبه بر این چالش، تیم تحقیقاتی از معماری Longformer نیز استفاده کرد. Longformer یک نوع ترنسفورمر کارآمد است که از مکانیزم توجه پراکنده (Sparse Attention) برای پردازش توالی‌های بسیار طولانی (در این تحقیق تا ۲۰۴۸ توکن) با هزینه محاسباتی مدیریت‌شده استفاده می‌کند.

ب) استراتژی پیش‌آموزش جفتی و مستقل از برچسب

این بخش قلب نوآوری مقاله است. فرایند پیش‌آموزش به شرح زیر بود:

• منبع داده: از پایگاه داده STRING برای استخراج جفت‌های پروتئینی (هم متصل‌شونده و هم غیرمتصل‌شونده) استفاده شد.
• فرمت ورودی: هر جفت پروتئین به صورت یک توالی واحد به مدل داده می‌شد: [CLS] protein_A [SEP] protein_B [SEP]. توکن‌های ویژه [CLS] و [SEP] به مدل کمک می‌کنند تا ابتدا و انتهای هر پروتئین را تشخیص دهد.
• یادگیری خودنظارتی: همانطور که ذکر شد، هیچ برچسبی مبنی بر اتصال یا عدم اتصال جفت‌ها به مدل ارائه نشد. مدل تنها با استفاده از هدف MLM آموزش دید. این رویکرد، مدل را وادار می‌کند تا برای بازسازی بخش‌های حذف‌شده، به دنبال الگوهای آماری و ساختاری در میان دو پروتئین باشد، که به طور غیرمستقیم به یادگیری ویژگی‌های مرتبط با تعامل می‌انجامد.

ج) فشرده‌سازی توالی با BPE

الفبای پروتئین‌ها شامل ۲۰ اسید آمینه استاندارد است. استفاده مستقیم از این الفبا به عنوان واژگان (Vocabulary) برای یک مدل زبانی کارآمد نیست. برای حل این مشکل، محققان از الگوریتم Byte Pair Encoding (BPE) بهره بردند. BPE یک روش فشرده‌سازی داده است که با یافتن و ادغام مکرر جفت‌های متوالی از کاراکترها (در اینجا اسیدهای آمینه)، واژگان جدیدی از «زیرکلمات» (Subwords) می‌سازد. در این پژوهش، یک واژگان با ۱۰۰۰۰ زیرکلمه ایجاد شد که هر کدام نمایانگر یک موتیف کوتاه (معمولاً ۳-۴ اسید آمینه) بودند. این کار دو مزیت عمده داشت: اولاً، طول توالی‌ها را به طور متوسط تا ۶۴٪ کاهش داد که منجر به صرفه‌جویی محاسباتی قابل توجهی شد و ثانیاً، به مدل اجازه داد تا الگوهای ساختاری کوچک و تکرارشونده را به عنوان یک واحد معنایی یاد بگیرد.

نتایج این پژوهش، موفقیت چشمگیر رویکرد پیشنهادی را تأیید کرد. یافته‌های اصلی را می‌توان در سه بخش خلاصه کرد:

• عملکرد برتر در وظایف پایین‌دستی: پس از پیش‌آموزش، مدل برای چندین وظیفه بیوانفورماتیکی تنظیم دقیق شد. نتایج نشان داد که مدلی که با جفت‌های پروتئینی آموزش دیده بود، به طور مداوم از مدل‌های آموزش‌دیده با توالی‌های تکی بهتر عمل کرد. این وظایف شامل موارد زیر بودند:
  • پیش‌بینی اتصال پروتئین-پروتئین (PPI): مدل در تشخیص اینکه آیا دو پروتئین با هم تعامل دارند یا خیر، دقت بالاتری از خود نشان داد.
  • پیش‌بینی اتصال گیرنده سلول T به اپی‌توپ (TCR-epitope binding): این یک کاربرد حیاتی در ایمونولوژی است و مدل توانست با موفقیت این نوع تعاملات کلیدی را پیش‌بینی کند.
  • طبقه‌بندی مکان سلولی و همولوژی دور: جالب‌تر آنکه، این مدل حتی در وظایفی که مستقیماً به تعاملات دوتایی مربوط نمی‌شوند، مانند تعیین محل یک پروتئین در سلول (Cellular Localization) یا شناسایی پروتئین‌های با خویشاوندی تکاملی دور (Remote Homology)، نیز عملکرد بهتری داشت. این نشان می‌دهد که نمایش‌های آموخته‌شده توسط مدل، کلی‌تر و غنی‌تر هستند و ویژگی‌های بنیادی پروتئین‌ها را به خوبی ثبت کرده‌اند.
• کشف جایگاه‌های اتصال از طریق مکانیزم توجه: یکی از یافته‌های جذاب این بود که مکانیزم توجه در مدل ترنسفورمر، به ابزاری برای تفسیرپذیری (Interpretability) تبدیل شده بود. با تحلیل نقشه‌های توجه (Attention Maps)، که نشان می‌دهند مدل به کدام بخش‌های ورودی بیشتر «توجه» می‌کند، محققان دریافتند که در جفت‌های متصل‌شونده، بیشترین میزان توجه بین نواحی خاصی از دو پروتئین متمرکز شده است. این «نقاط داغ» توجه، با احتمال بالایی با جایگاه‌های اتصال فیزیکی (Binding Sites) واقعی پروتئین‌ها مطابقت داشتند. این قابلیت، پلی بین پیش‌بینی‌های مدل‌های جعبه-سیاه و واقعیت‌های بیولوژیکی ایجاد می‌کند.
• تأیید کارایی BPE و Longformer: این پژوهش همچنین نشان داد که استفاده از BPE برای ساخت واژگان زیرکلمه‌ای و Longformer برای پردازش توالی‌های بلند، استراتژی‌های مؤثری برای ساخت مدل‌های زبانی پروتئین در مقیاس بزرگ هستند.

این پژوهش صرفاً یک پیشرفت نظری نیست، بلکه پیامدهای عملی گسترده‌ای دارد. دستاوردهای آن می‌تواند در حوزه‌های زیر تأثیرگذار باشد:

• کشف و طراحی دارو: درک تعاملات پروتئین-پروتئین برای طراحی داروهای جدید که این تعاملات را هدف قرار می‌دهند، حیاتی است. مدل توسعه‌یافته در این مقاله می‌تواند به عنوان یک ابزار غربالگری مجازی قدرتمند برای شناسایی سریع‌تر و ارزان‌تر کاندیداهای دارویی عمل کند.
• ایمونولوژی و مهندسی واکسن: توانایی مدل در پیش‌بینی دقیق اتصال گیرنده‌های ایمنی به پپتیدهای بیگانه (اپی‌توپ‌ها) می‌تواند فرایند طراحی واکسن‌های مؤثرتر و درمان‌های ایمنی‌محور (Immunotherapies) را تسریع کند.
• مهندسی پروتئین: با درک عمیق‌تر از چگونگی تعامل پروتئین‌ها، دانشمندان می‌توانند پروتئین‌های جدیدی با عملکردهای دلخواه طراحی کنند که کاربردهایی در صنعت، پزشکی و محیط زیست دارند.
• پیشرفت در علوم بنیادی: این کار یک پارادایم جدید برای پیش‌آموزش مدل‌های بیولوژیکی ارائه می‌دهد. این نشان می‌دهد که یادگیری از «محتوا» و «روابط» به طور همزمان، حتی بدون برچسب‌های صریح، می‌تواند به تولید نمایش‌های قدرتمندتری منجر شود. این ایده می‌تواند به سایر حوزه‌های زیست‌شناسی، مانند ژنومیکس و متابولومیکس نیز گسترش یابد.

این مقاله به طور قانع‌کننده‌ای نشان می‌دهد که استراتژی پیش‌آموزش جفتی و مستقل از برچسب، یک روش بسیار مؤثر برای ارتقای توانایی مدل‌های زبانی پروتئین است. این رویکرد هوشمندانه، با استفاده از داده‌های تعاملی بدون برچسب، مدل را قادر می‌سازد تا نمایش‌های غنی و قابل تعمیمی از توالی‌های پروتئینی بیاموزد که نه تنها برای پیش‌بینی تعاملات، بلکه برای درک ویژگی‌های ذاتی خود پروتئین‌ها نیز مفید است.

این پژوهش مسیری جدید را برای بهره‌برداری از حجم عظیم داده‌های توالی‌یابی‌شده که فاقد حاشیه‌نویسی عملکردی هستند، باز می‌کند. همانطور که نویسندگان اشاره کرده‌اند، گام بعدی می‌تواند استفاده از این نمایش‌های قدرتمند برای وظایف دقیق‌تر در سطح توکن، مانند پیش‌بینی ساختار ثانویه پروتئین باشد. در نهایت، این کار نمونه‌ای درخشان از قدرت هم‌افزایی بین هوش مصنوعی و زیست‌شناسی برای رمزگشایی از پیچیده‌ترین اسرار حیات است.