کشف داروها و طراحی مواد جدید فرآیندهایی بسیار زمان‌بر و پرهزینه هستند. شیمی‌دانان و دانشمندان مواد باید در میان یک فضای شیمیایی تقریباً بی‌نهایت از مولکول‌های بالقوه جستجو کنند تا ترکیبی با خواص مطلوب را بیابند. در دهه‌های اخیر، هوش مصنوعی و یادگیری ماشین به عنوان ابزاری قدرتمند برای تسریع این فرآیند ظهور کرده‌اند. مدل‌های کامپیوتری می‌توانند با پیش‌بینی خواص مولکول‌ها پیش از سنتز آزمایشگاهی، به طور چشمگیری در زمان و منابع صرفه‌جویی کنند.

با این حال، اکثر مدل‌های یادگیری ماشین سنتی «نظارت‌شده» (Supervised) هستند، به این معنی که برای آموزش به حجم زیادی از داده‌های برچسب‌دار (مولکول‌هایی که خواص آن‌ها از طریق آزمایش مشخص شده) نیاز دارند. جمع‌آوری این داده‌ها خود یک چالش بزرگ است. مقاله «بازنمایی‌های گسترده زبان شیمیایی: مدل‌سازی ساختار و خواص مولکولی» یک رویکرد نوین و الهام‌بخش را معرفی می‌کند. این پژوهش، با الهام از موفقیت‌های چشمگیر مدل‌های زبانی بزرگ (LLMs) در پردازش زبان طبیعی، نشان می‌دهد که می‌توان با مولکول‌ها نیز مانند کلمات و جملات یک زبان رفتار کرد. اهمیت این مقاله در آن است که ثابت می‌کند یک مدل می‌تواند با یادگیری «گرامر» زبان شیمی از روی حجم عظیمی از داده‌های بدون برچسب، به درکی عمیق از ساختار و شیمی مولکول‌ها دست یابد و خواص پیچیده آن‌ها را با دقتی بی‌سابقه پیش‌بینی کند.

این مقاله توسط تیمی از پژوهشگران برجسته در زمینه هوش مصنوعی و شیمی محاسباتی، شامل Jerret Ross, Brian Belgodere, Vijil Chenthamarakshan, Inkit Padhi, Youssef Mroueh و Payel Das، که عمدتاً با مراکز تحقیقاتی پیشرو مانند IBM Research همکاری دارند، به نگارش درآمده است. این پژوهش در نقطه تلاقی چند حوزه علمی هیجان‌انگیز قرار دارد:

• یادگیری ماشین (Machine Learning): استفاده از الگوریتم‌ها برای یادگیری الگوها از داده‌ها.
• شیمی‌انفورماتیک (Chemoinformatics): به کارگیری روش‌های محاسباتی برای حل مسائل شیمیایی.
• پردازش زبان طبیعی (NLP): تکنیک‌هایی که به کامپیوترها امکان درک و تولید زبان انسان را می‌دهند.
• کشف دارو و علم مواد (Drug Discovery and Materials Science): حوزه‌های کاربردی نهایی که این تحقیق به دنبال تحول در آن‌هاست.

این مقاله بر پایه یک ایده انقلابی بنا شده است: اگر مدل‌هایی مانند BERT و GPT می‌توانند با خواندن میلیاردها جمله، زبان انسان را بیاموزند، آیا یک مدل مشابه نمی‌تواند با خواندن ساختار میلیاردها مولکول، «زبان شیمی» را فراگیرد؟

محققان در این مقاله یک مدل ترنسفورمر به نام MoLFormer را معرفی می‌کنند. این مدل بر روی پایگاه داده عظیمی شامل ۱.۱ میلیارد مولکول بدون برچسب از مجموعه داده‌های PubChem و ZINC آموزش داده شده است. ورودی مدل، نمایش متنی مولکول‌ها به فرمت SMILES است. SMILES (Simplified Molecular-Input Line-Entry System) روشی برای نمایش ساختار یک مولکول به صورت یک رشته از حروف و نمادهاست؛ برای مثال، آب (H₂O) به صورت `O` و اتانول به صورت `CCO` نمایش داده می‌شود.

هدف اصلی آموزش، یک وظیفه «خودنظارتی» (Self-supervised) است. مدل یاد می‌گیرد بخش‌های پنهان‌شده از یک رشته SMILES را پیش‌بینی کند. این فرآیند، مدل را مجبور می‌کند تا قوانین بنیادی شیمی، مانند ظرفیت اتم‌ها، انواع پیوندها و ساختارهای پایدار را به طور ضمنی بیاموزد. پس از این پیش‌آموزش گسترده، بازنمایی‌های مولکولی (embeddings) که توسط MoLFormer تولید می‌شوند، می‌توانند برای پیش‌بینی طیف وسیعی از خواص مولکولی در وظایف خاص (downstream tasks) با استفاده از داده‌های برچسب‌دار بسیار کمتری، تنظیم دقیق (fine-tune) شوند. نتایج نشان می‌دهد که این رویکرد نه تنها با مدل‌های پیشین رقابت می‌کند، بلکه در بسیاری از بنچمارک‌های استاندارد، از جمله مدل‌های مبتنی بر شبکه‌های عصبی گراف (GNNs) که مستقیماً روی ساختار گراف مولکول کار می‌کنند، عملکرد بهتری دارد.

موفقیت MoLFormer مدیون ترکیبی از معماری هوشمندانه و مقیاس محاسباتی عظیم است. اجزای کلیدی روش‌شناسی این تحقیق عبارتند از:

• معماری مدل MoLFormer: این مدل بر اساس معماری Transformer Encoder ساخته شده است که در پردازش زبان طبیعی بسیار موفق بوده است. دو نوآوری کلیدی در آن به کار رفته است:
  • جاسازی‌های موقعیتی چرخشی (Rotary Positional Embeddings – RoPE): این روش پیشرفته به مدل کمک می‌کند تا موقعیت نسبی اتم‌ها در رشته SMILES را بهتر درک کند، که برای فهم ساختار مولکولی حیاتی است.
  • مکانیزم توجه خطی (Linear Attention): مکانیزم توجه استاندارد در ترنسفورمرها از نظر محاسباتی بسیار سنگین است. استفاده از توجه خطی به MoLFormer اجازه می‌دهد تا روی توالی‌های طولانی‌تر و مجموعه داده‌های بسیار بزرگ‌تر با کارایی بالا آموزش ببیند.
• داده‌های آموزشی: آموزش اولیه (پیش‌آموزش) بر روی مجموعه داده‌ای متشکل از ۱.۱ میلیارد مولکول از پایگاه‌های داده عمومی PubChem و ZINC انجام شد. نکته کلیدی این است که این داده‌ها فاقد برچسب خواص بودند و مدل تنها از روی ساختار SMILES آن‌ها یادگیری را انجام داد.
• ارزیابی و بنچمارک: پس از پیش‌آموزش، مدل روی ده مجموعه داده بنچمارک مختلف که وظایف متنوعی از پیش‌بینی خواص کوانتومی (مانند انرژی اوربیتال‌های HOMO-LUMO) تا خواص بیوفیزیکی و فیزیولوژیکی (مانند سمیت یا حلالیت) را پوشش می‌دهند، ارزیابی شد. عملکرد MoLFormer با بهترین مدل‌های موجود، از جمله شبکه‌های عصبی گراف و سایر مدل‌های زبانی، مقایسه گردید.

این پژوهش به نتایج و یافته‌های قابل توجهی دست یافت که پتانسیل بالای این رویکرد را نشان می‌دهد:

• عملکرد برتر در پیش‌بینی خواص: MoLFormer در اکثر ده وظیفه بنچمارک، از جمله پیش‌بینی‌های دشوار کوانتوم-شیمیایی، از مدل‌های پیشرفته پیشین، اعم از مدل‌های نظارت‌شده و خودنظارتی، بهتر عمل کرد. این نشان می‌دهد که یادگیری از داده‌های بدون برچسب در مقیاس بزرگ، می‌تواند به بازنمایی‌های غنی‌تر و عمومی‌تری منجر شود.
• یادگیری روابط فضایی از متن یک‌بعدی: شگفت‌انگیزترین یافته مقاله، تحلیل مکانیزم توجه (Attention) مدل بود. مکانیزم توجه نشان می‌دهد که مدل هنگام پردازش یک اتم، به کدام اتم‌های دیگر در مولکول «توجه» بیشتری می‌کند. تحلیل‌ها نشان داد که الگوهای توجه مدل به شدت با فاصله فضایی واقعی بین اتم‌ها در ساختار سه‌بعدی مولکول همبستگی دارد. این یعنی MoLFormer توانسته است صرفاً با خواندن رشته متنی SMILES، شهود فضایی و ساختاری عمیقی از شیمی به دست آورد.
• عمومیت‌پذیری بالا: بازنمایی‌های مولکولی تولید شده توسط MoLFormer بسیار عمومی هستند. یعنی می‌توان از آن‌ها به عنوان یک نقطه شروع قدرتمند برای حل مسائل مختلف شیمیایی استفاده کرد، بدون آنکه نیاز باشد برای هر مسئله یک مدل از ابتدا طراحی و آموزش داده شود.

نتایج این مقاله پیامدهای عملی گسترده‌ای برای صنایع داروسازی، علوم مواد و تحقیقات بنیادی شیمی دارد:

• تسریع کشف دارو: محققان می‌توانند از MoLFormer برای غربالگری مجازی (Virtual Screening) میلیون‌ها ترکیب دارویی بالقوه استفاده کنند و مولکول‌هایی با بیشترین احتمال اثربخشی و کمترین سمیت را برای سنتز و آزمایش‌های بالینی انتخاب کنند. این امر می‌تواند چرخه کشف دارو را به شدت کوتاه کند.
• طراحی هوشمند مواد: در علم مواد، می‌توان از این مدل برای طراحی موادی با خواص سفارشی، مانند کاتالیزورهای بهینه‌تر، پلیمرهای مقاوم‌تر، یا مواد جدید برای باتری‌ها و سلول‌های خورشیدی، بهره برد.
• ایجاد یک مدل پایه برای شیمی: MoLFormer نقشی مشابه مدل‌های پایه (Foundation Models) مانند GPT در زبان را برای دنیای شیمی ایفا می‌کند. این یک مدل قدرتمند و از پیش آموزش‌دیده است که جامعه علمی می‌تواند آن را برای کاربردهای خاص خود تنظیم دقیق (fine-tune) کرده و از دانش شیمیایی عظیم نهفته در آن بهره‌مند شود.
• کاهش وابستگی به آزمایش‌های گران‌قیمت: با توانایی پیش‌بینی دقیق خواص، نیاز به انجام بسیاری از آزمایش‌های پرهزینه و زمان‌بر کاهش می‌یابد و تحقیقات علمی با سرعت و کارایی بیشتری به پیش می‌رود.

مقاله «بازنمایی‌های گسترده زبان شیمیایی» یک گام مهم رو به جلو در کاربرد هوش مصنوعی در علوم طبیعی است. این پژوهش با موفقیت نشان می‌دهد که رویکردهای الهام‌گرفته از پردازش زبان طبیعی، هنگامی که در مقیاس بزرگ و با معماری مناسب به کار گرفته شوند، می‌توانند به طور مؤثری «زبان شیمی» را رمزگشایی کنند. مدل MoLFormer نه تنها الگوهای سطحی را یاد نمی‌گیرد، بلکه به درکی عمیق از ساختار، روابط اتمی و اصول شیمیایی دست می‌یابد.

این دستاورد، راه را برای نسل جدیدی از ابزارهای محاسباتی هموار می‌کند که قادرند فرآیندهای تحقیق و توسعه در شیمی، داروسازی و علم مواد را متحول سازند. آینده‌ای که در آن هوش مصنوعی به عنوان یک همکار خلاق در کنار دانشمندان برای طراحی مولکول‌ها و مواد آینده فعالیت می‌کند، اکنون بیش از هر زمان دیگری در دسترس به نظر می‌رسد.