ترجمه فارسی مقاله یک خانواده بزرگ از مدل‌های بنیادی رمزگذار-رمزگشا برای زبان شیمیایی

چکیده

Large-scale pre-training methodologies for chemical language models represent a breakthrough in cheminformatics. These methods excel in tasks such as property prediction and molecule generation by learning contextualized representations of input tokens through self-supervised learning on large unlabeled corpora. Typically, this involves pre-training on unlabeled data followed by fine-tuning on specific tasks, reducing dependence on annotated datasets and broadening chemical language representation understanding. This paper introduces a large encoder-decoder chemical foundation models pre-trained on a curated dataset of 91 million SMILES samples sourced from PubChem, which is equivalent to 4 billion of molecular tokens. The proposed foundation model supports different complex tasks, including quantum property prediction, and offer flexibility with two main variants (289M and $8times289M$). Our experiments across multiple benchmark datasets validate the capacity of the proposed model in providing state-of-the-art results for different tasks. We also provide a preliminary assessment of the compositionality of the embedding space as a prerequisite for the reasoning tasks. We demonstrate that the produced latent space is separable compared to the state-of-the-art with few-shot learning capabilities.

چکیده به فارسی (ترجمه ماشینی)

روشهای پیش از آموزش در مقیاس بزرگ برای مدلهای زبان شیمیایی نشان دهنده دستیابی به موفقیت در شیمیایی شکل گیری است.این روشها در کارهایی مانند پیش بینی خاصیت و تولید مولکول با یادگیری بازنمایی های متناسب از نشانه های ورودی از طریق یادگیری خودکارد شده در شرکتهای بزرگ بدون برچسب ، برتری دارند.به طور معمول ، این شامل پیش از ترجمه در داده های بدون برچسب و به دنبال آن تنظیم دقیق در کارهای خاص ، کاهش وابستگی به مجموعه داده های حاشیه نویسی و گسترش درک بازنمایی زبان شیمیایی است.در این مقاله یک مدل بنیاد شیمیایی رمزگذار بزرگ که از قبل در یک مجموعه داده شده از 91 میلیون نمونه لبخند تهیه شده از Pubchem تهیه شده است ، که معادل 4 میلیارد نشانه مولکولی است ، ارائه شده است.مدل بنیاد پیشنهادی از کارهای پیچیده مختلف ، از جمله پیش بینی ملک کوانتومی پشتیبانی می کند و با دو نوع اصلی (289 میلیون و 8 times289m $) انعطاف پذیری ارائه می دهد.آزمایشات ما در مجموعه داده های معیار متعدد ظرفیت مدل پیشنهادی را در ارائه نتایج پیشرفته برای کارهای مختلف تأیید می کند.ما همچنین ارزیابی اولیه از ترکیب فضای تعبیه را به عنوان پیش نیاز برای کارهای استدلال ارائه می دهیم.ما نشان می دهیم که فضای نهفته تولید شده در مقایسه با پیشرفته با قابلیت یادگیری چند شات قابل جدا شدن است.