مقاله LLAMOL: یک ترانسفورماتور مولد چند شرطی پویا برای طراحی مولکولی نو پدید

چکیده

Generative models have demonstrated substantial promise in Natural Language Processing (NLP) and have found application in designing molecules, as seen in General Pretrained Transformer (GPT) models. In our efforts to develop such a tool for exploring the organic chemical space in search of potentially electro-active compounds, we present “LLamol”, a single novel generative transformer model based on the LLama 2 architecture, which was trained on a 13M superset of organic compounds drawn from diverse public sources. To allow for a maximum flexibility in usage and robustness in view of potentially incomplete data, we introduce “Stochastic Context Learning” as a new training procedure. We demonstrate that the resulting model adeptly handles single- and multi-conditional organic molecule generation with up to four conditions, yet more are possible. The model generates valid molecular structures in SMILES notation while flexibly incorporating three numerical and/or one token sequence into the generative process, just as requested. The generated compounds are very satisfactory in all scenarios tested. In detail, we showcase the model’s capability to utilize token sequences for conditioning, either individually or in combination with numerical properties, making LLamol a potent tool for de novo molecule design, easily expandable with new properties.

چکیده به فارسی (ترجمه ماشینی)

مدل های تولیدی وعده قابل توجهی در پردازش زبان طبیعی (NLP) نشان داده اند و در طراحی مولکول ها کاربردی پیدا کرده اند ، همانطور که در مدلهای ترانسفورماتور عمومی (GPT) مشاهده می شود.در تلاش ما برای توسعه چنین ابزاری برای کاوش در فضای شیمیایی آلی در جستجوی ترکیبات بالقوه الکترو فعال ، ما “للامول” را ارائه می دهیم ، یک مدل ترانسفورماتور تولیدی جدید مبتنی بر معماری Llama 2 ، که بر روی یک سوپراست 13M آموزش داده شده استترکیبات ارگانیک که از منابع عمومی متنوع گرفته شده است.برای اینکه بتوانیم حداکثر انعطاف پذیری در استفاده و استحکام را با توجه به داده های بالقوه ناقص فراهم کنیم ، “یادگیری زمینه تصادفی” را به عنوان یک روش آموزش جدید معرفی می کنیم.ما نشان می دهیم که مدل حاصل به طور ماهرانه تولید مولکول آلی تک و چند شرط را با حداکثر چهار شرط کنترل می کند ، اما بیشتر ممکن است.این مدل ساختارهای مولکولی معتبری را در نماد لبخند ایجاد می کند در حالی که انعطاف پذیر سه توالی عددی و/یا یک توکن را در فرآیند تولیدی قرار می دهد ، دقیقاً طبق درخواست.ترکیبات تولید شده در تمام سناریوهای آزمایش شده بسیار رضایت بخش هستند.با جزئیات ، ما توانایی مدل را برای استفاده از توالی های توکن برای تهویه ، به صورت جداگانه یا همراه با خواص عددی نشان می دهیم ، و باعث می شود که للامول به ابزاری قدرتمند برای طراحی مولکول de novo ، به راحتی با خواص جدید قابل توسعه باشد.