ترجمه فارسی مقاله یادگیری تقویتی در بازارسازی با فرکانس بالا

چکیده

This paper establishes a new and comprehensive theoretical analysis for the application of reinforcement learning (RL) in high-frequency market making. We bridge the modern RL theory and the continuous-time statistical models in high-frequency financial economics. Different with most existing literature on methodological research about developing various RL methods for market making problem, our work is a pilot to provide the theoretical analysis. We target the effects of sampling frequency, and find an interesting tradeoff between error and complexity of RL algorithm when tweaking the values of the time increment $Δ$ $-$ as $Δ$ becomes smaller, the error will be smaller but the complexity will be larger. We also study the two-player case under the general-sum game framework and establish the convergence of Nash equilibrium to the continuous-time game equilibrium as $Δrightarrow0$. The Nash Q-learning algorithm, which is an online multi-agent RL method, is applied to solve the equilibrium. Our theories are not only useful for practitioners to choose the sampling frequency, but also very general and applicable to other high-frequency financial decision making problems, e.g., optimal executions, as long as the time-discretization of a continuous-time markov decision process is adopted. Monte Carlo simulation evidence support all of our theories.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک تحلیل نظری جدید و جامع برای استفاده از یادگیری تقویت (RL) در ساخت بازار با فرکانس بالا ایجاد شده است.ما تئوری مدرن RL و مدلهای آماری زمان مداوم را در اقتصاد مالی با فرکانس بالا می گذاریم.متفاوت با بیشتر ادبیات موجود در مورد تحقیقات روش شناختی در مورد توسعه روش های مختلف RL برای ایجاد مشکل در بازار ، کار ما یک خلبان برای ارائه تحلیل نظری است.ما اثرات فرکانس نمونه گیری را هدف قرار می دهیم و یک تجارت جالب بین خطا و پیچیدگی الگوریتم RL را هنگام افزایش مقادیر افزایش زمان $ δ $ $-$ $ $ $ کوچکتر می یابیم ، خطا کوچکتر خواهد شد اما پیچیدگی خواهد بودبزرگتر باشدما همچنین مورد دو نفره را تحت چارچوب بازی عمومی مطالعه می کنیم و همگرایی تعادل NASH را به تعادل بازی به زمان مداوم به عنوان $ δ RightArrow0 $ تعیین می کنیم.الگوریتم یادگیری نش ، که یک روش RL چند عامل آنلاین است ، برای حل تعادل اعمال می شود.نظریه های ما نه تنها برای پزشکان برای انتخاب فرکانس نمونه گیری مفید است ، بلکه برای سایر مشکلات تصمیم گیری مالی با فرکانس بالا ، به عنوان مثال ، اعدام های بهینه ، تا زمانی که اختلاف زمان یک فرایند تصمیم گیری مارکوف به زمان مداوم ، بسیار کلی و قابل اجرا باشد ، بسیار کلی و قابل اجرا است.اتخاذ شده استشواهد شبیه سازی مونت کارلو از همه تئوری های ما پشتیبانی می کند.