در سالیان اخیر، حوزه بینایی ماشین شاهد پیشرفت‌های چشمگیری بوده است که عمدتاً مدیون توسعه شبکه‌های عصبی پیچشی (CNN) بوده است. این شبکه‌ها با ساختار سلسله‌مراتبی و توانایی‌شان در استخراج ویژگی‌های محلی، به استانداردی در بسیاری از وظایف بینایی ماشین تبدیل شده بودند. اما با ظهور ترانسفورمرهای دید (ViT)، پارادایم جدیدی در این حوزه پدید آمد. ViT‌ها که در ابتدا برای پردازش زبان طبیعی (NLP) طراحی شده بودند، نشان دادند که می‌توانند با تقسیم تصاویر به پچ‌های کوچک و پردازش آن‌ها به عنوان توالی، عملکردی قابل مقایسه و حتی بهتر از CNN‌ها در وظایف بینایی ماشین ارائه دهند.

با این حال، ترانسفورمرهای دید اولیه با چالش‌هایی از جمله پیچیدگی محاسباتی بالا، به ویژه در لایه‌های عمیق‌تر به دلیل پردازش توالی‌های طولانی، مواجه بودند. این پیچیدگی باعث محدودیت‌هایی در مقیاس‌پذیری و کارایی آن‌ها در سناریوهای واقعی و دستگاه‌های با منابع محدود می‌شد. سوال اصلی که در اینجا مطرح می‌شود این است که چگونه می‌توان از تجربیات و تکنیک‌های طراحی موفق CNN‌ها استفاده کرد تا کارایی ViT‌ها را بهبود بخشید؟

مقاله “جستجوی ترانسفورمرهای دید چندمرحله‌ای کارآمد” با عنوان اصلی “Searching for Efficient Multi-Stage Vision Transformers” دقیقاً به همین پرسش پاسخ می‌دهد. این تحقیق پیشگامانه، با معرفی ViT-ResNAS، یک معماری نوین را پیشنهاد می‌کند که با الهام از اصول طراحی CNN و با بهره‌گیری از قدرت جستجوی معماری عصبی (NAS)، به دنبال حل مشکل کارایی ViT‌ها است. اهمیت این مقاله در آن است که با ترکیب هوشمندانه نقاط قوت هر دو رویکرد (ترانسفورمر و CNN)، راه را برای ساخت مدل‌های بینایی ماشین کارآمدتر و قدرتمندتر هموار می‌کند و یک گام رو به جلو در تکامل شبکه‌های عصبی عمیق محسوب می‌شود.

این مقاله توسط پژوهشگران برجسته، Yi-Lun Liao، Sertac Karaman و Vivienne Sze به رشته تحریر درآمده است. این تیم تحقیقاتی از دانشگاه‌های معتبر و مراکز تحقیقاتی پیشرو در حوزه هوش مصنوعی و بینایی ماشین فعالیت دارند و تجربه گسترده‌ای در طراحی و بهینه‌سازی مدل‌های یادگیری عمیق دارند.

زمینه تحقیق این مقاله در تقاطع چندین شاخه کلیدی از هوش مصنوعی قرار دارد:

• بینایی ماشین (Computer Vision): هسته اصلی تحقیق، بهبود عملکرد مدل‌ها در درک و تفسیر تصاویر و ویدئوها است.
• ترانسفورمرها (Transformers): تمرکز بر روی معماری ترانسفورمرها، که در ابتدا انقلابی در پردازش زبان طبیعی ایجاد کردند و اکنون به یکی از مدل‌های اصلی در بینایی ماشین تبدیل شده‌اند.
• یادگیری عمیق (Deep Learning): استفاده از شبکه‌های عصبی عمیق به عنوان چارچوب اصلی برای ساخت و آموزش مدل‌ها.
• جستجوی معماری عصبی (Neural Architecture Search – NAS): یک حوزه رو به رشد در یادگیری ماشین که به صورت خودکار به طراحی و بهینه‌سازی معماری شبکه‌های عصبی می‌پردازد. این تکنیک امکان کشف معماری‌هایی را فراهم می‌کند که عملکرد بهتری نسبت به طراحی‌های دستی دارند و از این رو نقش حیاتی در کارایی ViT-ResNAS ایفا می‌کند.

این مقاله نشان‌دهنده یک رویکرد میان‌رشته‌ای است که با ترکیب نوآوری‌ها از حوزه‌های مختلف، به دنبال غلبه بر چالش‌های موجود در طراحی مدل‌های بینایی ماشین نسل آینده است.

همانطور که قبلاً ذکر شد، ترانسفورمرهای دید (ViT) ثابت کرده‌اند که معماری ترانسفورمر، که در ابتدا برای پردازش زبان طبیعی توسعه یافته بود، می‌تواند با موفقیت در وظایف بینایی ماشین به کار گرفته شود و عملکردی قابل مقایسه با شبکه‌های عصبی پیچشی (CNN) ارائه دهد. این دستاورد مهم، سوال طبیعی را ایجاد می‌کند که چگونه می‌توان با الهام‌گیری از تکنیک‌های طراحی CNN، عملکرد ViT را بیشتر پیش برد.

در پاسخ به این سوال، نویسندگان ViT-ResNAS را معرفی می‌کنند؛ یک معماری کارآمد و چندمرحله‌ای برای ترانسفورمرهای دید که با استفاده از جستجوی معماری عصبی (NAS) طراحی شده است. این رویکرد نوآورانه بر پایه دو تکنیک اصلی استوار است:

1. کاهش فضایی باقی‌مانده (Residual Spatial Reduction):

   این تکنیک با هدف کاهش طول توالی ورودی برای لایه‌های عمیق‌تر شبکه و در نتیجه کاهش پیچیدگی محاسباتی پیشنهاد شده است. با کاهش تدریجی ابعاد فضایی (و طول توالی) در لایه‌های بعدی، یک معماری چندمرحله‌ای ایجاد می‌شود که شبیه به هرم ویژگی در CNN‌ها عمل می‌کند. برای اطمینان از پایداری آموزش شبکه‌های عمیق‌تر و بهبود عملکرد کلی، اتصالات پرش (skip connections) به این مکانیسم کاهش اضافه شده‌اند.

2. NAS با اشتراک وزن و نمونه‌گیری چندمعماری (Weight-sharing NAS with Multi-architectural Sampling):

   این روش برای جستجوی کارآمد معماری‌های با عملکرد بالا به کار گرفته شده است. در ابتدا، یک شبکه بزرگ‌تر به نام “ابرشبکه” (super-network) تعریف می‌شود که تمام زیرشبکه‌های احتمالی را دربر می‌گیرد و فضای جستجو را تشکیل می‌دهد. سپس این ابرشبکه با اشتراک‌گذاری وزن‌ها آموزش داده می‌شود تا ارزیابی سریع عملکرد زیرشبکه‌های مختلف امکان‌پذیر شود. نوآوری کلیدی در اینجا نمونه‌گیری چندمعماری است که در آن چندین زیرشبکه به طور همزمان با یک پاس پیش‌رو و پس‌رو (forward-backward pass) نمونه‌برداری و آموزش داده می‌شوند که به شدت کارایی آموزش ابرشبکه را افزایش می‌دهد. پس از آموزش ابرشبکه، از جستجوی تکاملی (evolutionary search) برای کشف معماری‌های با عملکرد بالا استفاده می‌شود.

نتایج آزمایش‌های انجام شده بر روی مجموعه داده ImageNet نشان می‌دهند که ViT-ResNAS به تعادل‌های بهتری بین دقت و MACs (عملیات ضرب و جمع) و همچنین دقت و توان عملیاتی (throughput) دست می‌یابد. این مدل از DeiT اصلی و سایر روش‌های پایه قوی ViT عملکرد بهتری ارائه می‌دهد، که نشان‌دهنده موفقیت ترکیب رویکردهای CNN و ViT از طریق NAS است.

مقاله ViT-ResNAS دو نوآوری اصلی را برای طراحی ترانسفورمرهای دید کارآمد معرفی می‌کند که هر دو از اصول مهندسی شبکه‌های عصبی الهام گرفته شده‌اند. این رویکردها به دقت طراحی شده‌اند تا چالش‌های ذاتی ViT‌های سنتی را برطرف کرده و عملکرد آن‌ها را بهینه سازند.

کاهش فضایی باقی‌مانده (Residual Spatial Reduction)

یکی از بزرگترین محدودیت‌های ترانسفورمرهای دید سنتی، پیچیدگی محاسباتی quadratic آن‌ها نسبت به طول توالی ورودی است. این بدان معناست که با افزایش اندازه تصویر یا تعداد پچ‌ها، هزینه‌های محاسباتی به سرعت افزایش می‌یابد، به ویژه در لایه‌های عمیق‌تر شبکه. برای مقابله با این چالش، ViT-ResNAS مفهوم معماری چندمرحله‌ای را معرفی می‌کند که از شبکه‌های CNN الهام گرفته شده است.

• کاهش طول توالی: در لایه‌های ابتدایی، مدل ممکن است با وضوح مکانی بالا (طول توالی بلند) عمل کند تا جزئیات دقیق را استخراج کند. اما همانطور که مدل به سمت لایه‌های عمیق‌تر پیش می‌رود، اطلاعات کلی‌تر و انتزاعی‌تری مورد نیاز است. بنابراین، ViT-ResNAS پیشنهاد می‌کند که در این لایه‌های عمیق‌تر، طول توالی ورودی به تدریج کاهش یابد. این کاهش می‌تواند از طریق عملیات پیچشی (convolutional operations) با گام‌های بزرگ یا عملیات pooling صورت گیرد که باعث کاهش ابعاد فضایی و در نتیجه کاهش تعداد توکن‌ها می‌شود.
• اتصالات پرش (Skip Connections): کاهش ابعاد در شبکه‌های عمیق می‌تواند منجر به از دست رفتن اطلاعات مهم و همچنین مشکلاتی در پایداری آموزش (مانند مشکل ناپدید شدن گرادیان) شود. برای غلبه بر این مشکلات، نویسندگان اتصالات پرش باقی‌مانده را به مکانیسم کاهش فضایی اضافه می‌کنند. این اتصالات، خروجی لایه‌های قبلی با وضوح بالاتر را مستقیماً به لایه‌های بعدی با وضوح کمتر متصل می‌کنند. این کار نه تنها به حفظ اطلاعات کمک می‌کند، بلکه جریان گرادیان‌ها را در طول آموزش بهبود می‌بخشد و باعث پایداری بیشتر شبکه‌های عمیق‌تر می‌شود. نتیجه این کار یک ساختار شبیه به هرم ویژگی است که در CNN‌ها بسیار مؤثر است.

NAS با اشتراک وزن و نمونه‌گیری چندمعماری (Weight-sharing NAS with Multi-architectural Sampling)

طراحی دستی معماری‌های عصبی برای هر وظیفه و مجموعه داده‌ای زمان‌بر و دشوار است. جستجوی معماری عصبی (NAS) با خودکارسازی این فرآیند، انقلابی در طراحی شبکه‌های عصبی ایجاد کرده است. در این مقاله، NAS به طور خاص برای کشف معماری‌های کارآمد ViT به کار گرفته شده است:

• تعریف ابرشبکه (Super-network): اولین گام، تعریف یک فضای جستجو گسترده است. این فضای جستجو به صورت یک ابرشبکه نمایش داده می‌شود که شامل تمام زیرشبکه‌های کاندید ممکن است. این ابرشبکه از لایه‌ها و بلوک‌های مختلف با گزینه‌های متعدد برای اتصال و پارامترها تشکیل شده است.
• اشتراک وزن (Weight-sharing): ایده اصلی در NAS با اشتراک وزن این است که به جای آموزش هر زیرشبکه کاندید به صورت جداگانه (که بسیار زمان‌بر است)، یک بار ابرشبکه را آموزش دهیم. وزن‌های مشترک در ابرشبکه به زیرشبکه‌های مختلف اجازه می‌دهند تا از دانش یکدیگر بهره‌مند شوند. پس از آموزش ابرشبکه، عملکرد هر زیرشبکه را می‌توان با استخراج آن از ابرشبکه و ارزیابی سریع آن تخمین زد.
• نمونه‌گیری چندمعماری (Multi-architectural Sampling): این یکی از نوآوری‌های کلیدی مقاله است که به طور قابل توجهی کارایی آموزش ابرشبکه را بهبود می‌بخشد. در روش‌های سنتی NAS با اشتراک وزن، معمولاً در هر گام آموزشی، یک زیرشبکه از ابرشبکه نمونه‌برداری شده و آموزش داده می‌شود. اما در نمونه‌گیری چندمعماری، در هر پاس پیش‌رو و پس‌رو (forward-backward pass)، چندین زیرشبکه مختلف به طور همزمان نمونه‌برداری و آموزش داده می‌شوند. این کار به ابرشبکه اجازه می‌دهد تا وزن‌های خود را با سرعت بیشتری به روز کند و پوشش گسترده‌تری از فضای جستجو را در زمان کمتری انجام دهد.
• جستجوی تکاملی (Evolutionary Search): پس از آموزش کامل ابرشبکه و همگرا شدن وزن‌های مشترک، از یک الگوریتم جستجوی تکاملی استفاده می‌شود. این الگوریتم به کاوش در فضای جستجو (یعنی زیرشبکه‌های موجود در ابرشبکه) می‌پردازد و با استفاده از تخمین عملکردی که ابرشبکه فراهم کرده است، بهترین معماری‌ها را از نظر تعادل بین دقت و معیارهای کارایی (مانند MACs یا توان عملیاتی) کشف می‌کند. این فرآیند به صورت تکراری بهترین کاندیدها را انتخاب کرده و آن‌ها را جهش (mutate) و ترکیب (crossover) می‌کند تا به معماری‌های بهینه دست یابد.

با ترکیب این دو روش‌شناسی قدرتمند، ViT-ResNAS نه تنها چالش پیچیدگی محاسباتی ViT را حل می‌کند، بلکه یک چارچوب خودکار و کارآمد برای طراحی مدل‌های بینایی ماشین ارائه می‌دهد.

نتایج آزمایش‌های گسترده‌ای که بر روی مجموعه داده ImageNet انجام شده‌اند، به وضوح برتری معماری ViT-ResNAS را نسبت به روش‌های موجود نشان می‌دهد. این یافته‌ها به دو جنبه کلیدی تمرکز دارند که در نهایت منجر به مدل‌های کارآمدتر و دقیق‌تر می‌شوند:

1. تعادل بهتر بین دقت و MACs (Accuracy-MACs Trade-off):

   یکی از مهم‌ترین معیارهای ارزیابی کارایی یک مدل، میزان عملیات ضرب و جمع (Multiply-Accumulate Operations – MACs) مورد نیاز آن است. MACs معیاری تقریبی برای پیچیدگی محاسباتی و مصرف انرژی یک مدل است. یافته‌های مقاله نشان می‌دهد که ViT-ResNAS می‌تواند به دقت‌های بالاتر با MACs کمتر دست یابد. به عبارت دیگر، این مدل نسبت به سایر ViT‌های پایه، از نظر محاسباتی بهینه‌تر است، در حالی که دقت خود را حفظ کرده یا حتی بهبود می‌بخشد. این بدان معناست که برای دستیابی به یک سطح دقت مشخص، ViT-ResNAS به منابع محاسباتی کمتری نیاز دارد که این امر برای استقرار مدل‌ها در محیط‌های با منابع محدود بسیار حیاتی است.

2. تعادل بهتر بین دقت و توان عملیاتی (Accuracy-Throughput Trade-off):

   توان عملیاتی (Throughput) به تعداد نمونه‌هایی اشاره دارد که یک مدل می‌تواند در واحد زمان پردازش کند، که مستقیماً با سرعت استنتاج (inference speed) مرتبط است. نتایج حاکی از آن است که ViT-ResNAS علاوه بر MACs کمتر، توان عملیاتی بالاتری را نیز ارائه می‌دهد. این بدان معناست که مدل می‌تواند سریع‌تر تصاویر را پردازش کند، بدون اینکه دقت خود را فدا کند. این ویژگی برای کاربردهایی که نیاز به پردازش بلادرنگ یا نزدیک به بلادرنگ دارند (مانند سیستم‌های خودران یا روباتیک) بسیار ارزشمند است.

علاوه بر این، آزمایش‌ها نشان داده‌اند که ViT-ResNAS عملکرد بهتری نسبت به DeiT اصلی و دیگر مدل‌های پایه قوی ViT از خود نشان می‌دهد. این برتری نه تنها در دقت نهایی، بلکه در کارایی محاسباتی نیز مشهود است. این دستاوردها تأیید می‌کنند که:

• رویکرد کاهش فضایی باقی‌مانده به طور مؤثر پیچیدگی محاسباتی را در لایه‌های عمیق مدیریت می‌کند و به پایداری آموزش کمک می‌نماید.
• تکنیک NAS با اشتراک وزن و نمونه‌گیری چندمعماری یک روش قدرتمند و کارآمد برای طراحی خودکار معماری‌های بهینه ViT است که قادر به کشف تعادل‌های پیچیده بین دقت و کارایی است.
• ادغام هوشمندانه اصول طراحی CNN (مانند ساختار چندمرحله‌ای و اتصالات باقی‌مانده) با معماری ترانسفورمر، می‌تواند به پیشرفت‌های قابل توجهی در عملکرد کلی مدل‌های بینایی ماشین منجر شود.

به طور خلاصه، یافته‌های کلیدی این مقاله یک گام مهم رو به جلو در طراحی ترانسفورمرهای دید عملی و کارآمد است که محدودیت‌های محاسباتی مدل‌های قبلی را برطرف کرده و راه را برای کاربردهای گسترده‌تر ViT در دنیای واقعی باز می‌کند.

توسعه ViT-ResNAS و موفقیت آن در ارائه مدل‌های ترانسفورمر دید کارآمدتر، پیامدهای گسترده‌ای در حوزه‌های مختلف بینایی ماشین و هوش مصنوعی دارد. دستاوردهای این تحقیق به طور مستقیم منجر به کاربردهای عملی و بهبودهای فناورانه در چندین زمینه می‌شوند:

• استقرار در دستگاه‌های با منابع محدود (Edge Devices):

  با بهبود تعادل دقت-MACs و دقت-توان عملیاتی، ViT-ResNAS مدل‌های ViT را برای استقرار در دستگاه‌های لبه (edge devices) مانند تلفن‌های هوشمند، دوربین‌های هوشمند، دستگاه‌های IoT و سنسورهای تعبیه شده، بسیار مناسب‌تر می‌کند. این دستگاه‌ها معمولاً دارای محدودیت‌های شدید در توان محاسباتی، حافظه و مصرف انرژی هستند. مدل‌های کارآمدتر به معنای اجرای سریع‌تر و مصرف باتری کمتر است.

• سیستم‌های بینایی ماشین بلادرنگ (Real-time Computer Vision Systems):

  افزایش توان عملیاتی ViT-ResNAS آن را برای کاربردهایی که نیاز به پردازش بلادرنگ دارند، مانند خودروهای خودران، روباتیک، سیستم‌های نظارتی هوشمند، و واقعیت افزوده (AR)، ایده‌آل می‌سازد. سرعت بالاتر در استنتاج به تصمیم‌گیری‌های سریع‌تر و واکنش‌های به موقع سیستم کمک می‌کند.

• کاهش هزینه‌های محاسباتی (Reduced Computational Costs):

  چه در مرحله آموزش و چه در مرحله استنتاج، مدل‌های کارآمدتر به منابع محاسباتی کمتری نیاز دارند. این امر منجر به کاهش هزینه‌های مرتبط با سخت‌افزار، انرژی و زمان محاسباتی می‌شود، که هم برای شرکت‌های بزرگ و هم برای محققین و توسعه‌دهندگان کوچک‌تر بسیار مفید است.

• پیشرفت در جستجوی معماری عصبی (Advancements in NAS):

  این تحقیق نشان می‌دهد که NAS نه تنها برای CNN‌ها بلکه برای معماری‌های پیچیده‌تری مانند ViT نیز بسیار قدرتمند و مؤثر است. نوآوری‌هایی مانند نمونه‌گیری چندمعماری به پیشرفت در حوزه NAS کمک می‌کند و روش‌های کارآمدتری برای طراحی خودکار شبکه‌های عصبی ارائه می‌دهد که می‌تواند در آینده به سایر حوزه‌ها نیز تعمیم یابد.

• چارچوب طراحی مدل‌های آینده (Framework for Future Model Design):

  ViT-ResNAS یک چارچوب و متدولوژی قوی را برای ترکیب نقاط قوت معماری‌های مختلف (مانند ترانسفورمرها و CNN‌ها) از طریق NAS فراهم می‌کند. این رویکرد می‌تواند الهام‌بخش تحقیقات آتی برای توسعه نسل‌های جدیدتر و کارآمدتر مدل‌های یادگیری عمیق باشد که برای وظایف مختلف و محدودیت‌های منابع متفاوت بهینه شده‌اند.

• افزایش دسترسی به فناوری ترانسفورمر (Increased Accessibility of Transformer Technology):

  با کاهش موانع محاسباتی، فناوری ترانسفورمر که قبلاً عمدتاً در دست شرکت‌های بزرگ با منابع محاسباتی فراوان بود، اکنون برای جامعه گسترده‌تری از محققان و توسعه‌دهندگان قابل دسترس‌تر می‌شود. این امر می‌تواند منجر به نوآوری‌های بیشتر و کاربردهای جدیدی از ViT‌ها شود.

به طور خلاصه، ViT-ResNAS نه تنها یک پیشرفت تئوریک است، بلکه مجموعه‌ای از دستاوردهای عملی را به ارمغان می‌آورد که به طور مستقیم بر توانایی ما در پیاده‌سازی و بهره‌برداری از هوش مصنوعی پیشرفته در دنیای واقعی تأثیر می‌گذارد.

مقاله “جستجوی ترانسفورمرهای دید چندمرحله‌ای کارآمد” با معرفی ViT-ResNAS، یک گام مهم و رو به جلو در تکامل ترانسفورمرهای دید (ViT) برداشته است. در عصری که ViT‌ها به رقیبی جدی برای شبکه‌های عصبی پیچشی (CNN) در بینایی ماشین تبدیل شده‌اند، این تحقیق به چالشی اساسی پرداخته است: چگونگی افزایش کارایی ViT‌ها با الهام از اصول طراحی موفق CNN‌ها.

این پژوهش دو نوآوری کلیدی را ارائه می‌دهد: اول، کاهش فضایی باقی‌مانده (Residual Spatial Reduction) که با کاهش هوشمندانه طول توالی در لایه‌های عمیق‌تر و افزودن اتصالات پرش، پیچیدگی محاسباتی را کاهش داده و پایداری آموزش را تضمین می‌کند. این رویکرد یک ساختار چندمرحله‌ای کارآمد را برای ViT فراهم می‌آورد. دوم، روش نوین NAS با اشتراک وزن و نمونه‌گیری چندمعماری (Weight-sharing NAS with Multi-architectural Sampling) که با آموزش کارآمد یک ابرشبکه و نمونه‌گیری همزمان از چندین زیرشبکه، فرآیند کشف معماری‌های بهینه را تسریع می‌بخشد.

نتایج آزمایشگاهی بر روی مجموعه داده ImageNet به وضوح نشان داد که ViT-ResNAS از نظر تعادل دقت-MACs و دقت-توان عملیاتی نسبت به مدل‌های پایه ViT و DeiT عملکرد بهتری دارد. این دستاوردها نه تنها به افزایش کارایی محاسباتی مدل‌ها منجر می‌شود، بلکه امکان استقرار ViT‌ها را در طیف وسیع‌تری از کاربردها، به ویژه در دستگاه‌های با منابع محدود و سیستم‌های بلادرنگ، فراهم می‌آورد.

اهمیت این تحقیق فراتر از بهبود یک مدل خاص است؛ بلکه نشان‌دهنده قدرت ترکیب هوشمندانه دانش از حوزه‌های مختلف (ترانسفورمرها، CNN‌ها و NAS) برای غلبه بر چالش‌های پیچیده در هوش مصنوعی است. ViT-ResNAS به عنوان یک چارچوب قدرتمند، راه را برای طراحی خودکار و بهینه معماری‌های عصبی آینده هموار می‌کند.

برای تحقیقات آتی، مسیرهای متعددی قابل تصور است: از جمله گسترش ViT-ResNAS به سایر وظایف بینایی ماشین مانند تشخیص اشیا و بخش‌بندی معنایی، بررسی انواع دیگر استراتژی‌های NAS برای کشف معماری‌های با کارایی بیشتر، و بهینه‌سازی عمیق‌تر ساختارهای چندمرحله‌ای برای عملکرد بهتر در مجموعه‌داده‌های بسیار بزرگ و متنوع. در نهایت، ViT-ResNAS گامی حیاتی در جهت ساخت ترانسفورمرهای دید عملی، کارآمد و همه‌کاره است که آینده بینایی ماشین را شکل خواهد داد.

کد پیاده‌سازی این تحقیق در دسترس عموم قرار گرفته است: https://github.com/yilunliao/vit-search