در عصر دیجیتال امروز، ما با حجم غیرقابل تصوری از داده‌ها روبرو هستیم. از پایگاه‌های داده عظیم شرکت‌ها گرفته تا داده‌های علمی و ژنومیک، حجم اطلاعات فراتر از ظرفیت حافظه اصلی (RAM) کامپیوترهای معمولی رفته است. الگوریتم‌های کلاسیک که با فرض قرار گرفتن تمام داده‌ها در RAM طراحی شده‌اند، در مواجهه با این «داده‌های عظیم» (Big Data) به شدت ناکارآمد می‌شوند و با گلوگاهی به نام «گلوگاه ورودی/خروجی» (I/O Bottleneck) مواجه می‌شوند. اینجاست که الگوریتم‌های کارآمد از نظر I/O یا الگوریتم‌های حافظه خارجی (External Memory Algorithms) وارد میدان می‌شوند.

این دوره جامع از Coursera، به شما می‌آموزد که چگونه الگوریتم‌ها و ساختمان داده‌هایی طراحی کنید که به جای بهینه‌سازی محاسبات پردازنده، بر روی بهینه‌سازی و کاهش تعداد عملیات گران‌قیمت خواندن و نوشتن از حافظه‌های جانبی (مانند هارد دیسک یا SSD) تمرکز دارند. شما با یادگیری این مباحث، توانایی پردازش مجموعه داده‌هایی را کسب خواهید کرد که اندازه‌شان گیگابایت‌ها، ترابایت‌ها و حتی پتابایت‌هاست.

توجه بسیار مهم: این مجموعه آموزشی به صورت دانلودی ارائه نمی‌شود. کل محتوای دوره بر روی یک فلش مموری ۳۲ گیگابایتی با کیفیت برای شما ارسال می‌گردد و نیازی به دانلود فایل‌ها نخواهید داشت.

برای درک اهمیت این موضوع، یک مثال ساده را در نظر بگیرید: مرتب‌سازی یک فایل ۱۰ ترابایتی بر روی سیستمی با ۳۲ گیگابایت رم. الگوریتم‌های مرتب‌سازی سنتی مانند Quicksort یا Mergesort (در حالت استاندارد) عملاً غیرممکن هستند، زیرا نمی‌توانند کل داده را در حافظه بارگذاری کنند. سیستم مجبور می‌شود به طور مداوم بخش‌هایی از داده را بین رم و دیسک جابجا کند که این فرآیند به دلیل سرعت بسیار پایین‌تر دیسک نسبت به رم، ساعت‌ها یا حتی روزها به طول می‌انجامد.

الگوریتم‌های کارآمد I/O این مشکل را با مدل‌سازی صریح هزینه دسترسی به دیسک حل می‌کنند. آن‌ها با خواندن و نوشتن داده‌ها در بلوک‌های بزرگ و طراحی هوشمندانه دسترسی به داده‌ها، تعداد کل عملیات I/O را به حداقل می‌رسانند. این رویکرد، ستون فقرات سیستم‌های مدیریت پایگاه داده مدرن (DBMS)، سیستم‌های اطلاعات جغرافیایی (GIS)، موتورهای جستجو و ابزارهای پردازش داده‌های کلان است.

این دوره یک نقشه راه کامل برای تسلط بر مفاهیم نظری و عملی الگوریتم‌های حافظه خارجی است. پس از اتمام این دوره، شما قادر خواهید بود:

• مدل حافظه خارجی (External Memory Model): درک عمیق مدل محاسباتی که در آن هزینه الگوریتم بر اساس تعداد انتقالات بلوک داده بین حافظه اصلی و جانبی سنجیده می‌شود.
• طراحی الگوریتم‌های I/O-Efficient: یادگیری تکنیک‌های اساسی برای طراحی الگوریتم‌هایی که عملیات I/O را به حداقل می‌رسانند.
• ساختمان داده‌های خارجی: تسلط بر ساختمان داده‌های کلیدی مانند B-Tree و مشتقات آن (B+-Tree, B*-Tree) که اساس کار پایگاه‌های داده رابطه‌ای هستند.
• الگوریتم‌های مرتب‌سازی خارجی: پیاده‌سازی و تحلیل الگوریتم‌هایی مانند External Merge Sort برای مرتب‌سازی داده‌های حجیم.
• الگوریتم‌های گراف: بررسی روش‌های کارآمد برای پردازش گراف‌های عظیم که در حافظه اصلی جای نمی‌گیرند، مانند یافتن کوتاه‌ترین مسیر یا اجزای همبند.
• کاربردهای عملی: شناخت کاربرد این الگوریتم‌ها در دنیای واقعی، از بهینه‌سازی کوئری‌های SQL گرفته تا پردازش داده‌های مکانی در GIS.

محتوای دوره به صورت ماژولار و گام‌به‌گام طراحی شده تا یادگیری را برای شما ساده و مؤثر سازد:

• فصل اول: مقدمه و مدل‌سازی
  • معرفی مشکل گلوگاه I/O
  • مقایسه سلسله‌مراتب حافظه (Cache, RAM, Disk)
  • معرفی رسمی مدل حافظه خارجی (EM Model)
  • تحلیل ساده الگوریتم‌های اسکن و جستجو
• فصل دوم: ساختمان داده‌های کارآمد I/O
  • بررسی عمیق B-Tree: درج، حذف و جستجو
  • تحلیل هزینه I/O در B-Tree
  • آشنایی با B+-Tree و کاربرد آن در ایندکس‌گذاری پایگاه داده
  • ساختمان داده‌های خارجی برای مسائل هندسی (K-d-tree, R-tree)
• فصل سوم: الگوریتم‌های اساسی حافظه خارجی
  • مرتب‌سازی خارجی (External Sorting): الگوریتم چندراهه ادغامی
  • انتخاب و توزیع در حافظه خارجی
  • الگوریتم‌های مبتنی بر هشینگ برای عملیات Set
• فصل چهارم: الگوریتم‌های گراف در حافظه خارجی
  • نمایش گراف‌های حجیم
  • الگوریتم‌های پیمایش گراف (BFS و DFS) به صورت I/O-Efficient
  • محاسبه اجزای همبند و درخت پوشای کمینه
• فصل پنجم: موضوعات پیشرفته و کاربردها
  • الگوریتم‌های Cache-Oblivious: طراحی الگوریتم بدون اطلاع از پارامترهای حافظه
  • پردازش رشته‌ها و متون حجیم
  • ارتباط با سیستم‌های پردازش موازی و توزیع‌شده مانند MapReduce
  • مطالعه موردی: بهینه‌سازی یک کوئری پیچیده در یک سیستم پایگاه داده

این دوره تخصصی برای طیف وسیعی از متخصصان و دانشجویان حوزه کامپیوتر طراحی شده است:

• دانشجویان تحصیلات تکمیلی علوم کامپیوتر: که به دنبال درک عمیق‌تری از مباحث پیشرفته الگوریتم‌ها هستند.
• مهندسان نرم‌افزار و توسعه‌دهندگان بک‌اند: که با سیستم‌های داده‌محور و پایگاه‌های داده بزرگ سروکار دارند.
• معماران پایگاه داده و مدیران سیستم: که مسئول طراحی و بهینه‌سازی عملکرد سیستم‌های ذخیره‌سازی داده هستند.
• دانشمندان داده و مهندسان داده: که نیاز به پردازش و تحلیل مجموعه داده‌های عظیم برای مدل‌سازی و استخراج دانش دارند.
• محققان در حوزه‌های محاسباتی: مانند بیوانفورماتیک یا فیزیک که با شبیه‌سازی‌ها و داده‌های حجیم کار می‌کنند.

برای بهره‌وری حداکثری از این دوره، دانش‌پذیران باید با مفاهیم زیر آشنایی کافی داشته باشند:

• مبانی الگوریتم و ساختمان داده: تسلط کامل بر مفاهیمی مانند تحلیل پیچیدگی زمانی و فضایی (Big O notation)، الگوریتم‌های مرتب‌سازی و جستجوی استاندارد، و ساختمان داده‌هایی مانند لیست پیوندی، درخت و گراف.
• تجربه برنامه‌نویسی: مهارت در حداقل یک زبان برنامه‌نویسی مانند C++, Java یا Python برای درک بهتر مثال‌ها و پیاده‌سازی‌های احتمالی.
• آشنایی با معماری کامپیوتر: درک اولیه از نحوه کارکرد حافظه، تفاوت سرعت بین RAM و دیسک، و مفهوم سلسله‌مراتب حافظه.

با تهیه این دوره بر روی فلش مموری ۳۲ گیگابایتی، شما یک منبع آموزشی ارزشمند و دائمی برای یکی از مهم‌ترین چالش‌های مهندسی نرم‌افزار مدرن در اختیار خواهید داشت و خود را برای حل مسائل بزرگ مقیاس در دنیای فناوری آماده خواهید کرد.