شاهرخ اسمعیلی

یادگیری ماشین که پیشرفت‌های نظری زیادی ایجاد کرده است و به‌طور گسترده در زمینه‌های مختلف کاربرد دارد، به‌سرعت در حال توسعه است. بهینه‌سازی به‌عنوان بخش مهمی از یادگیری ماشین توجه بسیاری از پژوهشگران را به خود جلب کرده است. با رشد تصاعدی حجم داده‌ها و افزایش پیچیدگی مدل، روش‌های بهینه‌سازی در یادگیری ماشین با چالش‌های بیشتری مواجه می‌شوند. کارهای زیادی بر روی حل مسائل بهینه‌سازی یا بهبود روش‌های بهینه‌سازی در یادگیری ماشین به‌طور پیاپی پیشنهاد شده است. مرور اصولی و خلاصۀ روش‌های بهینه‌سازی از دیدگاه یادگیری ماشین از اهمیت زیادی برخوردار است، چرا که می‌تواند راهنمایی‌هایی را برای پیشرفت‌های بهینه‌سازی و پژوهش‌های یادگیری ماشین ارائه دهد. در این پایان‌نامه ابتدا مسائل بهینه‌سازی در یادگیری ماشین شرح داده می‌شوند. سپس به معرفی اصول و پیشرفت روش‌های بهینه‌سازی رایج می‌پردازیم.