انور محمودی

خرده فروشان از فروشگاه های مد گرفته تا فروشگاه های خواربارفروشی، باید تصمیم بگیرند که در هر دوره چه مقداری از هر محصول را سفارش دهند و با چه قیمتی هرکدام را بفروشند. چالش اصلی آن ها وقتی است که دسترسی به اطلاعات کاملی در مورد توزیع تقاضای مشتریان برخی از محصولات موجود نباشد. در این صورت موجودی کالا خیلی به پیش بینی های تقاضا بستگی پیدا خواهد کرد، چون مقدار سفارش ناصحیح منجر به ذخایر ایمنی ناکافی (کمبود موجودی)، خدمات کم و هزینه های بالا می شود. ازاین رو، در پژوهش پیش رو به مسئله ی قیمت گذاری و کنترل موجودی محصول فاسدشدنی در هر دوره پرداخته می شود که دارای طول عمر دو دوره ای بوده و تقاضای محصول تازه و غیر تازه در هر دوره تصادفی و وابسته به قیمت است. ضمن این که موجودی باقی مانده محصول تازه ی هر دوره به دوره ی بعدی آن منتقل می گردد، درصورتی که تقاضا در هر دوره بیشتر از مقادیر سفارش داده شده باشد، سانسور می شود. تصمیم گیری درباره تعیین قیمت های فروش و مقدار سفارش مجدد موجودی هر دوره در شرایطی انجام می شود که هیچ گونه اطلاعات قبلی در مورد توابع تقاضای مشتریان ازجمله وابستگی آن به قیمت فروش و توزیع عدم اطمینان در نوسان تقاضا در دسترس نیست. ازاین رو باید تصمیم گیری های قیمت گذاری و سفارش دهی بر اساس داده های تقاضای تاریخی انجام گیرد. همچنین به دلیل محدودیت های بازار باید تعداد تغییرات قیمتی در افق برنامه ریزی را محدود ساخت. در این پژوهش، بعد از مدل سازی مساله، با استفاده از مفاهیم یادگیری تقویتی و الگوریتم های q-learning و sarsa مدل حل می گردد. تحلیل و بررسی نمودارهای همگرایی و سیاست های بهینه ی تخمینی هر الگوریتم نشان می دهند که با طی شدن اپیزودها به جواب حاصل از حل مسئله با فرض اطلاعات کامل همگرا می شوند. اما به دلیل off-policy بودن، الگوریتم q-learning به طی کردن اپیزودهای کمتری نسبت به الگوریتم sarsa جهت همگرا شدن نیاز دارد. همچنین با تحلیل حساسیت بر روی نحوه ی تعریف بازه های متغیرهای تصمیم مسئله این نتیجه حاصل گردید که با افزایش طول بازه ها می توان بر روی همگرایی و تخمین های الگوریتم ها تاثیر گذاشت