بستر پردازش موازی توزیع شده برای پردازش تصویر جریانی بر اساس مدل یادگیری عمیق استنتاجی

اخیرا، با افزایش حجم داده های پخش ویدیوی بلادرنگ، سیستم های پردازش موازی توزیع شده به سرعت برای پردازش داده های در مقیاس بزرگ تکامل یافته اند. علاوه بر این، با افزایش مقیاس منابع محاسباتی که سیستم پردازش موازی توزیع شده را تشکیل می دهند، هماهنگ سازی فناوری برای مدیریت صحیح منابع محاسباتی، از نظر تخصیص منابع محاسباتی، راه اندازی یک محیط برنامه نویسی، و استقرار برنامه های کاربردی کاربر، حیاتی شده است. محبوبیت روزافزون پارادایم های مقیاس تا صفر بدون سرور، فرصتی برای استقرار مدل های یادگیری ماشینی برای کمک به کاهش هزینه های زیرساخت در زمانی که بسیاری از مدل ها ممکن است به طور مداوم در حال استفاده نباشند، ارائه می دهد. مجموعه داده های توزیع شده انعطاف پذیر (RDD) یک انتزاع حافظه توزیع شده میباشد که به برنامه نویسان اجازه می دهد محاسبات درون حافظه را روی خوشه های بزرگ به روشی مقاوم در برابر خطا انجام دهند. RDD ها توسط دو نوع برنامه ایجاد می شوند که چارچوب های محاسباتی فعلی را به صورت ناکارآمد مدیریت می کنند: الگوریتم های تکرار شونده و ابزارهای داده کاوی تعاملی. در هر دو مورد، نگهداری داده ها در حافظه می تواند عملکرد را با یک اندازه مرتبه بزرگی بهبود ببخشد. در این مقاله، ما یک پلت فرم پردازش موازی توزیع شده جدید برای پردازش تصویر در مقیاس بزرگ در زمان واقعی بر اساس استنتاج مدل یادگیری عمیق به نام DiPLIP ارائه می کنیم. این مدل طرحی را برای استنتاج تصویر در زمان واقعی، در مقیاس بزرگ با استفاده از لایه بافر و یک محیط پردازش موازی مقیاس پذیر، با توجه به اندازه تصویر جریان ارائه می دهد. این به کاربران اجازه می دهد تا به راحتی مدل های یادگیری عمیق آموزش دیده را با سرعت بالا، پردازش کنند.

کلیدواژه ها:

توزیع موازی ، بلادرنگ ، مدل یادگیری عمیق ، پردازش تصویر ، پردازش موازی