سرور استنتاج انویدیا تریتون با پردازنده‌های گرافیکی A100 Tensor Core، تبلیغات Bing را تقویت می‌کند

مرجع اخبار سخت افزار کامپیوترایران

راه اندازی یک سیستم پیچیده
سرویس تبلیغات بینگ از صدها قالب استفاده می کند که دائما در حال تغییر هستند. هر کدام باید در کمتر از 10 میلی ثانیه به یک درخواست پاسخ دهند، تقریباً 10 برابر سریعتر از یک چشم به هم زدن. آخرین شتاب با دو نوآوری شروع شد که تیم برای سرعت بخشیدن به مدل های هوش مصنوعی ارائه کرد: Bang و EL-Attention. آنها با هم، تکنیک های پیچیده ای را برای انجام کارهای بیشتر در زمان کمتر با حافظه کم کامپیوتر به کار می برند. آموزش مدل بر اساس یادگیری ماشینی Azure برای کارایی بود.

پرواز با NVIDIA A100 MIG

سپس، تیم خدمات تبلیغاتی را از پردازنده‌های گرافیکی NVIDIA T4 به A100 ارتقا داد. ویژگی GPU چند نمونه ای (MIG) به کاربران اجازه می دهد یک GPU را به چند نمونه تقسیم کنند. تیم چن عملکرد MIG را بهینه کرد و یک A100 فیزیکی را به هفت دستگاه مستقل تبدیل کرد. این به تیم اجازه داد تا 7 برابر توان پردازشی در هر GPU با پاسخ استنتاج در 10 میلی ثانیه جمع آوری کند.

تسریع سیستم تبلیغات بینگ با تریتون در پردازنده‌های گرافیکی A100 نمونه‌ای از چیزی است که چن در مورد شغل خود دوست دارد. او شاهد پیشرفت هایی در زمینه هوش مصنوعی است.

نرم افزار انعطاف پذیر، ساده و باز
تریتون این تغییر را فعال کرد، تا حدی به این دلیل که به کاربران اجازه می‌دهد زمان‌های اجرا، فریمورک‌ها و حالت‌های هوش مصنوعی مختلف را به طور همزمان روی نمونه‌های مجزای یک GPU واحد اجرا کنند. نرم‌افزار استنتاج در یک محفظه نرم‌افزار عرضه می‌شود، بنابراین استقرار آن آسان است. و تریتون منبع باز – همچنین با امنیت در سطح سازمانی و پشتیبانی از طریق NVIDIA AI Enterprise در دسترس است – توسط جامعه ای پشتیبانی می شود که نرم افزار را در طول زمان بهبود می بخشد.