سرور استنتاج انویدیا تریتون با پردازنده‌های گرافیکی A100 Tensor Core، تبلیغات Bing را تقویت می‌کند

اگرچه سناریوها اغلب تغییر می کنند، اما هدف تیم یکسان است: ایجاد یک راه حل برنده برای کاربران و تبلیغ کنندگان.



مرجع اخبار سخت افزار کامپیوترایران

راه اندازی یک سیستم پیچیده
سرویس تبلیغات بینگ از صدها قالب استفاده می کند که دائما در حال تغییر هستند. هر کدام باید در کمتر از 10 میلی ثانیه به یک درخواست پاسخ دهند، تقریباً 10 برابر سریعتر از یک چشم به هم زدن. آخرین شتاب با دو نوآوری شروع شد که تیم برای سرعت بخشیدن به مدل های هوش مصنوعی ارائه کرد: Bang و EL-Attention. آنها با هم، تکنیک های پیچیده ای را برای انجام کارهای بیشتر در زمان کمتر با حافظه کم کامپیوتر به کار می برند. آموزش مدل بر اساس یادگیری ماشینی Azure برای کارایی بود.

پرواز با NVIDIA A100 MIG

سپس، تیم خدمات تبلیغاتی را از پردازنده‌های گرافیکی NVIDIA T4 به A100 ارتقا داد. ویژگی GPU چند نمونه ای (MIG) به کاربران اجازه می دهد یک GPU را به چند نمونه تقسیم کنند. تیم چن عملکرد MIG را بهینه کرد و یک A100 فیزیکی را به هفت دستگاه مستقل تبدیل کرد. این به تیم اجازه داد تا 7 برابر توان پردازشی در هر GPU با پاسخ استنتاج در 10 میلی ثانیه جمع آوری کند.

تسریع سیستم تبلیغات بینگ با تریتون در پردازنده‌های گرافیکی A100 نمونه‌ای از چیزی است که چن در مورد شغل خود دوست دارد. او شاهد پیشرفت هایی در زمینه هوش مصنوعی است.

نرم افزار انعطاف پذیر، ساده و باز
تریتون این تغییر را فعال کرد، تا حدی به این دلیل که به کاربران اجازه می‌دهد زمان‌های اجرا، فریمورک‌ها و حالت‌های هوش مصنوعی مختلف را به طور همزمان روی نمونه‌های مجزای یک GPU واحد اجرا کنند. نرم‌افزار استنتاج در یک محفظه نرم‌افزار عرضه می‌شود، بنابراین استقرار آن آسان است. و تریتون منبع باز – همچنین با امنیت در سطح سازمانی و پشتیبانی از طریق NVIDIA AI Enterprise در دسترس است – توسط جامعه ای پشتیبانی می شود که نرم افزار را در طول زمان بهبود می بخشد.

نرم‌افزار استنتاج به پردازنده‌های گرافیکی NVIDIA A100 Tensor Core ارتقا می‌یابد و توان عملیاتی 7 برابری را برای غول جستجو ارائه می‌کند. تیم جیوشنگ چن به تازگی شتاب گرفته است. به لطف سرور استنتاج تریتون NVIDIA که بر روی پردازنده‌های گرافیکی NVIDIA A100 Tensor Core اجرا می‌شود، آن‌ها تبلیغات شخصی‌سازی‌شده را با توان عملیاتی ۷ برابر با هزینه کمتر به کاربران مایکروسافت بینگ ارائه می‌کنند. این یک دستاورد باورنکردنی برای مدیر ارشد مهندسی نرم افزار و تیمش است.

تحریریه Techpowerup