سربراس از آندرومدا، ابررایانه‌ای با هوش مصنوعی ۱۳.۵ میلیون هسته‌ای رونمایی کرد که مقیاس‌بندی خطی تقریباً عالی را برای مدل‌های زبان بزرگ ارائه می‌کند.


Cerebras Systems، پیشگام در تسریع محاسبات هوش مصنوعی (AI)، امروز از آندرومدا، ابررایانه هوش مصنوعی ۱۳.۵ میلیون هسته‌ای، که اکنون در دسترس است و برای کارهای تجاری و دانشگاهی استفاده می‌شود، رونمایی کرد. آندرومدا که با مجموعه‌ای از 16 سیستم Cerebras CS-2 و بهره‌گیری از فناوری‌های Cerebras MemoryX و SwarmX ساخته شده است، بیش از یک اگزافلوپ محاسبات هوش مصنوعی و 120 پتافلاپ محاسبات متراکم را با دقت نیمه‌دقت 16 بیت ارائه می‌کند. این تنها ابرکامپیوتر هوش مصنوعی است که تا کنون مقیاس‌بندی خطی تقریباً کاملی را در حجم‌های کاری مدل زبانی بزرگ با تکیه بر موازی‌سازی ساده داده‌ها نشان می‌دهد.

آندرومدا با بیش از 13.5 میلیون هسته محاسباتی بهینه سازی شده با هوش مصنوعی و 18176 پردازنده نسل سوم AMD EPYC، دارای هسته های بیشتر از 1953 پردازنده گرافیکی Nvidia A100 و 1.6 برابر بیشتر از بزرگترین ابررایانه جهان، Frontier، که دارای 8.7 میلیون هسته است، دارد. . برخلاف هر خوشه شناخته شده مبتنی بر GPU، Andromeda مقیاس تقریباً کامل را از طریق موازی سازی ساده داده در مدل های زبان کلاس GPT بزرگ، از جمله GPT-3، GPT-J، و GPT-NeoX ارائه می دهد.

مقیاس تقریباً کامل به این معنی است که وقتی از CS-2 اضافی استفاده می شود، زمان تمرین به نسبت تقریباً کامل کاهش می یابد. این شامل مدل‌های زبان بزرگ با طول توالی بسیار زیاد می‌شود، کاری که انجام آن در GPU غیرممکن است. در واقع، کار غیرممکن GPU توسط یکی از پذیرندگان اولیه Andromeda نشان داده شد که به مقیاس تقریباً عالی در GPT-J با 2.5 میلیارد و 25 میلیارد پارامتر با طول مدت طولانی – MSL 10240 دست یافت. کاربران نیز تلاش کردند همین کار را انجام دهند. کار روی Polaris، یک خوشه 2000 Nvidia A100، و GPU ها به دلیل محدودیت حافظه GPU و پهنای باند حافظه قادر به انجام این کار نبودند.

اکنون دسترسی به آندرومدا در دسترس است و مشتریان و محققان دانشگاهی در حال حاضر در حال اجرای بارهای کاری در دنیای واقعی هستند و از قابلیت‌های فوق‌العاده ابرکامپیوتر هوش مصنوعی پیشرو، از جمله:

  • آزمایشگاه ملی Argonne: “با همکاری محققان در Cerebras، تیم ما در Argonne کار پیشگامی را بر روی ترانسفورماتورهای ژنی به پایان رساند – کاری که فینالیست جایزه ویژه ACM Gordon Bell برای تحقیقات COVID-19 بر اساس HPC با استفاده از GPT3-XL است. کل ژنوم COVID-19 را در پنجره توالی قرار داد، و آندرومدا بار کاری ژنتیکی منحصربه‌فرد ما را با طول‌های توالی طولانی (MSL 10K) در 1، 2، 4، 8 و 16 گره، با مقیاس‌بندی خطی تقریباً عالی اجرا کرد. ریک استیونز، مدیر آزمایشگاه در Argonne National گفت: ویژگی‌های مورد نظر یک خوشه بزرگ و توان عملیاتی Cerebras Andromeda در 16 سیستم CS-2 در مقایسه با یک CS-2 منفرد 15.87 برابر افزایش یافته است. آزمایشگاه.
  • JasperAI: “Jasper از مدل‌های زبان بزرگ برای نوشتن متن برای بازاریابی، تبلیغات، کتاب و غیره و مقیاس‌بندی مدل‌های متناسب با هر مشتری و موارد استفاده آنها استفاده می‌کند. ایجاد سیستم‌های پیچیده جدید هوش مصنوعی و ارائه آنها به مشتریان در سطوح فزاینده نیاز به جزئیات دیو روگنموسر، مدیر عامل JasperAI گفت: ما از شراکت با Cerebras هیجان زده هستیم و از عملکرد تقریباً عالی و مقیاس پذیری “Andromeda بدون محاسبات توزیع شده سنتی و برنامه نویسی موازی برای طراحی و بهینه سازی مجموعه مدل های بعدی خود استفاده می کنیم.” .
  • AMD: «AMD در حال سرمایه‌گذاری در فناوری است که راه را برای هوش مصنوعی فراگیر هموار می‌کند و قابلیت‌های جدید کارایی و چابکی را برای کسب‌وکارها باز می‌کند. کوماران سیوا، معاون شرکت، نرم‌افزار و سیستم‌ها، گفت: ترکیب ابررایانه‌ی هوش مصنوعی Cerebras Andromeda و خط لوله پیش‌پردازش داده‌ها با سرورهای AMD EPYC، ظرفیت بیشتری را در اختیار محققان قرار می‌دهد و از قابلیت‌های هوش مصنوعی سریع‌تر و عمیق‌تر پشتیبانی می‌کند. توسعه کسب و کار، AMD.
  • دانشگاه کمبریج: “این فوق العاده است که سربراس به دانشجویان فارغ التحصیل دسترسی رایگان به چنین خوشه بزرگی ارائه کرده است. آندرومدا 13.5 میلیون هسته هوش مصنوعی و مقیاس خطی تقریباً عالی را در بزرگترین مدل ها بدون دردسر محاسبات توزیع شده و برنامه نویسی موازی ارائه می دهد. ماتئو اسپینوزا، دانشجوی دکترا در دانشگاه کمبریج در بریتانیا، گفت: رویای هر دانشجوی کارشناسی ارشد ML است.

مقیاس تقریباً کامل آندرومدا در بزرگترین مدل‌های پردازش زبان طبیعی توسط موتور مقیاس ویفر سربراس (WSE-2)، بزرگترین و قدرتمندترین پردازنده در صنعت، و با فناوری‌های MemoryX و Swarm X Cerebras امکان‌پذیر شده است. MemoryX حتی به یک CS-2 اجازه می دهد تا از مدل های چند تریلیون پارامتری پشتیبانی کند. فناوری SwarmX MemoryX را به خوشه‌ای از CS-2 متصل می‌کند. با هم، این فناوری‌های پیشرفته به خوشه‌های بزرگ Cerebras اجازه می‌دهند از دو چالش اصلی پیش روی خوشه‌های سنتی مورد استفاده برای کارهای هوش مصنوعی مدرن اجتناب کنند: پیچیدگی برنامه‌نویسی موازی و کاهش عملکرد محاسبات توزیع‌شده.

16 CS-2 که آندرومدا را تامین می کند در حالت کاملاً موازی داده عمل می کند و امکان توزیع مدل ساده و آسان و مقیاس بندی تک لمسی از 1 تا 16 CS-2 را فراهم می کند. در واقع، ارسال کارهای هوش مصنوعی به آندرومدا می تواند به سرعت و بدون دردسر از لپ تاپ Jupyter انجام شود و کاربران می توانند تنها با چند ضربه کلید بین مدل ها جابجا شوند. 16 CS-2 آندرومدا تنها در 3 روز، بدون هیچ تغییری در کد، مونتاژ شدند و بلافاصله پس از آن، حجم کاری به صورت خطی در تمام 16 سیستم افزایش یافت. و از آنجایی که پردازنده Cerebras WSE-2، در قلب CS-2 های خود، 1000 برابر پهنای باند حافظه بیشتر از یک GPU دارد، Andromeda می تواند پراکندگی ساختاریافته و بدون ساختار و همچنین پراکندگی ایستا و پویا را بدست آورد. اینها چیزهایی هستند که دیگر شتاب دهنده های سخت افزاری، از جمله پردازنده های گرافیکی، به سادگی نمی توانند انجام دهند. نتیجه این است که Cerebras می‌تواند بیش از 90 درصد مدل‌های پراکنده را با دقت پیشرفته آموزش دهد.

Andromeda می تواند به طور همزمان توسط چندین کاربر استفاده شود. کاربران می توانند به راحتی مشخص کنند که چند دستگاه Andromeda CS-2 می خواهند در چند ثانیه استفاده کنند. این بدان معناست که Andromeda می تواند به عنوان یک خوشه از 16 ابررایانه CS-2 برای یک کاربر منفرد که روی یک کار کار می کند، یا 16 سیستم CS-2 مجزا برای شانزده کاربر مجزا با شانزده کار جداگانه یا هر ترکیبی در میان استفاده شود.

Andromeda در سانتا کلارا، کالیفرنیا در 16 رک در Colovore، یک مرکز داده پیشرو با کارایی بالا مستقر شده است. 16 سیستم CS-2، با مجموع 13.5 میلیون هسته بهینه شده با هوش مصنوعی، توسط 284 پردازنده 64 هسته ای نسل سوم AMD EPYC تغذیه می شوند. فابریک SwarmX که محلول ذخیره‌سازی پارامتر MemoryX را به 16 CS-2 متصل می‌کند، بیش از 96.8 ترابیت پهنای باند فراهم می‌کند. به لطف انباشتگی گرادیان ها، آندرومدا می تواند از تمام اندازه های دسته ای پشتیبانی کند.

برای اطلاعات بیشتر در مورد ابررایانه Cerebras Andromeda، لطفاً به www.cerebras.net/andromeda مراجعه کنید.



مرجع اخبار سخت افزار کامپیوترایران