Google DeepMind، آزمایشگاه تحقیقاتی هوش مصنوعی گوگل، تحقیقات جدیدی را در مورد آموزش مدلهای هوش مصنوعی منتشر کرده است که ادعا میکند سرعت تمرین و بازده انرژی را تا حد زیادی افزایش میدهد و 13 برابر کارایی بیشتر و بازده انرژی ده برابر بیشتر از روشهای دیگر دارد. روش جدید آموزش JEST به موقع و با داغ شدن مکالمات در مورد تأثیرات زیست محیطی مراکز داده هوش مصنوعی ارائه می شود.
روش DeepMind که JEST یا انتخاب نمونه مشترک نامیده میشود، به روشی ساده از تکنیکهای آموزش مدلهای هوش مصنوعی سنتی جدا میشود. روشهای آموزشی معمولی بر روی نقاط داده فردی برای آموزش و یادگیری تمرکز دارند، در حالی که JEST بر اساس کل دستهها آموزش میدهد. روش JEST ابتدا یک مدل هوش مصنوعی کوچکتر ایجاد می کند که کیفیت داده ها را از منابع بسیار با کیفیت درجه بندی می کند و دسته ها را بر اساس کیفیت رتبه بندی می کند. سپس آن درجه بندی را با مجموعه ای بزرگتر و با کیفیت پایین تر مقایسه می کند. مدل JEST کوچک، دستههایی را که مناسبترین برای آموزش هستند تعیین میکند و سپس یک مدل بزرگ از یافتههای مدل کوچکتر آموزش داده میشود.
خود مقاله که در اینجا موجود است، توضیح کامل تری از فرآیندهای مورد استفاده در مطالعه و آینده تحقیق ارائه می دهد.
محققان DeepMind در مقاله خود به صراحت بیان می کنند که این “توانایی هدایت فرآیند انتخاب داده به سمت توزیع مجموعه داده های کوچکتر و به خوبی تنظیم شده” برای موفقیت روش JEST ضروری است. موفقیت کلمه صحیح این تحقیق است. DeepMind ادعا می کند که “رویکرد ما از مدل های پیشرفته با حداکثر 13 تکرار کمتر و 10 برابر محاسبات کمتر پیشی می گیرد.”
البته، این سیستم کاملاً بر کیفیت دادههای آموزشی خود متکی است، زیرا تکنیک بوت استرپینگ بدون مجموعه دادهای با بالاترین کیفیت ممکن توسط انسان از بین میرود. مانترا “زباله داخل، زباله بیرون” در هیچ کجا درست تر از این روش نیست، که تلاش می کند در روند آموزشی خود “از جلو پرش کند”. این امر، تطبیق روش JEST را برای علاقهمندان یا توسعهدهندگان آماتور هوش مصنوعی بسیار دشوارتر از سایرین میکند، زیرا احتمالاً مهارتهای تحقیقاتی در سطح متخصص برای تنظیم دادههای آموزشی با بالاترین درجه اولیه لازم است.
تحقیقات JEST خیلی زود انجام نمی شود، زیرا صنعت فناوری و دولت های جهان در حال شروع بحث در مورد نیازهای قدرت شدید هوش مصنوعی هستند. حجم کاری هوش مصنوعی در سال 2023 حدود 4.3 گیگاوات بود که تقریباً با مصرف برق سالانه کشور قبرس مطابقت داشت. و همه چیز قطعا کند نمی شود: یک درخواست ChatGPT 10 برابر بیشتر از جستجوی گوگل در قدرت هزینه دارد، و مدیر عامل Arm تخمین می زند که هوش مصنوعی یک چهارم شبکه برق ایالات متحده را تا سال 2030 اشغال خواهد کرد.
اینکه آیا و چگونه روش های JEST توسط بازیگران اصلی در فضای هوش مصنوعی اتخاذ می شود، هنوز مشخص نیست. طبق گزارشها، آموزش GPT-4o 100 میلیون دلار هزینه دارد و مدلهای بزرگتر آینده ممکن است به زودی به مرز میلیارد دلاری برسند، بنابراین شرکتها احتمالاً به دنبال راههایی برای نجات کیف پول خود در این بخش هستند. امیدواران فکر میکنند که از روشهای JEST برای حفظ نرخ بهرهوری آموزشی فعلی در مصرف انرژی بسیار پایینتر استفاده میشود و هزینههای هوش مصنوعی را کاهش میدهد و به سیاره کمک میکند. با این حال، به احتمال بسیار بیشتر این است که ماشین سرمایه، پدال را به فلز نگه دارد، با استفاده از روشهای JEST برای حفظ حداکثر توان مصرفی برای خروجی تمرین بسیار سریع. صرفه جویی در هزینه در مقابل مقیاس خروجی، چه کسی برنده خواهد شد؟
مرجع اخبار سخت افزار کامپیوترایران
تحریریه Techpowerup