مدیریت پردازندههای گرافیکی؛ چرا GPUهای بیکار حکم هواپیماهای زمینگیر را دارند؟
مدیریت پردازندههای گرافیکی (GPU Management) و بهینهسازی منابع پردازشی، به یکی از مباحث کلیدی در توسعه زیرساختهای هوش مصنوعی تبدیل شده است. مدل Dharma-AI/Dharma-OCR-LITE (یک مدل ۴ میلیارد پارامتری برای استخراج متن و جدول از تصاویر) نمونهای از ابزارهای کاربردی در این حوزه است که بر روی پلتفرمهای پردازشی اجرا میشود.
گفتگوهای جامعه کاربری درباره مدیریت ناوگان عاملهای هوش مصنوعی
در بحثهای مطرحشده میان متخصصان، چالشهای زیرساختی و زمانبندی پردازندهها به عنوان مسئله اصلی آینده هوش مصنوعی بررسی شده است:
blockquote>
مایکلیتون (Mikeleton): مرز بعدی در فناوری، مدیریت کل یک ناوگان از عاملها (Agent Fleet) است و هیچچیزی نمیتواند جلوی این مسیر را بگیرد.
blockquote>
گابریل پیمنتا (GabrielPimenta99 – نویسنده مقاله): موافقم. بخش مهمی که هنوز در قیمتگذاریها محاسبه نشده، این است که یک ناوگان از عاملها باعث میشود هزینه به ازای هر توکن به صورت خطی با رشد کسبوکار مقیاسپذیر شود. در یک نقطه، سازمانهای بزرگ پرداخت بر اساس این منحنی هزینهای را متوقف کرده و مدلها را به زیرساختهای داخلی (In-house) منتقل میکنند. این کار هزینه را از بین نمیبرد، بلکه صرفاً لیست قیمت تامینکننده را با یک «عدد بهرهوری» معاوضه میکند.
ناوگانهای عامل فشار بیرحمانهای به بهرهوری منابع وارد میکنند: استنتاج آنی (Real-time inference) تحت توافقنامههای سطح خدمات تاخیر (Latency SLAs)، پردازشهای دستهای (Batch jobs)، بازآموزی (Retraining) و ارزیابیها — همگی رفتاری نوسانی و ناگهانی دارند و همگی برای تصاحب یک استخر محدود از منابع در حال جنگ هستند. مدیریت این ناوگان، در اصل یک مسئله زمانبندی GPU (GPU Scheduling) خواهد بود.
blockquote>
بلکر۵۲۱ (blacker521): زمانبندی، گلوگاه اصلی (Core Bottleneck) این مشکل است. ایجاد یک مکانیسم جداسازی مشابه CPU یا یک معماری مبتنی بر محیط ایزوله (Sandbox) روی GPUها میتواند این چالش را به میزان چشمگیری کاهش دهد.