مدیریت GPU: چرا پردازندههای گرافیکی بیکار حکم هواپیماهای زمینگیر را دارند؟
چالشهای جدید در مدیریت پردازندههای گرافیکی و ناوگان عاملها
با انتشار جزئیات مدل Dharma-AI/Dharma-OCR-LITE (یک مدل ۴ میلیارد پارامتری برای تبدیل تصویر و متن به متن) و برنامههای مرتبط با آن، بحثهای مهمی درباره زیرساختها و آینده هوش مصنوعی در جامعه شکل گرفته است.
دیدگاههای کارشناسان درباره مدیریت ناوگان عاملها
یکی از کاربران فعال جامعه با نام Mikeleton معتقد است که مرز بعدی در فناوری هوش مصنوعی، مدیریت یک ناوگان کامل از عاملها (Agent Fleet) است و هیچ مانعی برای این روند وجود ندارد.
در پاسخ به این دیدگاه، گابریل پیمنتا (GabrielPimenta99)، نویسنده مقاله، تحلیل دقیقی ارائه داد:
blockquote>
موافقم. بخشی که هنوز در محاسبه قیمتها لحاظ نشده، این است که یک ناوگان از عاملها باعث میشود هزینه بهازای هر توکن (Per-token cost) بهصورت خطی همراه با مقیاس کسبوکار رشد کند. در نقطهای، سازمانهای بزرگ پرداخت این منحنی هزینهای را متوقف کرده و مدلها را به زیرساختهای داخلی (In-house) منتقل میکنند. این کار هزینه را حذف نمیکند، بلکه فقط لیست قیمت فروشنده را با نرخ بهرهوری (Utilization number) جایگزین میکند.
blockquote>
او در ادامه تاکید میکند که ناوگانهای عامل فشار شدیدی بر نرخ بهرهوری وارد میکنند؛ چرا که استنتاجهای آنی تحت توافقنامههای سطح خدمات تاخیر (Latency SLAs)، پردازشهای دستهای (Batch jobs)، بازآموزی و ارزیابیها همگی ماهیت نوسانی (Bursty) دارند و برای استفاده از یک استخر محدود از منابع با هم به رقابت میپردازند. به همین دلیل، بخش عمدهای از مدیریت ناوگان عاملها، یک مسئله زمانبندی پردازندههای گرافیکی (GPU Scheduling) خواهد بود.
در ادامه، کاربری به نام blacker521 گلوگاه اصلی را زمانبندی دانسته و افزود:
blockquote>
زمانبندی گلوگاه اصلی این مشکل است. ایجاد یک مکانیزم جداسازی مانند CPU یا یک معماری مبتنی بر محیط ایزوله (Sandbox) روی GPUها میتواند این چالش را به میزان چشمگیری کاهش دهد.
blockquote>
بررسی وضعیت مدل Dharma-OCR-LITE
این مباحث در حاشیه انتشار مدل Dharma-OCR-LITE مطرح شده است؛ مدلی ۴ میلیارد پارامتری که برای استخراج متن و جداول از تصاویر اسناد طراحی شده و دموهای آن در فضاهای ابری اجرایی شده است.