با ورود صنعت فناوری به عصر استنتاج هوش مصنوعی (AI Inference)، زیرساخت‌های سنتی فناوری اطلاعات دیگر پاسخگوی نیازهای پردازشی جدید نیستند. بارهای کاری استنتاجی برخلاف مراحل آموزش مدل‌ها، ماهیتی مداوم، توزیع‌شده و به‌شدت حساس به تأخیر (Latency) دارند. این تغییر رویکرد، تمرکز سازمان‌ها را از توان پردازشی صرف (Compute) به سمت بهینه‌سازی یکپارچه زیرساخت‌ها، به‌ویژه در بخش‌های حافظه (Memory)، ذخیره‌سازی (Storage) و شبکه معطوف کرده است.
جیم مک‌گرگور (Jim McGregor)، بنیان‌گذار و تحلیل‌گر ارشد مؤسسه Tirias Research، معتقد است که هوش مصنوعی یک بار کاری واحد نیست، بلکه شامل میلیاردها بار کاری متفاوت است. به گفته او، مراکز داده امروزی باید از خدمات هوش مصنوعی مداوم و بلادرنگ پشتیبانی کنند که هرکدام نیازمندی‌های سیستمی خاص خود را دارند. در این میان، انتقال داده‌ها به بزرگ‌ترین گلوگاه تبدیل شده است. روش‌های نوین مانند «تولید افزوده بازیابی» (RAG) برای ارائه پاسخ‌های دقیق، نیازمند جست‌وجوی مداوم در پایگاه‌های داده عظیم هستند که این امر اهمیت پهنای باند حافظه و سرعت دسترسی به داده‌ها را دوچندان می‌کند.
ضرورت رویکرد معماری یکپارچه و ماژولار
برای غلبه بر این چالش‌ها، سازمان‌ها نباید حافظه و ذخیره‌سازی را صرفاً به عنوان سخت‌افزارهای جانبی در نظر بگیرند. یک زیرساخت کارآمد هوش مصنوعی باید به عنوان سیستمی متوازن از چهار رکن پردازش، حافظه، ذخیره‌سازی و شبکه طراحی شود. مک‌گرگور تأکید می‌کند که بهبود عملکرد به ازای هر وات مصرفی و کاهش هزینه‌های عملیاتی، مستلزم شناخت دقیق بارهای کاری و پرهیز از سرمایه‌گذاری‌های عمومی و بدون هدف تحت عنوان «آمادگی برای هوش مصنوعی» است.
بر اساس تحلیل‌های ارائه‌شده، چارچوب پیشنهادی برای خرید و توسعه زیرساخت‌های هوش مصنوعی شامل سه گام کلیدی است: نخست، تعریف دقیق بارهای کاری هوش مصنوعی متناسب با نیازهای تجاری؛ دوم، طراحی یک معماری ماژولار برای بخش‌های پردازش، حافظه، ذخیره‌سازی، توان مصرفی و سیستم‌های سرمایشی جهت حفظ انعطاف‌پذیری؛ و سوم، همکاری با اکوسیستم متنوعی از تأمین‌کنندگان برای کاهش ریسک‌های زنجیره تأمین.