رباتیک جراحی به سرعت از هدایت از راه دور (Teleoperation) به سمت سیاست‌های هوش مصنوعی بینایی-زبانی-حرکتی (Vision-Language-Action Policies) توانمندتر در حال حرکت است. با این حال، ارزیابی و آموزش این سیستم‌ها همچنان چالش‌برانگیز است؛ پلتفرم‌های رباتیک فیزیکی گران‌قیمت هستند، تکرار آزمایش‌ها کند است و خطاهای احتمالی می‌توانند به ابزارها یا بافت‌های بیولوژیکی آسیب بزنند. اگرچه شبیه‌سازهای سنتی جایگزین ایمن‌تری محسوب می‌شوند، اما مدل‌سازی صحنه‌های جراحی فوق‌العاده پیچیده است؛ چراکه بافت‌های تغییرشکل‌پذیر، تعاملات دقیق ابزارها، سطوح منعکس‌کننده نور، بخیه‌ها، سوزن‌ها، دود و انسدادهای بصری همگی نقش تعیین‌کننده‌ای دارند.
مدل‌های پایه جهان (World Foundation Models) مسیر متفاوتی را ارائه می‌دهند. این مدل‌ها به جای طراحی دستی هر شیء و تعامل فیزیکی، دینامیک‌های بصری را مستقیماً از ویدیوهای همگام‌سازی‌شده و کینماتیک (Kinematics) ربات یاد می‌گیرند. پیش‌تر، مدل Cosmos-H-Surgical-Simulator انویدیا با تولید ویدیوهای آینده جراحی بر اساس فریم اولیه و اقدامات ربات، این رویکرد را اثبات کرد و ارزیابی سریع‌تر و تولید داده‌های سنتز شده را در اکوسیستم Open-H-Embodiment ممکن ساخت.
امروز انویدیا گام بعدی را با معرفی Cosmos-H-Dreams برداشته است؛ یک شبیه‌ساز مولد بی‌درنگ (Real-Time) و شرطی‌شده با عمل برای رباتیک جراحی. Cosmos-H-Dreams قابلیت‌های مدل قبلی را در یک مدل دانش‌آموز علی (Causal Student Model) چندمرحله‌ای تقطیر (Distill) کرده و آن را از طریق کتابخانه استنتاج استریمینگ FlashDreams ارائه می‌دهد. این سیستم با اجرا روی یک کارت گرافیک NVIDIA RTX PRO 6000، محیطی تعاملی ایجاد می‌کند که توسط انسان یا سیاست‌های هوش مصنوعی در یک حلقه بسته (Closed-Loop) قابل کنترل است.
۱. از مدل جهان جراحی تا شبیه‌ساز تعاملی
مدل Cosmos-H-Surgical-Simulator یک مدل پایه جهان شرطی‌شده با عمل است که بر پایه NVIDIA Cosmos-Predict2.5-2B ساخته شده و روی مجموعه داده Open-H-Embodiment پس‌آموزش دیده است. با دریافت یک فریم جراحی و مسیر حرکت آینده ربات، این مدل ویدیوهای محتمل از عواقب بصری آن اقدامات را تولید می‌کند.
مدل Cosmos-H-Dreams این فرایند را وارد پردازش بی‌درنگ می‌کند. با بهره‌گیری از پیش‌فرض‌های جراحی، این مدل برای مجموعه داده بخیه‌زنی داوینچی (dVRK) تخصصی شده و به یک مدل دانش‌آموز علی تبدیل شده است که صحنه را به صورت خودبازگشتی (Autoregressively) بازتولید می‌کند. مدل منتشر شده، فریم اولیه RGB و جریان زنده کینماتیک ربات را دریافت کرده و فریم‌های بعدی را پیش از دریافت بلوک بعدی عمل تولید می‌کند. همچنین با همکاری شرکت‌های CMR Surgical و Cambridge Consultants، یکپارچه‌سازی این مدل با کنترل‌کننده جراح Versius جهت عملیات بی‌درنگ به اثبات رسیده است.
۲. تقطیر مدل برای پردازش بی‌درنگ
چالش اصلی در این فرایند، حفظ دینامیک‌های جراحی در عین کاهش هزینه محاسباتی است. Cosmos-H-Dreams از یک خط لوله آموزش معلم به دانش‌آموز (Teacher-to-Student) بهره می‌برد:
- معلم جراحی: مدل معلم روی مجموعه داده شامل مانورهای موفق و همچنین حالات شکست (مانند افتادن سوزن یا گره‌های ناموفق) fine-tune می‌شود تا عواقب اقدامات اشتباه را نیز به درستی بازتولید کند.
- گرم‌کردن علی (Causal Warmup): افق زمانی آموزش به تدریج تا ۷۲ فریم افزایش می‌یابد تا پایداری مدل در تولیدهای طولانی‌مدت تضمین شود.
- تقطیر با اجبار خودی (Self-Forcing Distillation): مدل‌های خودبازگشتی در زمان استنتاج ممکن است دچار انباشت خطا شوند. با تقطیر Self-Forcing، مدل دانش‌آموز حین آموزش از خروجی‌های تولیدی خود استفاده می‌کند تا برای شرایط واقعی تعاملی آماده شود. این فرایند نیاز به مراحل دیفیوژن را به تنها ۲ مرحله به ازای هر فریم کاهش می‌دهد.
۳. FlashDreams: موتور استنتاج بی‌درنگ
توسعه مدل تنها بخشی از مسیر است. Cosmos-H-Dreams از طریق FlashDreams ارائه می‌شود؛ کتابخانه استنتاج شتاب‌یافته‌ای که با بهینه‌سازی حافظه کش KV و capturing گراف‌های CUDA، سرعت تولید فریم را از ۱۰ فریم بر ثانیه در مدل‌های قبلی به ۱۶۰ فریم بر ثانیه روی یک GPU واحد RTX PRO 6000 می‌رساند.
این پلتفرم از رابط‌های کاربری مختلف پشتیبانی می‌کند؛ از جمله کنترل بر بستر وب با WebRTC، کنترل از طریق هدست‌های واقعیت مجازی Meta Quest با استاندارد WebXR و اتصال مستقیم به سیاست‌های یادگیری تعاملی.
۴. توسعه و گام‌های بعدی: به سوی هوش مصنوعی فیزیکی جراحی
انویدیا راهنمای کامل fine-tune و تقطیر مدل را منتشر کرده است تا محققان بتوانند مدل را برای داده‌ها و ربات‌های اختصاصی خود بومی‌سازی کنند. هدف بعدی پروژه، فراتر رفتن از ارزیابی کیفیت بصری و سنجش معیارهایی نظیر دقت جابه‌جایی ابزار، پایداری فریم‌ها در طولانی‌مدت و تطابق نتایج شبیه‌سازی با ربات واقعی است.
مدل‌های بی‌درنگ جهان می‌توانند به عنوان بستر آموزش یادگیری تقویتی، تولید حالات نادر شکست و ارزیابی سریع سیاست‌های هوش مصنوعی جراحی بدون نیاز به سخت‌افزارهای گران‌قیمت واقعی عمل کنند.
اگرچه Cosmos-H-Dreams یک پلتفرم پژوهشی است و نه یک سیستم تشخیصی یا جایگزین تصویربرداری حین عمل، اما پایه‌ای قوی برای آینده جراحی از راه دور، تمرین تعاملی جراحی و هوش مصنوعی فیزیکی (Physical AI) فراهم می‌سازد.