مایندتاپو (MindTopo) معیاری جدید برای ارزیابی توانایی مدل‌های هوش مصنوعی چندوجهی در درک استدلال‌های توپولوژیکی است. این معیار بررسی می‌کند که آیا مدل‌ها می‌توانند مفاهیمی مانند اتصال، محصورشدگی، ترتیب، جدایی و گره‌خوردگی را درک کنند یا خیر.
این معیار هم استدلال و هم برنامه‌ریزی را می‌سنجد. به این معنا که نه تنها ارزیابی می‌کند که مدل‌ها آیا می‌توانند روابط توپولوژیکی را در تصاویر ایستا تشخیص دهند، بلکه بررسی می‌کند که آیا این مدل‌ها می‌توانند این روابط را در طول یک سری اقدامات حفظ کرده و دستکاری کنند یا خیر.
مدل‌های چندوجهی کنونی در تشخیص ایستا عملکرد بهتری نسبت به وظایف تعاملی دارند. این موضوع نشان می‌دهد که این مدل‌ها در حفظ درک ثابت از توپولوژی در طول زمان دچار مشکل هستند. شکست‌ها اغلب در مرحله برنامه‌ریزی رخ می‌دهند تا درک بصری. مدل‌ها ممکن است روابط ساختاری را در حین تغییر صحنه از دست بدهند یا اقداماتی پیشنهاد دهند که محدودیت‌های فیزیکی را نقض کند.
این یافته‌ها فرصتی مهم برای پیشرفت سیستم‌های هوش مصنوعی در حوزه رباتیک و محیط‌های تعاملی فراهم می‌کند. در چنین محیط‌هایی، درک این‌که چه چیزهایی به هم متصل، محصور، مرتب یا گره‌خورده باقی می‌مانند، برای تصمیم‌گیری‌های قابل اعتماد ضروری است.
آیا هوش مصنوعی می‌تواند تشخیص دهد که دو اتاق پس از افزودن دیوار همچنان به هم متصل هستند؟
آیا می‌تواند تشخیص دهد که یک حیوان داخل حصار است، گره واقعی را از حلقه درهم‌تنیده تشخیص دهد یا طناب‌هایی را بدون عبور از یکدیگر از هم جدا کند؟ این پرسش‌ها به توپولوژی سه‌بعدی مربوط می‌شوند. توپولوژی فضایی است که بر پایه روابط ساختاری بنا شده و نه بر اساس فاصله، زاویه یا شکل دقیق. اتصال، محصورشدگی، ترتیب و گره‌خوردگی از جمله ویژگی‌های توپولوژیکی هستند. این ویژگی‌ها لایه بنیادینی از درک فضایی انسان در علوم شناختی به شمار می‌روند، اما در ارزیابی سیستم‌های هوش مصنوعی چندوجهی به ندرت مورد توجه قرار گرفته‌اند.
چگونه مایندتاپو فضای توپولوژیکی را تعریف می‌کند
بیشتر ارزیابی‌های فضایی برای مدل‌های چندوجهی بر ویژگی‌های اقلیدسی مانند فاصله، جهت، اندازه و موقعیت نسبی متمرکز هستند. مایندتاپو با الهام از طبقه‌بندی توانایی‌های توپولوژیکی در ادبیات شناختی پیاژه، وظایف خود را در پنج دسته زیر سازمان‌دهی می‌کند:
- پیوستگی (Continuity): آیا یک مسیر یا شیء دست‌نخورده باقی می‌ماند؟
- جدایی (Separation): آیا عناصر نزدیک به هم یک ساختار واحد را تشکیل می‌دهند یا بخش‌های مجزا هستند؟
- ترتیب (Order): چگونه عناصر در طول یک مسیر یا در حین یک تغییر چیده شده‌اند؟
- محصورشدگی (Enclosure): آیا یک مرز فضای داخلی و خارجی ایجاد می‌کند؟
- گره‌ها (Knots): آیا طناب‌ها واقعاً گره‌خورده هستند یا صرفاً به هم تنیده به نظر می‌رسند؟
هر دسته در دو سطح شناختی ارزیابی می‌شود. در وظایف استدلال، مدل یک یا چند صحنه رندرشده را بررسی کرده و به سؤالی درباره ساختار توپولوژیکی آن‌ها پاسخ می‌دهد. برای مثال، آیا دو نقطه در یک迷宫 به هم متصل هستند، آیا گوسفندها داخل حصار هستند یا آیا طنابی واقعاً گره‌خورده است. در وظایف برنامه‌ریزی، مدل با یک محیط شبیه‌سازی‌شده تعامل دارد و اقداماتی را انتخاب می‌کند که باید یک رابطه خاص را ایجاد، حفظ یا حذف کند. محیط‌ها اقدامات قانونی را اعمال می‌کنند. به عنوان مثال، مدل نمی‌تواند با عبور یک رشته از میان رشته دیگر، معمای طناب را حل کند.
تمام صحنه‌ها از شبیه‌سازهای کنترل‌شده تولید می‌شوند که ground truth دقیق و سختی قابل تنظیم ارائه می‌دهند. این کنترل امکان جداسازی دو حالت شکست را فراهم می‌کند که در غیر این صورت مشابه به نظر می‌رسند: مدلی که به دلیل پیچیدگی بصری صحنه شکست می‌خورد و مدلی که به دلیل عدم توانایی در حفظ رابطه اساسی در حین حرکت اشیاء شکست می‌خورد.
دیدن توپولوژی با عمل کردن بر آن یکسان نیست
در مجموعه گسترده‌ای از مدل‌های انحصاری و متن‌باز، عملکرد در استدلال ایستا به طور مداوم قوی‌تر از برنامه‌ریزی تعاملی بود و هر دو عملکرد به طور قابل توجهی پایین‌تر از عملکرد انسان قرار داشت. این تفاوت به ویژه زمانی آشکار می‌شد که موفقیت به حفظ یک رابطه در طول اقدامات متعدد بستگی داشت.
الگوهای خطا به شناسایی مشکل کمک می‌کنند. اشتباهات در استدلال ایستا معمولاً از ادراک ناقص ناشی می‌شدند. برای مثال، مدل ممکن است یک دیوار، دهانه یا تقاطع را از دست بدهد. اشتباهات در برنامه‌ریزی پس از درک صحنه رخ می‌دادند. مدل‌ها اقدامی را دنبال می‌کردند که به طور محلی معقول به نظر می‌رسید، بدون این‌که پیامدهای بعدی آن را پیگیری کنند. آن‌ها وظیفه را در طول چندین نوبت از دست می‌دادند یا اقدامی پیشنهاد می‌کردند که پویایی محیط را نقض می‌کرد.
ما همچنین بررسی کردیم که آیا تولید تصاویر و ویدئوها می‌تواند به مدل‌ها در حفظ درک روابط توپولوژیکی کمک کند. تولید تصویر گاهی اوقات زمانی مفید بود که رابطه مربوطه در یک فریم قابل مشاهده بود، اما در طول یک سری تقاطع‌ها یا حرکات، غیرقابل اعتماد باقی می‌ماند. پخش ویدئویی اغلب توپولوژی را تغییر می‌داد یا پویایی‌های وظیفه را نقض می‌کرد. شبیه‌سازی بصری تنها در حدی مفید بود که بتواند محدودیت‌های ساختاری را در طول زمان حفظ کند.
ساختن عاملان هوشمندی که ساختار را حفظ می‌کنند
مایندتاپو به عنوان یک ابزار تشخیصی کنترل‌شده برای این شکاف طراحی شده است. ربات‌ها، ابزارهای دسترسی‌پذیری و دستیاران تعاملی نه تنها باید بدانند که اشیاء کجا قرار دارند، بلکه باید درک کنند که چه چیزهایی در حین انجام اقدامات به هم متصل، محصور، مرتب یا گره‌خورده باقی می‌مانند. بستن این شکاف ممکن است به مدل‌هایی نیاز داشته باشد که یک حالت توپولوژیکی صریح را حمل کنند یا مدل‌هایی که پیش‌بینی‌های آن‌ها توپولوژی را به طور ساختاری حفظ کند.
چرا این خبر مهم است؟
این پژوهش نشان می‌دهد که مدل‌های هوش مصنوعی چندوجهی در درک روابط فضایی پیچیده مانند اتصال، محصورشدگی و گره‌خوردگی ضعف دارند. این محدودیت‌ها به ویژه در محیط‌های تعاملی و رباتیک اهمیت پیدا می‌کنند، جایی که حفظ این روابط در طول زمان برای تصمیم‌گیری‌های قابل اعتماد ضروری است. مایندتاپو به عنوان یک معیار جدید، شکاف بین درک ایستا و برنامه‌ریزی پویا را آشکار کرده و مسیرهای جدیدی را برای بهبود استدلال فضایی در هوش مصنوعی ارائه می‌دهد.