آیا مدلهای هوش مصنوعی بیش از حد نیاز پردازش انجام میدهند؟
بخش عمدهای از هوش مصنوعی مدرن بر پایه عملیات ضرب اجرا میشود. شبکههای عصبی پشت پرده همهچیز، از تولید پاسخها گرفته تا سازماندهی عکسها و پیشنهاد موسیقی، میلیونها یا میلیاردها عملیات انجام میدهند که ورودیها را در وزنهای یادگرفتهشده (Learned Weights) ضرب میکنند. اما ليزى کی. جان (Lizy K. John) معتقد است این حجم از پردازش، بیش از میزان نیاز واقعی است.
جان، استاد مهندسی برق و کامپیوتر در دانشگاه تگزاس در آستین، پنج سال گذشته را صرف تحقیق روی ردهای از مدلها به نام «شبکههای عصبی بدون وزن» (Weightless Neural Networks) کرده است. این شبکهها به جای ضرب مکرر ورودیها در وزنها، ورودیهای باینری (Binary Inputs) را از میان جداول جستجوی (Lookup Tables) به هم پیوسته عبور میدهند؛ فرآیندی که بیشتر شبیه به مراجعه به مجموعهای از پاسخهای ذخیرهشده است تا حل مکرر یک مسئله ریاضی واحد. به گفته او، بسته به نوع وظیفه، این شبکهها میتوانند بیش از هزار برابر کوچکتر یا هزار برابر سریعتر از گزینههای سنتی باشند و در عین حال دقت مشابهی را حفظ کنند.
تاکنون تمرکز تیم او روی مسائل کوچک و خاص بوده است: حسگرهای پزشکی، ردیابی فعالیتها و تشخیص کلمات کلیدی. اما او معتقد است که همین رویکرد در نهایت میتواند به اهداف بسیار بزرگتری از جمله مدلهای ترنسفورمر (Transformer Models) در چتباتهای امروزی دست یابد.
چه شد که در وهله اول از وزنها فاصله گرفتید؟ آیا لحظه خاصی شما را به سمت جداول جستجو سوق داد؟
لیزی کی. جان: چند سال پیش یکی از دوستانم مرا به جلسهای هفتگی دعوت کرد تا درباره استفاده از جداول جستجو به جای وزنها صحبت کنیم؛ تکنیکی که البته جدید نبود. در دهه ۱۹۸۰ شخصی در بریتانیا محصولی تجاری بر پایه آن برای تشخیص الگو ساخت و سپس این روش ناپدید شد. چند استاد در دانشگاه فدرال ریو دو ژانیرو سالها بیصدا روی آن کار کردند، بنابراین پیشینه تحقیقاتی خیلی گستردهای نداشت.
دوستم میدانست من تجربه پیادهسازی سختافزاری دارم و فکر میکرد میتوانم به عملی شدن آن کمک کنم. دانشجویی داشتم که برای این کار عالی بود؛ او روی «شبکههای عصبی ضربانی» (Spiking Neural Networks) که جایگزین دیگری برای شبکههای استاندارد است کار میکرد. نقطه پیوند برای من «بهینهسازی مصرف انرژی» بود. من از میزان مصرف برق بالای هوش مصنوعی ناامید شده بودم و مشتاق یافتن راههایی بودم که با فناوری کمتر و انرژی پایینتر کار کنند.
در کمتر از شش ماه، ما آن را روی یک FPGA (تراشه قابل برنامهریزی) اجرا کردیم. توانستیم شبکههای عصبی بسیار کوچکی با روش جدول جستجو ایجاد کنیم که روی تراشههای کوچک جا میشدند و نیازی به پردازنده گرافیکی (GPU) نداشتند. مدلهای ما ۱۰۰۰ برابر کوچکتر از نمونههای معمول بودند که بسیار امیدوارکننده بود.
شبکههای عصبی بدون وزن و کممصرف
چرا اکنون زمان مناسبی برای بررسی شبکههای عصبی بدون وزن است؟
جان: وقتی به مدلهای فعلی هوش مصنوعی نگاه میکنید، کاری که انجام میدهند شگفتانگیز است. من هر بار از ChatGPT استفاده میکنم تحت تاثیر قرار میگیرم، حتی اگر گاهی اشتباه کند. اما زمانی که کلمه بعدی یک جمله را حدس میزند، میلیونها یا میلیاردها ضرب انجام میدهد. اگر شما از من سوالی بپرسید، من برای پاسخ دادن ضرب انجام نمیدهم؛ فکر میکنم که بگویم بله، نه، این را بگویم یا نگوییم. مغز انسان برای این کار تنها حدود ۲۰ وات انرژی مصرف میکند.
مدل اولیه اکثر شبکههای محبوب امروز بر اساس مدل نورون مقاله سال ۱۹۴۳ (مدل مککالو-پیتس / McCulloch-Pitts) است. صنعت آن را گرفت و با میلیونها و میلیاردها نورون گسترش داد تا به نتیجه برسد. اما این بدان معنا نیست که حتماً به این حجم پردازش نیاز است. تفکر پایه من این است که ما میتوانیم راه سادهتری برای رسیدن به همان پاسخها داشته باشیم.
در حالت جدول جستجو، ما در واقع یک صفر یا یک را جستجو میکنیم؛ یعنی بگوییم به این سمت برو یا نرو. هیچ وزن ۳۰ بیتی یا ۱۶ بیتی در کار نیست، بنابراین خبری از ضرب نیست که تمام انرژی را مصرف میکند. ضرب عملیاتی گرانقیمت در سختافزار و حتی در ذهن انسان است؛ همه ما در بچگی برای یادگیری جدول ضرب تلاش زیادی کردیم!
تاکنون چه چیزی را توانستهاید به اثبات برسانید؟
جان: در مجموعهدادههایی مانند تشخیص فعالیت انسان یا پایش پزشکی (ECG، EEG، فشار خون)، شبکههای عصبی بدون وزن میتوانند کار را با ۱۰۰۰ برابر مصرف انرژی کمتر انجام دهند. امروزه پردازشهای زیادی در حسگرهای هوشمند فقط دادههای خام را جمعآوری کرده و به سرور یا گوشی میفرستند، زیرا پردازش نمیتواند روی یک وصله متکی به باتری انجام شود. شبکه ما آنقدر کوچک است که میتواند مستقیماً روی حسگر قرار گیرد. بهترین مدل هوش مصنوعی کوچک دیگر برای مسألهای که بررسی کردیم ۱۷ مگابایت بود، در حالی که مدل ما تنها ۱۴ کیلوبایت است؛ یعنی بیش از ۱۰۰۰ برابر کوچکتر. این یعنی نیازی به ارسال دادههای خام در هر میلیثانیه نیست که هم باعث صرفهجویی در انرژی و هم حفظ حریم خصوصی میشود، زیرا دادههای شما هرگز دستگاه را ترک نمیکنند.
ما همچنین در تشخیص کلمات کلیدی (Keyword Spotting)، یعنی شنود اولیه دستگاه قبل از تشخیص کلماتی مانند «آلکسا»، بهبودهایی ایجاد کردهایم. بهترین مدل صنعت بیش از ۵۰۰۰ نانوژول در هر استنتاج (Inference) مصرف میکند، اما مدل ما بسته به متغیرها بین ۴۲ تا ۷۹ نانوژول مصرف دارد.
پایش پزشکی و هوش مصنوعی چتباتها
اگر معماری بدون وزن فردا همهگیر شود، اول چه چیزی تغییر میکند؟ چتباتها، خودروهای خودران یا گوشیها؟
جان: اولین هدف ما پایش پزشکی است؛ چیزی به سادگی یک چسب زخم که به مدت یک هفته روی بدن بیمار قرار میگیرد تا پزشکان بدون نیاز به دستگاههای متصلِ گرانقیمت از وضعیت او مطلع شوند. شیمی حوزه دیگری است که روی آن کار میکنیم. دانشجویان آزمایشی را انجام میدهند و سپس دادهها را به آرامی برای پردازش آفلاین میفرستند که در این مسیر خطا رخ میدهد. ما میخواهیم هوش مصنوعی را درست در نقطه آزمایش قرار دهیم تا پاسخ بلافاصله بازگردد، درست مثل زدن کاغذ تورنسل در محلول و آبی شدن آن.
آیا این روش میتواند به چتباتها کمک کند؟ ما در حال کار روی آن هستیم. یک شبکه ترنسفورمر بهطور متناوب بین یک لایه توجه (Attention Layer) و یک پرسپترون چندلایه (Multilayer Perceptron) جابهجا میشود. ما بخش پرسپترون چندلایه را که حدود نصف شبکه است جایگزین کردهایم، اما هنوز لایه توجه را جایگزین نکردهایم. ولی در نهایت، بله، مدلهای زبانی هدف ما هستند.
blockquote>اشکالیاب آریتمی قلبی در این تصویر میکروسکوپی تنها به حدود ۱۰,۰۰۰ دروازه منطقی (Logic Gates) نیاز دارد، در حالی که تراشههای رایج میلیاردها دروازه دارند. (دانشگاه تگزاس در آستین)
همچنین زاویه جالبی با انواع جدید ساخت تراشه وجود دارد. ما یک آشکارساز آریتمی قلبی روی یک بستر پلاستیکی و انعطافپذیر ساختیم. این بستر تنها میتواند حدود ۱۰,۰۰۰ دروازه منطقی (Logic Gates) را در خود جای دهد، در حالی که یک تراشه مدرن ۲ یا ۵ نانومتری میلیاردهایی از آنها را داراست. یک شبکه عصبی متداول نمیتواند روی چنین ساختار کوچکی اجرا شود، اما مدل ما میتواند زیرا از ابتدا بسیار کوچکتر است. همچنین تولید این بستر پایدارتر است و آب کمتری نسبت به تراشهسازی استاندارد مصرف میکند.
آیا بقیه زیستبوم فناوری نیاز به تغییر دارد تا این روش کار کند؟
جان: خیر. دادهها میتوانند همان دادههای مورد استفاده مدلهای فعلی باشند. حتی ممکن است به داده کمتری نیاز داشته باشیم که خود یک مزیت است. در حال حاضر آموزش هنوز روی GPUها انجام میشود، صرفاً به این دلیل که قویترین رایانههای موجود هستند. امیدوارم در نقطهای بتوانیم آموزش را روی سختافزارهای مبتنی بر FPGA انجام دهیم، زیرا FPGAها جداول جستجوی کوچک داخلی دارند و برای آموزش و استنتاج عالی هستند. تا آن زمان، هیچ چیز دیگری در زنجیره نیازی به تغییر ندارد.
FPGAها بیش از ۳۰ سال است که از جداول جستجو استفاده میکنند، اما بخش بزرگی از بازار نیستند. پردازندههای دیگر بیشتر مطرح میشوند. اخیراً کارهایی در هوش مصنوعی انجام شده که برخی ضربها را با جدول جستجو جایگزین کردهاند، اما آنها معمولاً از یک جدول بزرگ استفاده میکنند نه جداول کوچک متصلبههم مثل مدل ما. این روش خیلی رایج نیست. کسانی که از آن استفاده میکنند عالی بودنش را میدانند، فقط هنوز همهگیر نشده است. قبلاً نیاز مبرمی وجود نداشت، اما الان وجود دارد.
افراد بسیار کمتری روی این موضوع در مقایسه با ترنسفورمرها کار میکنند. چرا و چه چیزی لازم است تا این وضع تغییر کند؟
جان: به نظرم علت این است که وقتی چیزی کار میکند و توان مالی ادامه آن را دارید، دلیل کافی برای تغییر مسیر وجود ندارد. تاکنون ما فقط توانستهایم موفقیت این روش را در مسائل کوچک مثل داده حسگرها نشان دهیم. برای مسائل بزرگتر، مردم اطمینان ندارند که کار کند، چون بیش از حد ساده به نظر میرسد.
هر بار که در کنفرانسها یا دانشگاهها درباره این موضوع سخنرانی میکنم، توجه همه جلب میشود و تحت تاثیر قرار میگیرند. اما این تعداد محدودی از افراد است. امیدوارم بتوانیم کارکرد آن را روی یک مدل زبانی بزرگتر نشان دهیم و این موفقیت افراد بیشتری را جذب کند. مسئله، اثبات عملی بودن آن است. من امیدوارم.