گوگل امروز مدل انقلابی SL2T (sign-language-to-text) را معرفی کرد که قابلیت ترجمه زبان اشاره به متن را برای نخستین بار به محصولات مصرفی می‌آورد. این مدل در ابتدا از زبان اشاره آمریکایی (ASL) به انگلیسی پشتیبانی می‌کند و از طریق اپلیکیشن‌های Gboard و Live Transcribe روی گوشی‌های Pixel 11 در دسترس قرار خواهد گرفت.
این فناوری به کاربران deaf و کم‌شنوا اجازه می‌دهد تا به جای تایپ، با زبان اشاره با گوشی خود ارتباط برقرار کنند. برای مثال، می‌توان با زبان اشاره جست‌وجو در وب انجام داد، پیام‌ها یا اسناد را تایپ کرد و حتی از مدل هوش مصنوعی Gemini برای حل مسائل یا اجرای دستورات استفاده کرد. در Live Transcribe نیز کاربران می‌توانند به جای تایپ کردن، با زبان اشاره پاسخ دهند. بر اساس آزمایش‌های انجام‌شده، استفاده از زبان اشاره در مقایسه با تایپ کردن انگلیسی، سریع‌تر، طبیعی‌تر و لذت‌بخش‌تر است.
چرا زبان‌های اشاره اهمیت دارند؟
زبان‌های اشاره زبان‌های اصلی جوامع deaf در سراسر جهان هستند و پایه هویت فرهنگی آن‌ها به شمار می‌روند. تنوع زیادی در میان افراد deaf از نظر مهارت در زبان اشاره، گفتار، خواندن و نوشتن وجود دارد، بنابراین دسترسی به فناوری باید در تمام این جنبه‌ها پشتیبانی شود. فناوری پردازش زبان اشاره می‌تواند شکاف ارتباطی میان افراد deaf و شنوا را پر کند. با این حال، پیشرفت در هوش مصنوعی زبان اشاره به دلیل چالش‌های فنی و تصورهای نادرست درباره این زبان‌ها، کند بوده است.
برخلاف ترجمه گفتار به متن که تنها به نگاشت متوالی صدا به متن نیاز دارد، ترجمه زبان اشاره نیازمند درک حرکات همزمان دست‌ها، بازوها، تنه، سر و صورت است. مدل SL2T با استفاده از فناوری بینایی کامپیوتری، این حرکات را ردیابی کرده و به متن ترجمه می‌کند. این مدل بر روی بیش از ۱۰۰ هزار ساعت داده از بیش از ۵۰ زبان اشاره آموزش دیده و قادر به ترجمه مستقیم از نشانه‌های بدنی به متن است، بدون آنکه به واژگان مصنوعی مانند «گلس» (glosses) متکی باشد.
طبق ارزیابی‌های انجام‌شده روی معیار FLEURS-ASL، مدل SL2T نمره‌ای قابل توجه ۷۰ BLEURT در ترجمه صفر-شات (بدون آموزش قبلی) به دست آورده است که به‌طور قابل توجهی بالاتر از هر مدل قبلی است. با این حال، تیم توسعه‌دهنده بر بهبود تأخیر در جریان ترجمه، جلوگیری از خطا در ورودی‌های غیر زبان اشاره، و بهبود عملکرد برای کاربران چپ‌دست و استفاده از یک دست تأکید کرده‌اند.
گوگل برای توسعه این فناوری، با جامعه deaf همکاری نزدیک داشته و از نظرات آن‌ها در تمام مراحل پروژه استفاده کرده است. همچنین، کمیته مشورتی هوش مصنوعی زبان اشاره (AISLAC) با حضور سازمان‌های جهانی deaf و کارشناسان تشکیل شده تا توسعه این فناوری به‌طور مسئولانه و با مشارکت جوامع deaf انجام شود. این مدل نخستین بار در نسخه ۱.۰ خود در Gboard و Live Transcribe عرضه می‌شود و گزارش مشترک تأثیرگذاری از قابلیت‌ها و محدودیت‌های آن منتشر شده است.
چالش‌های ترجمه زبان اشاره
ترجمه زبان اشاره با دو چالش اصلی روبه‌رو است: نخست، زبان‌های اشاره دارای دستور زبان و واژگان مستقل هستند و نیازمند ترجمه واقعی ماشین به ماشین هستند، نه صرفاً نگاشت نشانه‌ها به کلمات. دوم، مدل باید قادر به «دیدن» و درک حرکات فیزیکی باشد که شامل همزمان حرکات دست‌ها، بازوها، تنه، سر و صورت می‌شود. ردیابی دقیق این حرکات در نرخ فریم بالا، یک چالش پیچیده در بینایی کامپیوتری است.
تلاش‌های اولیه در فناوری زبان اشاره، مانند دستکش‌های زبان اشاره، به دلیل عدم درک صحیح از پیچیدگی‌های زبان اشاره با شکست مواجه شدند. زبان‌های اشاره صرفاً «انگلیسی روی دست‌ها» نیستند و نیازمند درک کامل حرکات بدن و ترجمه زبان کامل هستند. مدل SL2T با استفاده از فناوری MediaPipe Holistic، نشانه‌های بدنی را به عنوان نقاطی روی بدن کاربر ردیابی کرده و تنها این مختصات هندسی را برای ترجمه به سرور ارسال می‌کند. این رویکرد حریم خصوصی کاربران را نیز حفظ می‌کند، زیرا ویدیوی اصلی بلافاصله پس از پردازش حذف می‌شود.
آینده فناوری زبان اشاره
مدل SL2T بر پایه سال‌ها تحقیقات در حوزه دانشگاه و صنعت ساخته شده است، اما عرضه زبان اشاره آمریکایی به گوشی‌های کاربران تنها آغاز راه است. ماموریت گوگل سازمان‌دهی اطلاعات جهان و دسترسی‌پذیر کردن آن برای همه است. دستیابی به دسترسی جهانی به معنای برابری کامل با زبان‌های گفتاری و نوشتاری است. تیم توسعه‌دهنده در حال کار بر روی گسترش این فناوری به زبان‌های اشاره دیگر، تولید زبان اشاره و قابلیت‌های پیشرفته هوش مصنوعی است.
این فناوری به‌طور مشترک توسط تیم‌های Google DeepMind و Android توسعه یافته است. اعضای اصلی تیم توسعه‌دهنده مدل SL2T شامل Garrett Tanzer، Benoit Brard، Elizabeth Clark، Tim Dozat، Sebastian Ebert، Dan Garrette، Manfred Georg، Vicky Holgate، Shankar Kumar، Mohammad Saboorian، Miloš Stanojević، Megh Umekar، John Wieting، Andy Zhang و Chris Dyer هستند. تیم اندروید نیز شامل Ausmus Chang، Sai Aditya Chitturu، Dayle Chiu، Anna Chou، Ajay Dudani، Angana Ghosh، Alex Huang و Joanne Kim بوده است.
چرا این خبر مهم است؟
این خبر برای نخستین بار فناوری ترجمه زبان اشاره به متن را به محصولات مصرفی می‌آورد و شکاف ارتباطی میان افراد deaf و شنوا را کاهش می‌دهد. مدل SL2T با استفاده از هوش مصنوعی و بینایی کامپیوتری، امکان برقراری ارتباط طبیعی‌تر و سریع‌تر را برای کاربران deaf فراهم می‌کند. این فناوری می‌تواند تأثیر اجتماعی گسترده‌ای داشته باشد و دسترسی به اطلاعات و خدمات دیجیتال را برای میلیون‌ها نفر در سراسر جهان آسان‌تر کند.
وضعیت کاربران ایرانی
متن خبر به عرضه این فناوری در گوشی‌های Pixel 11 اشاره دارد و اطلاعاتی درباره دسترسی یا محدودیت‌های کاربران ایرانی ارائه نمی‌دهد. بنابراین، وضعیت دقیق عرضه این فناوری در ایران مشخص نیست.