گوگل به تازگی از TimesFM-3 رونمایی کرده است؛ یک مدل پیش‌بینی سری زمانی با ۳۳۰ میلیون پارامتر که بر روی بیش از یک تریلیون نقطه داده واقعی و مصنوعی آموزش دیده است. این مدل جدید در حال حاضر با یک مجوز غیرتجاری روی پلتفرم Hugging Face در دسترس قرار گرفته است.
توانایی پیش‌بینی چندمتغیره و هم‌زمان
مدل‌های زبانی بزرگ در پیش‌بینی کلمه بعدی مهارت بالایی دارند؛ مدل‌های پیش‌بینی سری زمانی نیز اساساً کار مشابهی را برای داده‌های کسب‌وکارها انجام می‌دهند. در سال‌های اخیر مدل‌های مختلفی مانند Chronos-2 از آمازون، Moirai 2.0 از سیلزفورس و اخیراً Toto 2.0 از دیتاداگ در این حوزه عرضه شده‌اند.
تفاوت بزرگ TimesFM-3 با مدل‌های سنتی در این است که می‌تواند چندین سری زمانی را به طور هم‌زمان پردازش کند. به گفته محققان گوگل، بیشتر مسائل پیش‌بینی در دنیای واقعی ذاتاً چندمتغیره هستند؛ جایی که چندین سری زمانی و ویژگی‌های خارجی به طور مشترک بر آینده یک متغیر تأثیر می‌گذارند. به عنوان مثال، برای پیش‌بینی فروش یک محصول، تنها بررسی تاریخچه فروش کافی نیست، بلکه باید فروش محصولات مرتبط، میزان تردد مشتریان و رویدادهای آینده مانند پیش‌بینی آب‌وهوا، تخفیف‌ها و تعطیلات نیز در نظر گرفته شوند.
مدل TimesFM-3 اولین مدل گوگل است که به طور بومی برای مدیریت این سری‌های زمانی چندگانه و با قابلیت تعمیم‌دهی صفر-نمونه‌ای (zero-shot) پیش-آموزش دیده است. این ویژگی به مدل اجازه می‌دهد تا چندین سری زمانی مرتبط را به صورت موازی پیش‌بینی کند.
معماری فنی و بهبود سرعت
مدل TimesFM-3 مانند نسخه‌های قبلی خود یک ترانسفورمر فقط-دیکودر (decoder-only) است که هر سری زمانی را به بخش‌های ۳۲ داده‌ای تقسیم کرده و با آن‌ها مانند توکن‌های زبانی رفتار می‌کند.
نوآوری اصلی در این نسخه، عبور توکن‌ها از دو نوع لایه توجه (attention) متناوب است؛ لایه اول به صورت علی و معلولی به گذشته یک سری زمانی نگاه می‌کند تا مدل به داده‌های آینده دسترسی نداشته باشد. لایه دوم به صورت عرضی تمام سری‌های زمانی را در یک لحظه مشخص بررسی می‌کند تا تأثیر متقابل آن‌ها (مانند تأثیر تخفیف یک محصول بر فروش محصول دیگر) را بسنجد.
علاوه بر این، فرآیند رمزگشایی (decoding) نیز تغییر کرده است. نسخه‌های قبلی پیش‌بینی‌ها را بخش‌به‌بخش تولید می‌کردند که باعث افزایش تاخیر و انباشت خطا می‌شد. اما TimesFM-3 با قرار دادن توکن‌های جایگاه‌دار ماسک‌شده برای کل بازه پیش‌بینی، تمام آن‌ها را در یک مرحله رفت (forward pass) کامل می‌کند.
محدودیت در استفاده تجاری
گوگل تصمیم گرفته است وزن‌های پیش-آموزش‌دیده این مدل را تحت یک مجوز غیرتجاری اختصاصی منتشر کند. اگرچه کد منبع TimesFM-3 همچنان تحت مجوز آپاچی ۲.۰ (Apache 2.0) ارائه می‌شود، اما استفاده تجاری یا تولیدی از وزن‌های پیش‌فرض مدل مجاز نیست.
این اقدام نشان‌دهنده رویکرد جدید غول‌های فناوری برای کسب درآمد از مدل‌های پیشرفته است. گوگل قصد دارد به زودی TimesFM-3 را جایگزین نسخه قبلی در ابزار AI.FORECAST پلتفرم BitQuery کند تا مسیر درآمدزایی مستقیم از این فناوری را هموار سازد.