آموزش به‌روزرسانی باورها به مدل‌های زبانی بزرگ برای تعامل کارآمد و طولانی‌مدت

نگاهی کلی: مقایسه چارچوب ABBEL با خلاصه‌سازی بازگشتی سنتی. در این روش، «باورها» (Beliefs) به عنوان بافت کاری عامل جایگزین کل تاریخچه تعامل می‌شوند و درجه‌بندی باورها (Belief grading) با نظارت بر محتوای هر حالت باور، عملکرد مدل را ارتقا می‌دهد.

با طولانی‌تر شدن افق زمانی وظایف، بافت (Context) مدل‌های زبانی بزرگ (LLM) نمی‌تواند تا ابد گسترش یابد. خلاصه‌سازی خودکار امکان ایجاد بافت‌های فشرده و قابل تفسیر را فراهم می‌کند، اما با هزینه افت شدید عملکرد همراه است؛ به‌ویژه در حوزه‌های دستیار انسانی مانند تولید مشارکتی کد که داده‌های باکیفیت در آن‌ها کمیاب است. ما برای حل این چالش، چارچوب ABBEL را معرفی می‌کنیم؛ چارچوبی که محتوای اطلاعاتی خلاصه‌ها را در قالب «حالت‌های باور» (Belief states) به زبان طبیعی تفکیک و نظارت می‌کند.

انگیزه‌ها: هزینه خلاصه‌سازی بازگشتی

برای اینکه مدل‌های زبانی بتوانند به طور موثر در انجام وظایف پیچیده‌ای مانند توسعه نرم‌افزار به ما کمک کنند، باید بتوانند در طول صدها یا حتی هزاران گام با کاربر تعامل داشته باشند. برای چنین وظایف طولانی‌مدتی، نگه داشتن تاریخچه کل تعامل در بافت مدل غیرعملی است. رویکرد ابتکاری که تاکنون استفاده شده، تولید خلاصه یا همان «فشرده‌سازی بافت» (Context compaction) بوده است. به عنوان مثال، جدیدترین مدل Cursor یعنی composer 2.5 برای بهبود عملکرد، از فشرده‌سازی در زمان آموزش استفاده می‌کند. در کنار آن، سیستم Grandcode — نخستین سیستمی که موفق شد به‌طور مداوم تمام رقبای انسانی را در مسابقات برنامه‌نویسی آنلاین شکست دهد — با وجود استفاده از یکی از جدیدترین مدل‌های توجه کارآمد (Qwen 3.5-397B)، همچنان استفاده از خلاصه‌سازی بافت را ضروری دانسته است.

اما فشرده‌سازی با یک مشکل مواجه است. با وجود شکاف عملکردی ظاهراً کم در بنچمارک‌ها، سرورهای ارائه‌دهنده مدل مانند Cursor همچنان به کاربران توصیه می‌کنند که در اواسط انجام یک وظیفه، از فشرده‌سازی بافت در دستیارهای کدنویسی خود خودداری کنند.

برای درک علت این موضوع، عملکرد یک مدل خلاصه‌ساز بافت را در مقایسه با مدل‌های مبتنی بر بافت کامل در بازی Combination Lock (بازی شبیه به Wordle که تا ۱۶ حدس را اجازه می‌دهد) در طول یادگیری تقویتی (RL) بررسی می‌کنیم. اگرچه هر دو نوع مدل در طول آموزش بهبود می‌یابند، اما مدل خلاصه هرگز شکاف عملکردی را پر نمی‌کند.

شکل ۱: میانگین تلاش‌ها برای حدس کلمه هدف در بازی Combination Lock در طول فشرده‌سازی یادگیری تقویتی (کمتر بهتر است). سیاست‌های خلاصه‌سازی بافت با آموزش بهبود می‌یابند اما شکاف خود را با سیاست‌های بافت کامل پر نمی‌کنند.

مجبور کردن مدل‌ها به خلاصه‌سازی خودکار هم‌زمان با انجام وظیفه، پیچیدگی مسئله یادگیری را افزایش می‌دهد. اگرچه این چالش معمولاً با آموزش روی داده‌های بیشتر قابل حل است، اما افت عملکرد مشاهده‌شده در محیط‌های تعاملی دنیای واقعی احتمالاً از دشواری ما در ساخت و استفاده موثر از شبیه‌سازهای انسانی برای تولید محیط‌های آموزشی باکیفیت ناشی می‌شود. بنابراین، هرچه بهتر بتوانید خلاصه‌سازی را روی مسیرهای تعاملی چندمرحله‌ای محدود و آشفته‌ای که جمع‌آوری می‌کنید یاد بگیرید، مدل شما برای کاربران نهایی کارآمدتر خواهد بود.

ABBEL: عمل از طریق گلوگاه‌های باور

برای حل بازدهی پایین یادگیری، ما وظیفه تولید خلاصه را مجزا می‌کنیم. با الهام از برآورد بازگشتی بیزی (Recursive Bayesian estimation)، خلاصه‌ها را به عنوان «حالت‌های باور» فرمول‌بندی می‌کنیم که به مدل دستور می‌دهیم آن‌ها را به‌طور دوره‌ای بر اساس اطلاعات جدید به‌روزرسانی کند.

شکل ۲: درجه‌بندی باور با الهام از اتوانکودر (Autoencoder). مدل، باور قبلی، اقدام و مشاهده (b_t, a_t, o_t) را به باور پسین b_t+1 رمزگذاری می‌کند و بر اساس اینکه چه میزان از اطلاعات منتخب تاریخچه را می‌توان از آن باور بازسازی کرد، پاداش می‌گیرد.

شکل ۳: روند اجرای ABBEL. به‌روزرسانی‌های باور حاصل از آخرین مشاهده، با انتخاب اقدام که تنها مشروط به باور پسین فعلی است، به صورت متناوب انجام می‌شوند.

درجه‌بندی باور (Belief grading)

سپس محتوای حالت‌های باور را استخراج و بر آن نظارت می‌کنیم (شکل ۲، درجه‌بندی باور). درجه‌بندی باور را می‌توان مانند افزودن یک وظیفه کمکی یادگیری تقویتی (RL) در نظر گرفت که از قواعد ابتکاری (Heuristics) برای تعیین ویژگی‌های یک باور خوب به عنوان پاداش استفاده می‌کند. یک قاعده ابتکاری نمونه برای کدنویسی می‌تواند این باشد که «متن کوتاه‌تر بهتر است، اما متنی که به بازسازی git diff نزدیک‌تر باشد نیز بهتر است»، بنابراین ایجاد تعادل بین این دو منجر به یک باور خوب می‌شود. در حوزه‌هایی که تعریف قواعد ابتکاری خوب دشوار است، ما یک تابع درجه‌بندی عمومی با الهام از اتوانکودرها پیشنهاد می‌کنیم که مدل زبانی فعلی π_θ را هم به عنوان رمزگذار (Encoder) و هم رمزگشا (Decoder) اطلاعات تاریخچه در نظر می‌گیرد و حالت‌های باور نقش کدها را ایفا می‌کنند. ما هر باور b_t+1 را بر اساس اینکه مدل فعلی π_θ تا چه حد می‌تواند از آن برای بازسازی آخرین مشاهده o_t استفاده کند، درجه‌بندی می‌کنیم:

معادله ۱: هدف درجه‌بندی بازسازی. در اینجا b_t+1 باور به‌روزرسانی‌شده، o_t آخرین مشاهده، a_t اقدام تازه انجام‌شده، b_t باور قبلی، p_I پرامپت وظیفه و π_θ مدل فعلی است. درجات بالاتر به باورهایی پاداش می‌دهند که اطلاعات لازم برای رمزگشایی آخرین مشاهده را حفظ کنند.

با درجه‌بندی باورها چه به دست می‌آوریم؟

کدنویسی مشارکتی در CollabBench: ما کارایی درجه‌بندی باور را در محیط CollabBench (از پروژه Sweet-RL) که مربوط به کدنویسی دستیار مبتنی بر انسان است، نشان می‌دهیم.

شکل ۴: محیط کدنویسی مشارکتی CollabBench. عامل سؤالات شفاف‌کننده می‌پرسد، سپس تابعی را ارسال می‌کند که در برابر تست‌های واحد مخفی ارزیابی می‌شود.

ما مشاهده می‌کنیم که با استفاده از تابع عمومی درجه‌بندی باور مبتنی بر بازسازی، شکاف عملکردی نسبت به مدل‌های بافت کامل را حدود ۵۰٪ کاهش می‌دهیم و در مقایسه با آموزش مدل‌ها برای خلاصه‌سازی بدون درجه‌بندی باور (no BG)، فرایند آموزش را در ۵۰٪ گام‌های کمتری انجام می‌دهیم. پس از آموزش، ABBEL همچنان به‌طور قابل‌توجهی حافظه کمتری نسبت به مدل‌های بافت کامل مصرف می‌کند.