Cloudflare هزینه بررسی کد با هوش مصنوعی را ۶۸ درصد کاهش داد
به گزارش Cloudflare، این شرکت با اصلاح معماری حافظه موقت پرامپت و انتخاب هوشمندانه‌تر مدل‌ها، متوسط هزینه هر بررسی کد مبتنی بر هوش مصنوعی را از ۲٫۴۳ دلار به ۰٫۷۷ دلار رسانده است؛ کاهشی ۶۸ درصدی که هم‌زمان زمان میانه بررسی را از ۴ دقیقه و ۹ ثانیه به ۱ دقیقه و ۳۲ ثانیه کاهش داد. این تجربه برای تیم‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را در مقیاس بالا روی زیرساخت ابری اجرا می‌کنند.
هزینه توکن‌ها چگونه کنترل شد؟
هزینه متوسط هر بررسی در سامانه داخلی Cloudflare از ۱٫۲۲ دلار در ماه مارس به ۲٫۳۲ دلار در اوت رسیده بود. انتقال همه بررسی‌کننده‌ها به مدل‌های Anthropic در ابتدای اوت نیز هزینه هر کار را از ۱٫۳۸ دلار به ۲٫۰۳ دلار افزایش داد. بررسی داده‌ها نشان داد تعداد توکن‌های مصرفی در هر بررسی، با وجود رشد نرخ اصابت حافظه موقت از ۸۵٫۷ درصد در آوریل به ۹۷ درصد در سپتامبر، از ۰٫۹۱ میلیون به ۲٫۹۹ میلیون توکن رسیده است.
پیش از بهینه‌سازی، ۲۳ درصد هزینه به توکن‌های خروجی، ۴۳ درصد به نوشتن در حافظه موقت و ۳۴ درصد به خواندن از آن مربوط بود. مشکل اصلی این بود که بخش مشترک ابتدای پرامپت در مخزن‌های مختلف قابل استفاده مجدد نبود. Cloudflare با جداکردن محتوای ثابت از اطلاعات وابسته به هر مخزن و تعیین نقطه مناسب برای cache breakpoint، نرخ استفاده از حافظه موقت در نخستین درخواست را از ۱۴ تا ۲۶ درصد به ۹۱ تا ۹۹٫۵ درصد رساند.
کاهش هزینه بدون افت یکسان در همه بررسی‌ها
حدود ۴۰ درصد صرفه‌جویی از تغییرات کد بررسی‌کننده و باقی آن از آزمایش ترکیب مدل‌ها و سطح تلاش به دست آمد. نسخه دوم OpenCode نیز در بررسی‌های کامل با مدل‌های یکسان حدود ۱۳ درصد سریع‌تر عمل کرد و در آزمایش مهاجرت، تصمیم تأیید آن با نسخه قبلی در ۹۸ درصد درخواست‌های ادغام یکسان بود.
ارزیابی کیفیت نشان داد بررسی‌کننده کیفیت کد در سطح تلاش بالا تقریباً به همان تعداد مشکلات واقعی دست یافته و هشدارهای با شدت بیش‌ازحد ۷۰ درصد کمتر شده است. با این حال، سطح تلاش متوسط در بررسی عملکرد حدود ۶۴ درصد مشکلات مهم کمتری یافت و نتیجه بخش امنیت نیز حدود یک‌چهارم کاهش داشت، هرچند از نظر آماری قطعی نبود.
جمع‌بندی این تجربه روشن است: برای کنترل هزینه عامل‌های هوش مصنوعی، فقط قیمت مدل کافی نیست؛ نحوه چیدمان پرامپت، استفاده واقعی از کش و سنجش مستمر کیفیت خروجی باید هم‌زمان پایش شوند.
