Cloudflare پردازش و حذف داده‌های حساس لاگ را ساده‌تر کرد
به گزارش وبلاگ Cloudflare، قابلیت تازه Transformers به سرویس Logpush اضافه شده است تا تیم‌های زیرساخت بتوانند پیش از ارسال لاگ‌ها به مقصد، آن‌ها را با SQL فیلتر، بازآرایی و پاک‌سازی کنند. این تغییر برای سازمان‌هایی اهمیت دارد که حجم بالایی از داده‌های شبکه و امنیت را به سامانه‌های تحلیل، ذخیره‌سازی یا SIEM منتقل می‌کنند و می‌خواهند کنترل بیشتری بر محتوای خروجی داشته باشند.
تغییر لاگ‌ها پیش از خروج از Cloudflare
هر Transformer یک کوئری SQL است که برای مجموعه‌داده مشخصی از Logpush نوشته می‌شود. شرط WHERE تعیین می‌کند کدام رکوردها باقی بمانند و بخش SELECT نیز فیلدهای خروجی و ساختار آن‌ها را مشخص می‌کند. به این ترتیب، تیم‌ها می‌توانند فیلدهای غیرضروری را حذف کنند، نام فیلدها را تغییر دهند، چند فیلد را در یک ساختار تو در تو قرار دهند یا بخشی از اطلاعات حساس، مانند آدرس IP، را پنهان کنند.
پردازش مستقیماً در مسیر خروجی Logpush انجام می‌شود و نتیجه با قالب NDJSON به مقصد تنظیم‌شده می‌رسد. کاربران می‌توانند Transformer را از طریق Transformer Studio در داشبورد یا API بسازند، پیش‌نمایش بگیرند و به یک کار Logpush سازگار متصل کنند. هر ویرایش نیز نسخه‌ای تازه ایجاد می‌کند تا سابقه تغییرات قابل بررسی باشد.
موتور پردازش و ملاحظات پایداری
Cloudflare برای اجرای SQL از Apache DataFusion، موتور نوشته‌شده با Rust بر پایه Apache Arrow، استفاده کرده و آن را در سرویس تحویل Bufstream جای داده است. این طراحی نیاز به یک لایه پردازشی جداگانه و رفت‌وبرگشت شبکه را حذف می‌کند. طبق آزمایش اعلام‌شده، اجرای یک Transformer آماده روی یک دسته مصنوعی شامل ۵۰۰۰ ردیف درخواست HTTP حدود ۳ میلی‌ثانیه زمان برده که معادل پردازش تقریبی ۱.۶ میلیون ردیف در ثانیه است.
در صورت شکست تبدیل، سامانه داده خام را جایگزین خروجی نمی‌کند و ارسال همان دسته را دوباره امتحان می‌کند؛ زیرا چنین کاری می‌تواند قواعد حذف اطلاعات حساس یا ساختار مورد انتظار سامانه مقصد را نقض کند. خطاهای پایدار با تأخیر افزایشی دوباره بررسی می‌شوند و کارهایی که مدت طولانی ناموفق بمانند، به‌طور خودکار غیرفعال خواهند شد. وضعیت تبدیل، حجم داده پیش و پس از پردازش و زمان اجرا نیز در بخش سلامت Logpush قابل مشاهده است.
این قابلیت در طرح‌های Free، Pro، Business و Enterprise عرضه شده است. برای مدیران شبکه و امنیت، نتیجه عملی آن کاهش پردازش‌های جانبی، محدودکردن انتقال داده‌های غیرضروری و آماده‌سازی یکنواخت‌تر لاگ‌ها پیش از ورود به ابزارهای پایش و تحلیل است.
