Logs vor dem Export filtern, umformen und schwärzen mit Transformers

Was passiert ist

Logpush unterstützt jetzt Transformers, mit denen Teams Log-Streams vor dem Export per SQL filtern, schwärzen und umformen können. Transformers basieren auf Apache DataFusion und Apache Arrow und wenden diese Änderungen direkt auf die Protokolldaten an, bevor sie das Ziel erreichen.

Logpush liefert Logs so schnell wie möglich in Batches aus, sodass Cloudflare Informationen nahezu in Echtzeit bereitstellen kann. Observability-Teams nutzen Logpush, um Cloudflare-Logs in Security-Information-and-Event-Management-Systeme (SIEMs), Analyseplattformen und Object Storage zu exportieren.

Bisher erfordert dies oft einen separaten Verarbeitungsdienst, den Teams bereitstellen, skalieren, überwachen und warten müssen. Ein Team, das Logs von mehreren CDNs (einem Netzwerk von Servern, das Inhalte nahe am Nutzer ausliefert) sammelt, kann beispielsweise ein statisches Provider-Feld hinzufügen, um Datensätze zu normalisieren, bevor sie die Analyseplattform erreichen.

Wichtige Fakten

• Logpush unterstützt jetzt Transformers, mit denen Teams Log-Streams vor dem Export per SQL filtern, schwärzen und umformen können
• Bisher erfordert dies oft einen separaten Verarbeitungsdienst, den Teams bereitstellen, skalieren, überwachen und warten müssen