Apache Airflow

Apache Airflow

Airflow, veri boru hatlarını programlamak, programlamak ve izlemek için bir platformdur.
Airflow, veri boru hatlarını programlamak, programlamak ve izlemek için bir platformdur.İş akışlarını görevlerin yönlendirilmiş döngüsel grafikleri (DAG) olarak yazmak için Airflow'u kullanın.Hava Akışı zamanlayıcı, görevlerinizi belirtilen bağımlılıkları takip ederken bir dizi işçide yürütür.Zengin komut satırı yardımcı programları, DAG'larda karmaşık ameliyatların gerçekleştirilmesini kolaylaştırır.Zengin kullanıcı arayüzü, üretimde çalışan boru hatlarını görselleştirmeyi, ilerlemeyi izlemeyi ve gerektiğinde sorunları gidermeyi kolaylaştırır .... Prensipler Dinamik: Hava akışı boru hatları, dinamik boru hattı oluşturmaya izin veren kod (Python) olarak yapılandırılır.Bu, boru hatlarını dinamik olarak başlatan kod yazılmasına izin verir.Genişletilebilir: Kendi operatörlerinizi, uygulayıcılarınızı kolayca tanımlayın ve kütüphaneyi ortamınıza uygun soyutlama düzeyine uyacak şekilde genişletin.Zarif: Hava akışı boru hatları yalın ve açıktır.Komut dosyalarınızın parametrelendirilmesi, güçlü Jinja şablonlama motoru kullanılarak Airflow'un çekirdeğinde oluşturulmuştur.Ölçeklenebilir: Hava akışı modüler bir mimariye sahiptir ve isteğe bağlı sayıda çalışanı düzenlemek için bir mesaj kuyruğu kullanır.Hava akışı sonsuza kadar ölçeklenmeye hazırdır.
apache-airflow

Ticari lisanslı Self-Hosted için Apache Airflow'a alternatifler