Luigi

Luigi

Luigi'nin amacı, genellikle uzun süren toplu işlemlerle ilişkili tüm tesisatlara hitap etmektir.Birçok görevi zincirlemek, otomatikleştirmek istiyorsunuz ve başarısızlıklar olacak.Bu görevler herhangi bir şey olabilir, ancak genellikle Hadoop işleri, veritabanlarına / veritabanlarından veri boşaltma, makine öğrenme algoritmalarını çalıştırma veya başka bir şey gibi uzun süren şeylerdir.Hive, Pig veya Basamaklı gibi veri işlemenin daha alt düzey yönlerine odaklanan başka yazılım paketleri de vardır.Luigi bunların yerini alacak bir çerçeve değildir.Bunun yerine, her görevin bir Hive sorgusu, Java'da bir Hadoop işi, Scala'da bir Spark işi veya bir Python snippet'i olan Python, bir veritabanından tablo dökümü veya başka bir şey olabileceği birçok görevi bir araya getirmenize yardımcı olur.Binlerce görevden oluşan ve tamamlanması günler veya haftalar süren uzun soluklu boru hatları oluşturmak kolaydır.Luigi, iş akışı yönetiminin çoğunu halleder, böylece görevlerin kendilerine ve bağımlılıklarına odaklanabilirsiniz .... İstediğiniz herhangi bir görevi oluşturabilirsiniz, ancak Luigi ayrıca birkaç ortak görev şablonunun bir araç kutusu ile birlikte gelirkullanın.Hadoop, Hive ve Pig işlerinde Python mapreduce işlerinin çalıştırılması için destek içerir.Ayrıca HDFS için dosya sistemi soyutlamaları ve tüm dosya sistemi işlemlerinin atomik olmasını sağlayan yerel dosyalar ile birlikte gelir.Bu önemlidir, çünkü veri boru hattınızın kısmi veri içeren bir durumda çökmeyeceği anlamına gelir.
luigi

Kategoriler

Herhangi bir lisansa sahip tüm platformlar için Luigi'a alternatifler

Zenaton

Zenaton

Geliştiriciler için İş Akışı Oluşturucu.Olaya dayalı süreçleri aylar yerine günler halinde oluşturun.
StackStorm

StackStorm

StackStorm, tüm uygulamalarınızı, hizmetlerinizi ve iş akışlarınızı birbirine bağlayan güçlü bir açık kaynaklı otomasyon platformudur.Genişletilebilir, esnek ve DevOps ve ChatOps sevgisiyle oluşturuldu.
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

ProActive İş Akışları ve Çizelgeleme, tüm şirket işlerinizi ve iş uygulamalarınızı kolayca yürütmenize, etkinliği izlemenize ve iş sonuçlarına hızlı bir şekilde erişmenize olanak tanır.
Apache Airflow

Apache Airflow

Airflow, veri boru hatlarını programlamak, programlamak ve izlemek için bir platformdur.