123
Luigi

Luigi

Luigi'nin amacı, genellikle uzun süren toplu işlemlerle ilişkili tüm tesisatlara hitap etmektir.Birçok görevi zincirlemek, otomatikleştirmek istiyorsunuz ve başarısızlıklar olacak.Bu görevler herhangi bir şey olabilir, ancak genellikle Hadoop işleri, veritabanlarına / veritabanlarından veri boşaltma, makine öğrenme algoritmalarını çalıştırma veya başka bir şey gibi uzun süren şeylerdir.Hive, Pig veya Basamaklı gibi veri işlemenin daha alt düzey yönlerine odaklanan başka yazılım paketleri de vardır.Luigi bunların yerini alacak bir çerçeve değildir.Bunun yerine, her görevin bir Hive sorgusu, Java'da bir Hadoop işi, Scala'da bir Spark işi veya bir Python snippet'i olan Python, bir veritabanından tablo dökümü veya başka bir şey olabileceği birçok görevi bir araya getirmenize yardımcı olur.Binlerce görevden oluşan ve tamamlanması günler veya haftalar süren uzun soluklu boru hatları oluşturmak kolaydır.Luigi, iş akışı yönetiminin çoğunu halleder, böylece görevlerin kendilerine ve bağımlılıklarına odaklanabilirsiniz .... İstediğiniz herhangi bir görevi oluşturabilirsiniz, ancak Luigi ayrıca birkaç ortak görev şablonunun bir araç kutusu ile birlikte gelirkullanın.Hadoop, Hive ve Pig işlerinde Python mapreduce işlerinin çalıştırılması için destek içerir.Ayrıca HDFS için dosya sistemi soyutlamaları ve tüm dosya sistemi işlemlerinin atomik olmasını sağlayan yerel dosyalar ile birlikte gelir.Bu önemlidir, çünkü veri boru hattınızın kısmi veri içeren bir durumda çökmeyeceği anlamına gelir.

Kategoriler

Linux için Luigi'a alternatifler

Apache Airflow

Apache Airflow

Airflow, veri boru hatlarını programlamak, programlamak ve izlemek için bir platformdur.
StackStorm

StackStorm

StackStorm, tüm uygulamalarınızı, hizmetlerinizi ve iş akışlarınızı birbirine bağlayan güçlü bir açık kaynaklı otomasyon platformudur.Genişletilebilir, esnek ve DevOps ve ChatOps sevgisiyle oluşturuldu.
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

ProActive İş Akışları ve Çizelgeleme, tüm şirket işlerinizi ve iş uygulamalarınızı kolayca yürütmenize, etkinliği izlemenize ve iş sonuçlarına hızlı bir şekilde erişmenize olanak tanır.