Luigi

Luigi

Luigi'nin amacı, genellikle uzun süren toplu işlemlerle ilişkili tüm tesisatlara hitap etmektir.Birçok görevi zincirlemek, otomatikleştirmek istiyorsunuz ve başarısızlıklar olacak.Bu görevler herhangi bir şey olabilir, ancak genellikle Hadoop işleri, veritabanlarına / veritabanlarından veri boşaltma, makine öğrenme algoritmalarını çalıştırma veya başka bir şey gibi uzun süren şeylerdir.Hive, Pig veya Basamaklı gibi veri işlemenin daha alt düzey yönlerine odaklanan başka yazılım paketleri de vardır.Luigi bunların yerini alacak bir çerçeve değildir.Bunun yerine, her görevin bir Hive sorgusu, Java'da bir Hadoop işi, Scala'da bir Spark işi veya bir Python snippet'i olan Python, bir veritabanından tablo dökümü veya başka bir şey olabileceği birçok görevi bir araya getirmenize yardımcı olur.Binlerce görevden oluşan ve tamamlanması günler veya haftalar süren uzun soluklu boru hatları oluşturmak kolaydır.Luigi, iş akışı yönetiminin çoğunu halleder, böylece görevlerin kendilerine ve bağımlılıklarına odaklanabilirsiniz .... İstediğiniz herhangi bir görevi oluşturabilirsiniz, ancak Luigi ayrıca birkaç ortak görev şablonunun bir araç kutusu ile birlikte gelirkullanın.Hadoop, Hive ve Pig işlerinde Python mapreduce işlerinin çalıştırılması için destek içerir.Ayrıca HDFS için dosya sistemi soyutlamaları ve tüm dosya sistemi işlemlerinin atomik olmasını sağlayan yerel dosyalar ile birlikte gelir.Bu önemlidir, çünkü veri boru hattınızın kısmi veri içeren bir durumda çökmeyeceği anlamına gelir.
luigi

Kategoriler

Açık kaynak lisanslı tüm platformlar için Luigi alternatifleri