Montag, 7. Mai 2012

"Big data" mit JRuby und Apache Pig

Das gerade herausgekommene Release 0.10.0 von Apache Pig unterstützt nun JRuby zum Schreiben von User Defined Functions (UDFs). Apache Pig ist eine Plattform zum analysieren großer Datenmengen. Es ist ein Compiler, der Map-Reduce-Programme aus der eigenen Sprache "Pig Latin" erzeugt. In Pig Latin können auch User Defined Functions (UDFs) aufgerufen werden, seit Version 0.10.0 können die auch in Ruby geschrieben sein - zur Anwendung kommt dabei JRuby. Use case ist z.B. die Analyse großer Datenmengen (Petabytes!) über Apache Hadoop™.

Keine Kommentare:

Kommentar posten