Posts mit dem Label hadoop werden angezeigt. Alle Posts anzeigen
Posts mit dem Label hadoop werden angezeigt. Alle Posts anzeigen

Dienstag, 30. Juli 2013

Neue Version 0.4.0 von hbase-jruby (Apache Hadoop DB)

Version 0.4.0 von hbase-jruby ist erschienen. Apache HBase ist die verteilte Datenbank, die die Grundlage von Apache Hadoop bildet. hbase-jruby implementiert ein Ruby-Interface zu HBase.

Sonntag, 28. April 2013

cascading.jruby 1.0 ist da! (Big data)

cascading.jruby ist eine DSL für Cascading, wobei Cascading ein Java-Dataflow-API implementiert. Mit cascading.jruby, können MapReduce-Jobs für Hadoop als JRuby-Scripte geschrieben werden.

Sonntag, 20. Januar 2013

neue Version von hbase-jruby (hadoop datastore)

Junegunn Choi hat eine neue Version von hbase-jruby fertiggestellt und auf github gepusht. Damit hat man einen vereinfachten Zugriff von JRuby auf Apache HBase, den Hadoop Datastore.

Mittwoch, 3. Oktober 2012

Rubydoop: Hadoop Jobs in JRuby

Theo Hultberg hat Rubydoop 1.0 veröffentlicht. Damit kann man Hadoop-Jobs in JRuby schreiben. Apache Hadoop ist ein Big Data Framework zur Parallelverarbeitung extrem grosser Datenmengen. Rubydoops Quellcode liegt auf github zum Abholen bereit.

Sonntag, 24. Juni 2012

Big data: Hadoop Summit, Apache Pig und JRuby

Auf dem Hadoop Summit war Apache Pig und damit auch JRuby ein Thema. Daniel Dai und Thejas Nair von  Hortonworks hielten den Vortrag Pig programming is more fun: new Features in Pig über Apache Pig (eine Plattform zur Analyse großer Datenmengen). In den Vortragsfolien sind auch Beispiele für User Defined Functions (UDF) in JRuby enthalten.

Freitag, 25. Mai 2012

Big data: Cascading.JRuby

Cascading.JRuby ist eine DSL, die auf die Cascading-Java-Library aufsetzt. Mit Cascading  kann man komplexe Auswertungen auf einem Hadoop-Cluster ausführen. Via Cascading.JRuby auch direkt aus JRuby-Programmen.


Montag, 7. Mai 2012

"Big data" mit JRuby und Apache Pig

Das gerade herausgekommene Release 0.10.0 von Apache Pig unterstützt nun JRuby zum Schreiben von User Defined Functions (UDFs). Apache Pig ist eine Plattform zum analysieren großer Datenmengen. Es ist ein Compiler, der Map-Reduce-Programme aus der eigenen Sprache "Pig Latin" erzeugt. In Pig Latin können auch User Defined Functions (UDFs) aufgerufen werden, seit Version 0.10.0 können die auch in Ruby geschrieben sein - zur Anwendung kommt dabei JRuby. Use case ist z.B. die Analyse großer Datenmengen (Petabytes!) über Apache Hadoop™.