Posts mit dem Label cascading werden angezeigt. Alle Posts anzeigen
Posts mit dem Label cascading werden angezeigt. Alle Posts anzeigen

Sonntag, 28. April 2013

cascading.jruby 1.0 ist da! (Big data)

cascading.jruby ist eine DSL für Cascading, wobei Cascading ein Java-Dataflow-API implementiert. Mit cascading.jruby, können MapReduce-Jobs für Hadoop als JRuby-Scripte geschrieben werden.

Sonntag, 31. März 2013

JRuby bei Etsy (Big data mit cascading.jruby)

Etsy verwendet hadoop/cascading unter JRuby, um Datamining in ihren Logs zu betreiben. Auf dem Etsy-eigenen Code-as-craft-Blog gibt es einen interessanten Artikel dazu. Mit dabei sind Codebeispiele, um die riesigen Logs (60GB/Tag) auszuwerten. Faszinierend!

Freitag, 19. Oktober 2012

Big Data mit Cascading (und JRuby)

Interessante Vortragsfolien von Paco Nathan zum Thema Building Enterprise Apps with Cascading. Cascading ist ein Framework, das auf Apache Hadoop aufsetzt. Damit kann man recht einfach Big Data-Applikationen bauen und das in verschiedenen Programmiersprachen (JRuby, Jython, Clojure, Scala und Java). Der Vortrag befasst sich mit den Hintergründen von Big Data und wie Cascading dabei helfen kann diese Daten auszuwerten.

Freitag, 25. Mai 2012

Big data: Cascading.JRuby

Cascading.JRuby ist eine DSL, die auf die Cascading-Java-Library aufsetzt. Mit Cascading  kann man komplexe Auswertungen auf einem Hadoop-Cluster ausführen. Via Cascading.JRuby auch direkt aus JRuby-Programmen.