cascading.jruby ist eine DSL für Cascading, wobei Cascading ein Java-Dataflow-API implementiert. Mit cascading.jruby, können MapReduce-Jobs für Hadoop als JRuby-Scripte geschrieben werden.
All things JRuby (and Rails). Neuigkeiten aus der JRuby und Rails-Welt. Follow me. https://twitter.com/hermann_kurz
Posts mit dem Label cascading werden angezeigt. Alle Posts anzeigen
Posts mit dem Label cascading werden angezeigt. Alle Posts anzeigen
Sonntag, 28. April 2013
Sonntag, 31. März 2013
JRuby bei Etsy (Big data mit cascading.jruby)
Etsy verwendet hadoop/cascading unter JRuby, um Datamining in ihren Logs zu betreiben. Auf dem Etsy-eigenen Code-as-craft-Blog gibt es einen interessanten Artikel dazu. Mit dabei sind Codebeispiele, um die riesigen Logs (60GB/Tag) auszuwerten. Faszinierend!
Freitag, 19. Oktober 2012
Big Data mit Cascading (und JRuby)
Interessante Vortragsfolien von Paco Nathan zum Thema Building Enterprise Apps with Cascading. Cascading ist ein Framework, das auf Apache Hadoop aufsetzt. Damit kann man recht einfach Big Data-Applikationen bauen und das in verschiedenen Programmiersprachen (JRuby, Jython, Clojure, Scala und Java). Der Vortrag befasst sich mit den Hintergründen von Big Data und wie Cascading dabei helfen kann diese Daten auszuwerten.
Freitag, 25. Mai 2012
Big data: Cascading.JRuby
Cascading.JRuby ist eine DSL, die auf die Cascading-Java-Library aufsetzt. Mit Cascading kann man komplexe Auswertungen auf einem Hadoop-Cluster ausführen. Via Cascading.JRuby auch direkt aus JRuby-Programmen.
Abonnieren
Posts (Atom)