Spark

Apache SparkでカスタムStreamingする

はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/ex…

Apache FlumeとSpark Streaming

はじめに Flumeから流れてきたデータをSpark Streamingする。 実現したいことのイメージ。 netcatサーバーでデータ生成 Flumeはクライアントからデータを受け取り、Sparkに流し込む Spark Streamingでデータを集計 環境 Scala IDE for Ecipse : 2.10.4 flume…

EcilpseでSpark Streaming

はじめに Scala IDE for Eclipseを利用して、Apache Sparkで、Twitter Streamingする。 バージョン Scala IDE for Ecipse : 2.10.4 Apache Spark : 1.1.0 for Hadoop 2.4 twitter4j : 3.0.3 Scala IDE for Eclipseはこちらから2.10.4をダウンロード Download…

Apache SparkでTwitter Streaming

はじめに Apache Sparkを利用してTwitter Streamingを取得する。 題材はampcampのHands-on Exercisesを活用する。 Hands-on Exercisesはシリーズ物でEC2で稼働させたり、クラスタやHDFSが必要みたいだけど、それらなしでがんばる。 前提条件 必要なもの Spar…

Apache Sparkをとりあえず動かしてみる

はじめに Apache Spark 1.0.0 をとりあえず動かしてみる。 スタンドアローン環境でHello World! 的なSparkの初めの一歩を実行する。 前提条件 Javaがインストールされていること。 $ java -version java version "1.8.0_05" Java(TM) SE Runtime Environment…