Deep Learning環境はKeras + Docker + Jupyter Notebook + GPUがいいカンジ

はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networ…

GPUでTensorFlowを動かす

はじめに GTX1070を購入しました GPUでTensorFlowを動かすまでの作業ログです 環境 ハードウェア(2年前に自作したマイサーバー) CPU: Intel CPU Xeon E3-1241V3 3.50GHz マザーボード: ASUSTeK Intel H97 Pro SSD: Samsung SSD840EVO 250GB メモリ: 8GB * …

Kerasでシンプルなニューラルネットワークを実装する

はじめに 下記記事をKerasで実装してみたくなったのでやってみた ライブラリーを使わずにPythonでニューラルネットワークを構築してみる - Qiita GitHub - dennybritz/nn-from-scratch: Implementing a Neural Network from Scratch chainerでニューラルネッ…

ScalikeJDBCでMySQLにBulk Insertする

Bulk insert to MySQL Table by ScalikeJDBC テーブル定義 CREATE TABLE `members` ( `id` int(11) DEFAULT NULL, `name` varchar(64) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; サンプルコード import scalikejdbc._ object BulkInsert extends …

gensimソースコードリーディング

はじめに この記事はMachine Learning Advent Calendar 2015 - Qiitaの3日目の記事です gensimはトピックモデルのpythonライブラリです gensimのチュートリアルgensim: Tutorialsに沿って、gensimソースコードリーディングをほんの少し紹介します 全体の流れ…

Web企業のログ基盤まわりをまとめてみた

はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定(たぶん) 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタ…

Apache SparkでカスタムStreamingする

はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/ex…

最弱のHadoopクラスタをRaspberry Piで構築する

はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃないですか。で…

Apache FlumeとSpark Streaming

はじめに Flumeから流れてきたデータをSpark Streamingする。 実現したいことのイメージ。 netcatサーバーでデータ生成 Flumeはクライアントからデータを受け取り、Sparkに流し込む Spark Streamingでデータを集計 環境 Scala IDE for Ecipse : 2.10.4 flume…

EcilpseでSpark Streaming

はじめに Scala IDE for Eclipseを利用して、Apache Sparkで、Twitter Streamingする。 バージョン Scala IDE for Ecipse : 2.10.4 Apache Spark : 1.1.0 for Hadoop 2.4 twitter4j : 3.0.3 Scala IDE for Eclipseはこちらから2.10.4をダウンロード Download…

Raspberry PiでHadoop(擬似分散モード)を動かす

はじめに Raspberry PiでHadoopを動かす。 ただし、擬似分散モード。 Raspbianの導入と固定IPの設定まで完了している前提。 Raspberry PiにRaspbianを導入する - もょもとの技術ノート ゴールはName Node, Data Node, Resource Managerを稼働させ、 円周率を…

Raspberry PiにRaspbianを導入する

はじめに 1. DebianベースのRaspberry Pi用OS、Raspbianを導入する 2. HDMIは使用しないで、SSHで設定する 3. 固定IPを設定する使用したのはRaspberry Pi Model B+ CPU : 700 MHz メモリ : 512MB ストレージ : microSD 16GB (別途購入、ハードディスクとか付…

PassengerでRailsアプリを複数稼働させながら、静的コンテンツも提供する

はじめに Phusion PassengerでRailsアプリを複数稼働させながら、 静的コンテンツもApacheサーバーから同時に提供しようとしたら、 アレってなって、調べたメモ。 やりたいこと /var/www/html/contentsとかで静的コンテンツを提供する /opt/appとかにrailsア…

プロキシ環境下でElasticsearchにRubyから接続できない

問題 プロキシ環境下で、localhostに立てたElasticsearchに gem elasticsearchを用いて、Rubyプログラムから接続を試みると、 プロキシサーバーを通して外に接続しに行こうとする orz... バージョン Ruby 2.1.2p95 Elasticsearch 1.3.2 elasticsearch(gem) 1…

30分でDockerの雰囲気をつかむ(Macの場合)

はじめに 30分くらいでDockerの雰囲気をつかむ(Macの場合) インストーラーのダウンロード(15分) ダウンロードする。150MBくらい。 https://github.com/boot2docker/osx-installer/releases Online TutorialをTry it !(同時進行) 15分で集中してがんば…

Apache SparkでTwitter Streaming

はじめに Apache Sparkを利用してTwitter Streamingを取得する。 題材はampcampのHands-on Exercisesを活用する。 Hands-on Exercisesはシリーズ物でEC2で稼働させたり、クラスタやHDFSが必要みたいだけど、それらなしでがんばる。 前提条件 必要なもの Spar…

Apache Sparkをとりあえず動かしてみる

はじめに Apache Spark 1.0.0 をとりあえず動かしてみる。 スタンドアローン環境でHello World! 的なSparkの初めの一歩を実行する。 前提条件 Javaがインストールされていること。 $ java -version java version "1.8.0_05" Java(TM) SE Runtime Environment…

RabbitMQに これでもか ってくらいデータ入れてみる

はじめに RabbitMQ 3.3.1に限界までデータ入れてみるとどうなるか試してみた。 結論 リミッターが効いて設定値以上はデータを受け付けなくなる。 リミッターを設定する 管理画面にアクセスする。 http://192.168.X.X:15672/Disk space項目の48 MB low waterm…

RabbitMQ 3.3.1の管理者画面にログインできない

はじめに RabbitMQのクラスタリング機能を検証したいなーと思い、 Ubuntu ServerにRabbitMQ 3.3.1をインストールして見ました。インストールは非常に簡単で、 インストールガイド通りに実施すれば難なくできます。 Erlangを別途導入する必要はありますが、Ub…

MRIとRubiniusで排他制御

はじめに Matz's Ruby Interpreter(MRI)とRubiniusで排他制御したマルチスレッドプログラムを実行し、結果を比較します。 実行時間計測、CPUコア使用状況を見ていきます。 MRI排他制御なし MRI排他制御あり Rubinius排他制御なし Rubinius排他制御あり の4つ…

MRIとRubiniusでマルチスレッド

はじめに Matz's Ruby Interpreter(MRI)とRubiniusでマルチスレッドプログラムを実行し、結果を比較します。 実行時間計測、CPUコア使用状況を見ていきます。 複数回実行して、平均を取るなど真面目に検証はしていません。 準備 Rubyのバージョン $ ruby -v …

Rubyでスレッドセーフでないことを簡単に確認したい

RubyのスレッドにはGiant VM lock (GVL) (Global Interpreter lock) が実装されており、同時に実行される ネイティブスレッドは常にひとつです。なので、スレッドセーフでないプログラムを実行しても、排他制御が効いているように見えます。 例えば次のコー…