はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networ…
はじめに GTX1070を購入しました GPUでTensorFlowを動かすまでの作業ログです 環境 ハードウェア(2年前に自作したマイサーバー) CPU: Intel CPU Xeon E3-1241V3 3.50GHz マザーボード: ASUSTeK Intel H97 Pro SSD: Samsung SSD840EVO 250GB メモリ: 8GB * …
はじめに 下記記事をKerasで実装してみたくなったのでやってみた ライブラリーを使わずにPythonでニューラルネットワークを構築してみる - Qiita GitHub - dennybritz/nn-from-scratch: Implementing a Neural Network from Scratch chainerでニューラルネッ…
Bulk insert to MySQL Table by ScalikeJDBC テーブル定義 CREATE TABLE `members` ( `id` int(11) DEFAULT NULL, `name` varchar(64) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; サンプルコード import scalikejdbc._ object BulkInsert extends …
はじめに この記事はMachine Learning Advent Calendar 2015 - Qiitaの3日目の記事です gensimはトピックモデルのpythonライブラリです gensimのチュートリアルgensim: Tutorialsに沿って、gensimソースコードリーディングをほんの少し紹介します 全体の流れ…
はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定(たぶん) 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタ…
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/ex…
はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃないですか。で…
はじめに Flumeから流れてきたデータをSpark Streamingする。 実現したいことのイメージ。 netcatサーバーでデータ生成 Flumeはクライアントからデータを受け取り、Sparkに流し込む Spark Streamingでデータを集計 環境 Scala IDE for Ecipse : 2.10.4 flume…
はじめに Scala IDE for Eclipseを利用して、Apache Sparkで、Twitter Streamingする。 バージョン Scala IDE for Ecipse : 2.10.4 Apache Spark : 1.1.0 for Hadoop 2.4 twitter4j : 3.0.3 Scala IDE for Eclipseはこちらから2.10.4をダウンロード Download…
はじめに Raspberry PiでHadoopを動かす。 ただし、擬似分散モード。 Raspbianの導入と固定IPの設定まで完了している前提。 Raspberry PiにRaspbianを導入する - もょもとの技術ノート ゴールはName Node, Data Node, Resource Managerを稼働させ、 円周率を…
はじめに 1. DebianベースのRaspberry Pi用OS、Raspbianを導入する 2. HDMIは使用しないで、SSHで設定する 3. 固定IPを設定する使用したのはRaspberry Pi Model B+ CPU : 700 MHz メモリ : 512MB ストレージ : microSD 16GB (別途購入、ハードディスクとか付…
はじめに Phusion PassengerでRailsアプリを複数稼働させながら、 静的コンテンツもApacheサーバーから同時に提供しようとしたら、 アレってなって、調べたメモ。 やりたいこと /var/www/html/contentsとかで静的コンテンツを提供する /opt/appとかにrailsア…
問題 プロキシ環境下で、localhostに立てたElasticsearchに gem elasticsearchを用いて、Rubyプログラムから接続を試みると、 プロキシサーバーを通して外に接続しに行こうとする orz... バージョン Ruby 2.1.2p95 Elasticsearch 1.3.2 elasticsearch(gem) 1…
はじめに 30分くらいでDockerの雰囲気をつかむ(Macの場合) インストーラーのダウンロード(15分) ダウンロードする。150MBくらい。 https://github.com/boot2docker/osx-installer/releases Online TutorialをTry it !(同時進行) 15分で集中してがんば…
はじめに Apache Sparkを利用してTwitter Streamingを取得する。 題材はampcampのHands-on Exercisesを活用する。 Hands-on Exercisesはシリーズ物でEC2で稼働させたり、クラスタやHDFSが必要みたいだけど、それらなしでがんばる。 前提条件 必要なもの Spar…
はじめに Apache Spark 1.0.0 をとりあえず動かしてみる。 スタンドアローン環境でHello World! 的なSparkの初めの一歩を実行する。 前提条件 Javaがインストールされていること。 $ java -version java version "1.8.0_05" Java(TM) SE Runtime Environment…
はじめに RabbitMQ 3.3.1に限界までデータ入れてみるとどうなるか試してみた。 結論 リミッターが効いて設定値以上はデータを受け付けなくなる。 リミッターを設定する 管理画面にアクセスする。 http://192.168.X.X:15672/Disk space項目の48 MB low waterm…
はじめに RabbitMQのクラスタリング機能を検証したいなーと思い、 Ubuntu ServerにRabbitMQ 3.3.1をインストールして見ました。インストールは非常に簡単で、 インストールガイド通りに実施すれば難なくできます。 Erlangを別途導入する必要はありますが、Ub…
はじめに Matz's Ruby Interpreter(MRI)とRubiniusで排他制御したマルチスレッドプログラムを実行し、結果を比較します。 実行時間計測、CPUコア使用状況を見ていきます。 MRI排他制御なし MRI排他制御あり Rubinius排他制御なし Rubinius排他制御あり の4つ…
はじめに Matz's Ruby Interpreter(MRI)とRubiniusでマルチスレッドプログラムを実行し、結果を比較します。 実行時間計測、CPUコア使用状況を見ていきます。 複数回実行して、平均を取るなど真面目に検証はしていません。 準備 Rubyのバージョン $ ruby -v …
RubyのスレッドにはGiant VM lock (GVL) (Global Interpreter lock) が実装されており、同時に実行される ネイティブスレッドは常にひとつです。なので、スレッドセーフでないプログラムを実行しても、排他制御が効いているように見えます。 例えば次のコー…