Julia Boxの Jupyter Note book にCousera教材をuploadする
前回、第1章でJulia BoxやJupyter Note bookについて準備をしましたが、第2章からはデータ、統計に基づく基本操作などを習得する事ができるようです。
Julia Scientific Programming | Coursera
で、実際の コース内容を眺めるのもいいですが、同時にうごかせる教材が付属しています。
↑ こちらのResources部分から、今回使われている教材部分をダウンロードできます。
正直ビデオを見続けるより、下手したら教材触った方が早いかも・・・
Julia Boxへのアップロードはわかりやすいのですぐできると思います。
↑Uploadから適当に・・・・
と考えてしまいますが、まあ英語の勉強をしながらという意味もあるのでザッと眺めるにとどめました。
第2章ではCSVの読み込みやグラフ作成の為のデータ処理の定義、Loopなどの使い方が見てとれました。
Juliaもそうですが、改めてJupyter Note bookはわかりやすいツールだなと関心しますね。
Julia Box と Jupyter Note book を使えるようにする。REPL環境で色々な式を試す。
続けて
Julia Scientific Programming | Coursera
をやってるわけですが、最初の段階で Julia Boxの利用法の説明に入ります。
Julia Boxとは?
簡単に言うとオンラインでJulia が利用できるサービスです。一応Freeプランもあります。
JuliaBox上でJupyter noteを使えます。
Jupyter noteとは?
ノートブックと呼ばれる形式で作成したプログラムを実行し、実行結果を記録しながら、データの分析作業を進めるためのツールです。
Pythonで利用した事はありますが、Juliaでもいけるんですね。
Julia v0.6.1のインストールとJupyter Notebookで使うまで
こちらを見るとローカルでのJupyter Note book利用もいけそうですね。
どうも今回の講座の第1章はこのJpyter Note bookの使い方のさわりで終わりのようです。
章の終わりもJulia REPLで終了ですし・・・・
このまま終わればJuliaも単なる計算機で終わってしまいます。
続きはまた後ほど
coursera Julia Scientific Programming 話題のJuliaをオンラインで学ぶ 準備の準備。講師の先生らを確認
macにjuliaをインストール。PATHを通す。
「はじめてのHadoop」その1 意味をわからずともwordcountをmacでやってみる。
ビッグデータと向き合わずに小さなシステム開発を幸せにおくりましたとさ・・・・
ちゃんんちゃん・・・
とは、いかない現実を突きつけられそう。
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。 Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。
- ビッグデータを扱える分散処理技術
- googleの検索などをモチーフにしてる
とも他で見た記憶がある。
この中で
分散ファイルシステムHDFSは複数のコンピュータのローカルディスクを、一つのストレージのように扱います。ローカルディスクを扱うのと同じ方法で分散ストレージを使えるので、特にユーザーが意識する事はありません。
の部分はwordcountのチュートリアルをやってみれば実感できる。
MapReduceとか気になる言葉はあるが、とりあえず手元のPCで実行して確認してみたい。
macでwordcount
基本こちらを参考にしてみたが、若干わかりにくい部分もあるので
こちらも参考にした。
疑似分散まではやらなかった。以下メモ
下記にインストールされた状況、特にパスを設定せずそのディレクトリで作業してみた。
/usr/local/cellar/hadoop/3.1.0
cd /usr/local/cellar/hadoop/3.1.0
bin/hadoop fs -mkdir input
vi sample.txt
red blue yellow red <- これ入力
viを抜けたあとでコピー
bin/hadoop -fs -put sample.txt input/
wordcount 実施
bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input/ output/
出力の確認
bin/hadoop fs -cat output/part-r-0000
ローカルディスクを、一つのストレージのように扱いますの意味がなんとなくわかった。
AWS EC2,Docker,VMで利用可能な Amazon Linux 2がリリース
AWS EC2,Dockerで利用可能な Amazon Linux 2がリリースされました。
基本はAWSのドキュメントを見ると良いですね。
ざっくり概要を掴むならこの記事
Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」(AMI)と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」(Kernel-based Virtual Machine)、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシン(VM)イメージとしても提供される。
Mac+Dockerで動かすdev.classmethod.jp
有償のLinuxといえばRedHatですが、同じくオンプレにインストールできるパッケージで出てもおかしくないんじゃないかと思ってしまいますね。。。
Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」(AMI)と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」(Kernel-based Virtual Machine)、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシン(VM)イメージとしても提供される。