Julia Box と Jupyter Note book を使えるようにする。REPL環境で色々な式を試す。
続けて
Julia Scientific Programming | Coursera
をやってるわけですが、最初の段階で Julia Boxの利用法の説明に入ります。
Julia Boxとは？
簡単に言うとオンラインでJulia が利用できるサービスです。一応Freeプランもあります。
JuliaBox上でJupyter noteを使えます。
Jupyter noteとは？
ノートブックと呼ばれる形式で作成したプログラムを実行し、実行結果を記録しながら、データの分析作業を進めるためのツールです。
Pythonで利用した事はありますが、Juliaでもいけるんですね。
Julia v0.6.1のインストールとJupyter Notebookで使うまで
こちらを見るとローカルでのJupyter Note book利用もいけそうですね。
どうも今回の講座の第１章はこのJpyter Note bookの使い方のさわりで終わりのようです。
章の終わりもJulia REPLで終了ですし・・・・
このまま終わればJuliaも単なる計算機で終わってしまいます。
続きはまた後ほど
coursera Julia Scientific Programming 話題のJuliaをオンラインで学ぶ 準備の準備。講師の先生らを確認
macにjuliaをインストール。PATHを通す。
「はじめてのHadoop」その１ 意味をわからずともwordcountをmacでやってみる。
ビッグデータと向き合わずに小さなシステム開発を幸せにおくりましたとさ・・・・
ちゃんんちゃん・・・
とは、いかない現実を突きつけられそう。
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。 Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。
- ビッグデータを扱える分散処理技術
- googleの検索などをモチーフにしてる
とも他で見た記憶がある。
この中で
分散ファイルシステムHDFSは複数のコンピュータのローカルディスクを、一つのストレージのように扱います。ローカルディスクを扱うのと同じ方法で分散ストレージを使えるので、特にユーザーが意識する事はありません。
の部分はwordcountのチュートリアルをやってみれば実感できる。
MapReduceとか気になる言葉はあるが、とりあえず手元のPCで実行して確認してみたい。
macでwordcount
基本こちらを参考にしてみたが、若干わかりにくい部分もあるので
こちらも参考にした。
疑似分散まではやらなかった。以下メモ
下記にインストールされた状況、特にパスを設定せずそのディレクトリで作業してみた。
/usr/local/cellar/hadoop/3.1.0
cd /usr/local/cellar/hadoop/3.1.0
bin/hadoop fs -mkdir input
vi sample.txt
red blue yellow red <- これ入力
viを抜けたあとでコピー
bin/hadoop -fs -put sample.txt input/
wordcount 実施
bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input/ output/
出力の確認
bin/hadoop fs -cat output/part-r-0000
ローカルディスクを、一つのストレージのように扱いますの意味がなんとなくわかった。
AWS EC2,Docker,VMで利用可能な Amazon Linux ２がリリース
AWS EC2,Dockerで利用可能な Amazon Linux ２がリリースされました。
基本はAWSのドキュメントを見ると良いですね。
ざっくり概要を掴むならこの記事
Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」（AMI）と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」（Kernel-based Virtual Machine）、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシン（VM）イメージとしても提供される。
Mac+Dockerで動かすdev.classmethod.jp
有償のLinuxといえばRedHatですが、同じくオンプレにインストールできるパッケージで出てもおかしくないんじゃないかと思ってしまいますね。。。
Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」（AMI）と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」（Kernel-based Virtual Machine）、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシン（VM）イメージとしても提供される。
ウィンドウズでapt-getのようなパッケージマネージャー？ chocolatey(チョコレティ）でどんなソフトを管理するの？
javascriptライブラリで簡単に利用できるAI機能って？ 機械学習をブラウザ上で可能でビギナーにオススメ。
AIに興味を持ち、これでもかというほどドキュメントを読んで、未だに自サイトには活用できていない、仕事にも活かせていない・・・・
そんな状況をもしかしたら打破してくれるかもしれない、javascriptライブラリがあるみたいです。
今まで難しそうに思えた「機械学習」も、JavaScriptで書いてみると「意外とシンプルだった」というケースもあるでしょう。これらのライブラリを使えば、Pythonを学ばずとも機械学習を取り入れられ、なおかつフロントエンドで開発も行えます。
実際のところ、それぞれウェブ上で確認できるDEMOも含まれていたりするので、今スグ取り組むにはいいかもしれません。
