100day’s blog

思いついた事や、プログラミングの毎日の作業工程を短めにまとめてます。

「はじめてのHadoop」その1 意味をわからずともwordcountをmacでやってみる。

ビッグデータと向き合わずに小さなシステム開発を幸せにおくりましたとさ・・・・

ちゃんんちゃん・・・

 

とは、いかない現実を突きつけられそう。

 

Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。 Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。

 

- ビッグデータを扱える分散処理技術

- Apache HadoopOSS

- googleの検索などをモチーフにしてる

 

とも他で見た記憶がある。

 

qiita.com

 

この中で

分散ファイルシステムHDFSは複数のコンピュータのローカルディスクを、一つのストレージのように扱います。ローカルディスクを扱うのと同じ方法で分散ストレージを使えるので、特にユーザーが意識する事はありません。

の部分はwordcountのチュートリアルをやってみれば実感できる。

MapReduceとか気になる言葉はあるが、とりあえず手元のPCで実行して確認してみたい。

 

macでwordcount

qiita.com

 

基本こちらを参考にしてみたが、若干わかりにくい部分もあるので

qiita.com

こちらも参考にした。

 

疑似分散まではやらなかった。以下メモ

 

下記にインストールされた状況、特にパスを設定せずそのディレクトリで作業してみた。

 

/usr/local/cellar/hadoop/3.1.0

 

cd /usr/local/cellar/hadoop/3.1.0

 

bin/hadoop fs -mkdir input

 

vi sample.txt

red blue yellow red <- これ入力

 

viを抜けたあとでコピー

 

bin/hadoop -fs -put sample.txt input/

 

wordcount 実施

bin/hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input/ output/

 

出力の確認

 

bin/hadoop fs -cat output/part-r-0000

 

 ローカルディスクを、一つのストレージのように扱いますの意味がなんとなくわかった。

 

 

 

 

 

 

AWS EC2,Docker,VMで利用可能な Amazon Linux 2がリリース

 AWS EC2,Dockerで利用可能な Amazon Linux 2がリリースされました。

f:id:gpstandard:20180704064805p:plain

Amazon Linux 2

基本はAWSのドキュメントを見ると良いですね。 

 

ざっくり概要を掴むならこの記事

www.atmarkit.co.jp

 Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」(AMI)と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」(Kernel-based Virtual Machine)、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシンVM)イメージとしても提供される。

 

 

Mac+Dockerで動かすdev.classmethod.jp

 

有償のLinuxといえばRedHatですが、同じくオンプレにインストールできるパッケージで出てもおかしくないんじゃないかと思ってしまいますね。。。

 Amazon Linux 2は、Amazon EC2で使用する「Amazonマシンイメージ」(AMI)と、Docker環境で使用するコンテナイメージとして提供される。また、「KVM」(Kernel-based Virtual Machine)、「Oracle VM VirtualBox」「Hyper-V」「VMware ESXi」のオンプレミス開発とテスト用の仮想マシンVM)イメージとしても提供される。

 

 

 

 

ウィンドウズでapt-getのようなパッケージマネージャー? chocolatey(チョコレティ)でどんなソフトを管理するの?

シンプルにchromeacrobat readerなどのウィンドウズソフトをパッケージ管理できます。

 

ウィンドウズだとGUIでのインストールが多いですもんね。

 

qiita.com

 

インストール管理できるパッケージ

Chocolatey Gallery | Packages

 

 

 

javascriptライブラリで簡単に利用できるAI機能って? 機械学習をブラウザ上で可能でビギナーにオススメ。

AIに興味を持ち、これでもかというほどドキュメントを読んで、未だに自サイトには活用できていない、仕事にも活かせていない・・・・

 

そんな状況をもしかしたら打破してくれるかもしれない、javascriptライブラリがあるみたいです。

 

ferret-plus.com

 

今まで難しそうに思えた「機械学習」も、JavaScriptで書いてみると「意外とシンプルだった」というケースもあるでしょう。これらのライブラリを使えば、Pythonを学ばずとも機械学習を取り入れられ、なおかつフロントエンドで開発も行えます。

 

実際のところ、それぞれウェブ上で確認できるDEMOも含まれていたりするので、今スグ取り組むにはいいかもしれません。

 

 

 

マイクロソフトによる、GitHubのこれからを示唆する、次期社長のインタビューの翻訳を要約

キータにてインタビューを翻訳してくれてるありがたい記事がありました。

 

@narutoさん。有難うございます。

f:id:gpstandard:20180615090413p:plain

qiita.com

 

続きを読む

IBM Code Patternsが開設!! 開発者の為の新しいアトラクションにワクワクしよう!!

例えばMozillaのMDNなど開発者に有益な情報を提供している企業は多いですね。

マイクロソフトGitHubを集中に収める事もそうですが、

 

開発者の支持を得る = サービス、テクノロジーを利用する開発者が増える

 

という、ある種、企業版インターンとも言うべき大きな効果があると感じます。

今回のIBMも今の時代に合った開発者に向けたコンテンツ内容がもりだくさんで、非常にいい感じです。

 

www.itmedia.co.jp

  日本IBMは6月11日、開発者向けの情報ポータルサイトIBM Code Patterns」を開設した。AI(人工知能)やクラウドなどのアプリケーション開発に役立つアイデアやコードのサンプル(Code Patterns)70種類を日本語でまとめたもので、例えば「ブロックチェーンを使ってTo-Doリスト・アプリを作成する」「機械学習アルゴリズムのトレーニングを加速化する」などのパターンが公開されている。

 

正直、こういったサイトがオープンする度に東京ディズニーランドの新しいアトラクションが出来たようにワクワクします。

 

続きを読む

ウェブサイト運営の参考にIPA「ウェブサイト開設等における運営形態の選定方法に関する手引き」

IPAといえば「安全なウェブサイトの作り方」などのガイドドキュメントでも有名ですが、そちらが制作にかかわる部分なら、今回は運用にかかわる部分のガイドドキュメントとなります。

 

www.ipa.go.jp

 

続きを読む