elm200 @elm200@mstdn.jp

Raspberry PI 3 上でいまこれを書いている。ラズパイ3は、性能がずっと上がっており、簡単な作業ならデスクトップ上で普通にこなせる。こんなに小さいのにほぼ普通のPCとして使えるのはなかなか驚異的である。ただ、その一方で、あまりに普通に使えてしまうので、やや物足りなさも感じたりするが・・・（笑）。ないものねだりだね・・・。

Python のウェブフレームワークで、まともに使ったことがあるのは Flask だけで、Django はまだ触れたことがない。だが、話によれば Rails とできることに大差はないという。

ならば、これからは Rails ではなく Django という選択肢もあるのではないか。ウェブフレームワークを運用してしばらくすると効果測定の必要がでてくる。データ分析をするなら、圧倒的に Python のほうがライブラリが充実している。ならば、ウェブ開発も Python にしてしまえば、言語のスイッチングコストがかからない。

Ruby勢はデータ分析・機械学習に関するツールを早く整えないと今後ますます Python に差を付けられるかもしれない…。Ruby はよい言語だが、私は最近ではもっぱら Python を使うようになりつつある。Python は慣れると手に馴染むよい道具になる。

DCGAN について考え続けている。いろいろ格闘した挙句、一応それらしい画像を生成してくれるプログラムを書くことはできた・・・（まあ、このアルゴリズムは、DCGAN のオリジナル論文とはかなり違っているみたいなので、アレではあるが)。

Deep Learning の研究では強い孤独感を感じる。なんとも言えない五里霧中感というか。おおざっぱなアイディアに関しては理論的な背景があっても、実際に動かそうとすると、理論はほぼ無力で、ひたすら試行錯誤するしかない。

車の自動運転周りとかどういう技術を使っているんだろうなあ…。Deep Learning は確かにブレイクスルーだけど、ちょっと世間は期待先行になりすぎている気がする。

確かに人工知能の実現は人類の悲願であるが、それが今すぐにでも実現すると考えるのは気が早すぎるかも。さらに何段階かのブレイクスルーが必要な気がする。

毎日 TensorFlow と格闘しているのだが、なかなか理解が進まずもどかしい。まあ今日は、ようやく conv2d_transpose の動きが理解できたから、これはよいとしよう。

別に何か難しい話があるわけではないのだ。やればできるはずなのだ。だが、やはり TensorFlow のノリはいままで触ってきたウェブ系のライブラリ等とはいろいろ違う。まだ慣れていない感じ。

正直、詳しい処理を追いかけたかったら、Chainer のほうがいいかもなあ。TensorFlow は肝心なところがほとんど C++ のレイヤーに埋もれていて、そこを追いかけるのは結構つらい。

まあ、やるしかないねー。

機械学習関連で（私にとっては）小難しい数学を勉強しているのだが、私が学生だった25年前に比べると、はるかに今のほうが勉強しやすいことに気がついた。

それは数学で疑問点があった場合、ウェブで即座に情報を検索し、大抵の場合それで問題が解決するからだ。

ああ、偉大なり、ワールド・ワイド・ウェブ。さすが、もともと科学研究上の情報検索のために作られただけのことはある。

こうなってくると、現代は、意欲と根気こそが一番重要だと分かる。意欲と根気さえあれば、少なくともウェブ上に情報が多い技術に関してはどこまで前に進んでいけそうだ。

人間は偏見に満ちあふれているというが、実のところ、決め打ちで行動する部分がなかったら、一日も暮らすことはできないのだ。

1万種類の商品が売っているスーパーに言って、そのうち5種類だけを選ぶとしよう。1万から5個を選ぶ組み合わせ数は実に83京(8.3e+17)もある。

馬鹿正直にやるなら、それら83京の組み合わせの一つ一つを効用関数に入れて、もっとも効用の高い組み合わせを選ぶことになる。だが、こんなコストの高い計算をいちいちやっていられない。

人間は、莫大な選択肢の中から、絶えずあまり考えることもなく、一つのものを選んでいる。他の人から見るとその選択が馬鹿げたものに見えることもある。だが、馬鹿正直に選択肢をすべて評価して全く判断が下せなくなるよりはずっとマシなのだ。

人間は絶えず間違えるが、それでも判断が下せる分、機械よりはずっと賢いのだと思う。たとえそれがどうしようもない独断と偏見にまみれていても。

「GPUはうるさい」と経験談を語ってくれた人のおかげで、徹底的な静音化を目指した結果、私のPCは実に静かに作れた。GPUがフル稼働しているときでも、「シュイーン」という音がわずかに聞こえるだけ。直前までメインマシンだったノートPCの方がうるさかったかもしれない。

私のPCは13万円かかったけど、深層学習のことだけ考えれば、GPUがあればCPUの性能はほとんど要らないので、極端な話、Pentium とかにしてしまえば、3万円くらいは浮かすことができたかもしれない（最新の Pentium は古い Core i5 よりずっと速い)。

メインメモリもとりあえず8GBでも大丈夫だったかも。これで8000円くらい浮かすことができる。

そうやってミニマム構成にすれば、9万円台でも実用的な深層学習マシンを作れたかもしれない。

・・・まあ、私が実際に作った Core i7 + 16GB というのは非常に無難な構成だとは思うけど。

いやあ、新PCのおかげで私の生活は劇的に向上した。GPUへの愛なくしては語れない。GPU素晴らしすぎる。GPUは使いこなすのが難しいらしいのだが、ライブラリを作る人(深層学習の場合は、TensorFlow とか）が頑張ってくれれば、使う側からすればなんと言うこともない。

…とベタ褒めするつもりだったが、たったいま TensorFlow に ResourceExhaustedError と怒られた。まあ、やはり GPU を使いこなすにはそれなりの慣れは必要らしい。それでも、やはりいまどきこんなにコスパのよい計算装置はないとは思う。

新PC(Core i7 7700 + GeForce GTX 1060)を買って、ある deep learning の計算をさせたところ、以前の古いPC(Core i3-2370Mのみ）で2,000秒掛かっていた計算がたった15秒でできるようになった。130倍の高速化。

AWS の g2.2xlarge インスタンスに比べても4倍速くなっている。

GPU の威力に震撼している…。NVIDIAの株が暴騰し、Intel が深刻な脅威を感じるのはよくわかるわ。

4.4TFLOPS の計算性能をたたき出しながら、消費電力はわずか300W。おそろしいエネルギー効率だ。

現状、deep learning はいくら計算資源があっても足りない状態なので、今後の GPU の発展に期待。

訂正：統計数理研究所のメインスパコンは、いまは増強して、300TFLOPS を越えているらしい。

一緒に見学した知人（インフラ系）の話によると、民間企業ではありえないほど近くまで接近することができて、いろいろ見せてくれたということで、スパコン見学する場所としては貴重なのかもしれない。

おそらく毎年、統計数理研究所のオープンハウスはやっているはずなので、ご興味のある方はぜひ。

さっき GTX 1080 1枚で 10 TFLOPS って言ったけど、正確には、オーバークロックして、10 TFLOPS らしい。ただし、新製品の 1080 Ti なら、デフォルトで、11.34 TFLOPS らしい。いずれにしろ爆速ではある。http://www.4gamer.net/games/251/G025177/20170301004/

先日秋葉原のツクモの店員さんにお世話になったので、新PCのパーツをツクモで買うことも検討したのだが、結局、アマゾンで買ってしまった・・・。うう、ツクモごめん。

ツクモも頑張っているとは思うだけど、ウェブシステムの使いやすさ、価格、納期、いずれもアマゾンが圧倒しているので。

日本の販売店はきめ細かいサポートでアマゾンと差別化するしかないのかなあ・・・。結局、パーツだけ手に入ればいいという私のような人間をとらえるのは難しいのかも知れない。

日本の販売店もがんばって！アマゾンよりサービスがよければ買うことを検討します！

今日は立川にある統計数理研究所がオープンハウスだったので、訪れている。スパコンの見学ツアーがあったので参加してみた。

メインのスパコンはメモリこそ64TBもあるものの、計算能力自体は、200TFLOPS程度らしい。うーん…。いまは、グラフィックカードのGeForce GTX 1080 一枚だけで、10TFLOPS 以上あるのに。まあ、スパコンとパソコンの GPU では直接比較できないのかもしれないが・・・・。

SGI 製と DELL 製のマシンが置いてあった。OS はすべて Linux らしい。スパコンというので特別なものを想像していたのだが、いまどきのスパコンは、PC を量的に大きくしたものに近いのかな…？

統計学・機械学習には、「マルコフ連鎖モンテカルロ法（MCMC)」とか「マルコフ決定過程(MDP)」とかいう手法があって、なんか「マルコフ」というロシア人の名前がついているだけで、難しそうで「もうだめだー」という気分になるが、概念自体はそれほど難しくない気がする（気がするだけかもしれないが）。ぼちぼちやるしかないね・・・。

こういうのを見ても、最新のスパコンでもGPUを数千個つなげただけだから、単純計算すれば、1個高性能GPUを積んでいるPCは、それだけでスパコンの数千分の1の性能がある、ということになる。ま、そんなに単純な話ではないのだろうけど、オーダーとしてはだいたい合っているだろう。http://www.sgi.co.jp/news/detail/jp20170217_TITECH.html

機械学習でハイスペックマシンの必要性を痛感して、自作PCを検討中。最初は面倒くさかったが、パーツについてわかってくると、これはこれでなかなか楽しい。１２万円程度で、そこそこよさそうなマシンが作れそう。GPU性能的には、これですでに15年前のスパコンなみの速度が出るのだから恐ろしい…。

でもツクモっていまはヤマダ電機の子会社で、ブランドだけ引き継いでいるのね・・・。もともとの九十九電機という会社自体は清算済みらしい。栄枯盛衰。ちょっと寂しくはある。https://ja.wikipedia.org/wiki/%E4%B9%9D%E5%8D%81%E4%B9%9D%E9%9B%BB%E6%A9%9F

昨日、秋葉原のツクモ本店に行ったのだが、そこの店員さんが自作PCについてめちゃくちゃ詳しくて、本当に勉強になった。自作PCを作ろうとしている人にはおすすめ。

Python のインタラクティブ環境で、

>>> import this

とすると、Python 哲学(The Zen of Python)が見られるのだが、その中の

Special cases aren't special enough to break the rules.

という一文が好き。思いつきで機能を追加していくことを戒めているのだろう。シンプルさは力だと思う。

関数型言語的なやり方を否定せず、だからといって絶対視もせず、ぼちぼちと、自分のペースで学んでいき、使える場面では使っていこう。それが私のできる精一杯のことだし。