Python のウェブフレームワークで、まともに使ったことがあるのは Flask だけで、Django はまだ触れたことがない。だが、話によれば Rails とできることに大差はないという。
ならば、これからは Rails ではなく Django という選択肢もあるのではないか。ウェブフレームワークを運用してしばらくすると効果測定の必要がでてくる。データ分析をするなら、圧倒的に Python のほうがライブラリが充実している。ならば、ウェブ開発も Python にしてしまえば、言語のスイッチングコストがかからない。
Ruby勢はデータ分析・機械学習に関するツールを早く整えないと今後ますます Python に差を付けられるかもしれない…。Ruby はよい言語だが、私は最近ではもっぱら Python を使うようになりつつある。Python は慣れると手に馴染むよい道具になる。
DCGAN について考え続けている。いろいろ格闘した挙句、一応それらしい画像を生成してくれるプログラムを書くことはできた・・・(まあ、このアルゴリズムは、DCGAN のオリジナル論文とはかなり違っているみたいなので、アレではあるが)。
Deep Learning の研究では強い孤独感を感じる。なんとも言えない五里霧中感というか。おおざっぱなアイディアに関しては理論的な背景があっても、実際に動かそうとすると、理論はほぼ無力で、ひたすら試行錯誤するしかない。
車の自動運転周りとかどういう技術を使っているんだろうなあ…。Deep Learning は確かにブレイクスルーだけど、ちょっと世間は期待先行になりすぎている気がする。
確かに人工知能の実現は人類の悲願であるが、それが今すぐにでも実現すると考えるのは気が早すぎるかも。さらに何段階かのブレイクスルーが必要な気がする。
人間は偏見に満ちあふれているというが、実のところ、決め打ちで行動する部分がなかったら、一日も暮らすことはできないのだ。
1万種類の商品が売っているスーパーに言って、そのうち5種類だけを選ぶとしよう。1万から5個を選ぶ組み合わせ数は実に83京(8.3e+17)もある。
馬鹿正直にやるなら、それら83京の組み合わせの一つ一つを効用関数に入れて、もっとも効用の高い組み合わせを選ぶことになる。だが、こんなコストの高い計算をいちいちやっていられない。
人間は、莫大な選択肢の中から、絶えずあまり考えることもなく、一つのものを選んでいる。他の人から見るとその選択が馬鹿げたものに見えることもある。だが、馬鹿正直に選択肢をすべて評価して全く判断が下せなくなるよりはずっとマシなのだ。
人間は絶えず間違えるが、それでも判断が下せる分、機械よりはずっと賢いのだと思う。たとえそれがどうしようもない独断と偏見にまみれていても。
「GPUはうるさい」と経験談を語ってくれた人のおかげで、徹底的な静音化を目指した結果、私のPCは実に静かに作れた。GPUがフル稼働しているときでも、「シュイーン」という音がわずかに聞こえるだけ。直前までメインマシンだったノートPCの方がうるさかったかもしれない。
私のPCは13万円かかったけど、深層学習のことだけ考えれば、GPUがあればCPUの性能はほとんど要らないので、極端な話、Pentium とかにしてしまえば、3万円くらいは浮かすことができたかもしれない(最新の Pentium は古い Core i5 よりずっと速い)。
メインメモリもとりあえず8GBでも大丈夫だったかも。これで8000円くらい浮かすことができる。
そうやってミニマム構成にすれば、9万円台でも実用的な深層学習マシンを作れたかもしれない。
・・・まあ、私が実際に作った Core i7 + 16GB というのは非常に無難な構成だとは思うけど。
新PC(Core i7 7700 + GeForce GTX 1060)を買って、ある deep learning の計算をさせたところ、以前の古いPC(Core i3-2370Mのみ)で2,000秒掛かっていた計算がたった15秒でできるようになった。130倍の高速化。
AWS の g2.2xlarge インスタンスに比べても4倍速くなっている。
GPU の威力に震撼している…。NVIDIAの株が暴騰し、Intel が深刻な脅威を感じるのはよくわかるわ。
4.4TFLOPS の計算性能をたたき出しながら、消費電力はわずか300W。おそろしいエネルギー効率だ。
現状、deep learning はいくら計算資源があっても足りない状態なので、今後の GPU の発展に期待。
さっき GTX 1080 1枚で 10 TFLOPS って言ったけど、正確には、オーバークロックして、10 TFLOPS らしい。ただし、新製品の 1080 Ti なら、デフォルトで、11.34 TFLOPS らしい。いずれにしろ爆速ではある。http://www.4gamer.net/games/251/G025177/20170301004/
今日は立川にある統計数理研究所がオープンハウスだったので、訪れている。スパコンの見学ツアーがあったので参加してみた。
メインのスパコンはメモリこそ64TBもあるものの、計算能力自体は、200TFLOPS程度らしい。うーん…。いまは、グラフィックカードのGeForce GTX 1080 一枚だけで、10TFLOPS 以上あるのに。まあ、スパコンとパソコンの GPU では直接比較できないのかもしれないが・・・・。
SGI 製と DELL 製のマシンが置いてあった。OS はすべて Linux らしい。スパコンというので特別なものを想像していたのだが、いまどきのスパコンは、PC を量的に大きくしたものに近いのかな…?
こういうのを見ても、最新のスパコンでもGPUを数千個つなげただけだから、単純計算すれば、1個高性能GPUを積んでいるPCは、それだけでスパコンの数千分の1の性能がある、ということになる。ま、そんなに単純な話ではないのだろうけど、オーダーとしてはだいたい合っているだろう。http://www.sgi.co.jp/news/detail/jp20170217_TITECH.html
でもツクモっていまはヤマダ電機の子会社で、ブランドだけ引き継いでいるのね・・・。もともとの九十九電機という会社自体は清算済みらしい。栄枯盛衰。ちょっと寂しくはある。https://ja.wikipedia.org/wiki/%E4%B9%9D%E5%8D%81%E4%B9%9D%E9%9B%BB%E6%A9%9F