アクセス制限

IE6とそれ以前のブラウザ、ならびにWinXPとそれ以前のOSからのアクセスはブロックします。今これで来るのはおかしなアクセスばかりなので。

件のnoteに対するコメントその2

[2018 2/28 22:05 「PEZY批判」→「PEZYの技術に対する批判」(@kumagi様のご指摘による)]

TL; DR

PEZY の実用アプリケーションは2009年の研究より小規模で粗く更に遅い
rings
2018/02/11 19:33
https://note.mu/rings/n/n29283c5afed5

にて、現在私のコメントに対する反論が行われているらしいですが、私があげた3点+おまけに対する明確な反論はなく、不正確な文章をさらにひたすら積み重ねるのに終始しているので、私はもう関わらないことにします。

(これまでのあらすじはこちら)

以下は追加のコメント。

  1. サイエンスというのは具体的な成果にもとづくものです。「やってないけどやればできる」というのはSFであり妄想です。もし私の小脳モデルよりも優れたものができると主張するのであれば、実際にやってみせ、かつしかるべき研究誌に発表してからにしていただきたい。
  2. 私は伝統的な小脳の理論研究の文脈を受け継ぐ小脳の研究者であり、小脳以外の部位についてはほとんど興味がありません。小脳以外の脳部位でこういうモデルがあると言われても、直接私の研究に影響が無い限りは、ふーんそれで?という印象しか持ちません。お寿司屋さんに行ってカレーを食わせろと言っても相手にされないのと一緒。
  3. 小脳研究の、あるいは神経科学の文脈で私の論文を批判するのは可能です。あの論文にはいくつか私が満足できていない部分があり、それらに対する批判は受け入れます。しかし、かの人は「PEZY憎し」という文脈からアクロバティックに研究批判をしようとしており、当然それには無理があるので、表現を曖昧にし誤読とミスリーディングと嘘によってもっともらしく取り繕うのに腐心しています。結果として不正確で説得力を持たない文章となっています。
  4. ではかの人にきちんと適切な文脈にもとづいて批判ができるか?というとそれは無理なのでしょう。論文ごとに用いている微分方程式の違いや、その数値計算法の違いについてすら何一つ考察しておらず、単に数字の大小だけで物事を説明しようとしていますから。
  5. PEZYの技術に対する批判は死屍累々の山なのだから、素人は手を出さない方がいい。

履歴

[2018 2/28 22:05] 「PEZY批判」→「PEZYの技術に対する批判」(@kumagi様のご指摘による)
[2018 2/28 21:40] 初出

件のnoteに対するコメント

[2018 3/2 14:53 コメントその2へのリンクを追加]

TL; DR

PEZY の実用アプリケーションは2009年の研究より小規模で粗く更に遅い
rings
2018/02/11 19:33
https://note.mu/rings/n/n29283c5afed5

というnoteは、内容が不正確なので信用しない方がいい。論点は下記の3つ+おまけ。

(コメントその2を書きました)

1. 誤解あるいは恣意的なミスリーディング

件のnoteより:

2016年度理研シンポジウム『スーパーコンピュータHOKUSAIとShoubu、研究開発の最前線』での招待講演で紹介されている,PEZY Computing のスパコンの実用アプリケーションでも代表的なものです.そこでの講演『Shoubuで実現するネコ一匹分の人工小脳』(講演資料, PDF)では,「もちろん世界最大,最高速,最も精緻」(資料14ページ目)と書いています.

リンク先のスライドは私が作成したものですが、この講演のタイトルにもあるとおり内容はもちろん小脳のことですし、当該スライドのタイトルも「Shoubu上の人工小脳」なので、小脳回路のモデルとして「世界最大,最高速,最も精緻」です。文脈を無視して一部の文章だけ切り出してなんか言うのやめてもらえませんかね。

それから、件のnoteは全体として、私がスパコンのベンチマークのために小脳のシミュレーションをやっているかのように書かれてますが、私の興味は10年以上一貫して小脳の神経科学であり(文献リストを見れば一目瞭然、なんなら科研費の申請区分は常に「神経科学一般」だし)、大規模な小脳モデルを使って小脳の情報処理原理を解明しようとしているのが私のサイエンスなので、勝手に私の研究方針を変えないでいただきたい。

2. 嘘

件のnoteより:

猫の脳のシミュレーションでは,より規模が大きく,もっと速く,もっと精緻なシミュレーションがこの研究以前に行われています.

行われていない。後ろを読んでくと、

(5) シナプス数,時間ステップを揃えたとき,過去の研究の方が20-40倍速い.

とあり、やればできるかもね、というだけ。「やってないけどやればできるかも」はサイエンスではなくSFなので、やってから言って欲しい。

3. 誤解あるいは恣意的なミスリーディング

件のnoteより:

上の比較に対して「問題の大きさではなく,実時間でシミュレーションすることが重要なのであって,[Y+17] は最速だ」とする考えもあり得ます.しかしその場合,[L+15] では猫の小脳モデルを1秒シミュレーションするのに 25.6ms しかかかりません.さらに講演者は [L+15] の共著者なので(論文の公表は2015年,講演は2016年),講演したときにその内容を十分理解しています.

[L+15]は小脳の顆粒層しか実装していない。

4. おまけ

件のnoteでは、最後にご丁寧にも

一般向けの情報に誤解を招く表現を含めることへの疑問

とあるんですが、これは何かの冗談ですかね。

山﨑 匡

参考文献

[A+09] R. Ananthanarayanan et al. (2009) The Cat is Out of the Bag: Cortical Simulations with 10^9 Neurons, 10^{13} Synapses. In Supercomputing 09: Proceedings of the ACM/IEEE SC2009 Conference on High Performance Networking and Computing (Portland, OR). https://doi.org/10.1145/1654059.1654124
[K+14] S. Kunkel et al. (2014) Spiking network simulation code for petascale computers. Frontiers in Neuroinformatics 8: 78. https://doi.org/10.3389/fninf.2014.00078
[L+15] J. Luo et al. (2015) Real-Time Simulation of Passage-of-Time Encoding in Cerebellum Using a Scalable FPGA-Based System. IEEE Transactions on Biomedical Circuits and Systems 10(3), pp. 742-753. October 2015.13 http://dx.doi.org/10.1109/TBCAS.2015.2460232
[Y+17] T. Yamazaki et al. (2017) Real-time simulation of a cat-scale artificial cerebellum on PEZY-SC processors. The International Journal of High Performance Computing Applications. First Published June 6, 2017. http://journals.sagepub.com/doi/full/10.1177/1094342017710705

履歴

[2018 3/2 14:53] コメントその2へのリンクを追加
[2018 2/26 16:45] 「3点+おまけ」の文がわかりにくいので修正
[2018 2/26 16:10] 参考文献を追加
[2018 2/26 11:54] 初出

ゆく年くる年2016

今年もこの季節になりました。去年の今日は睡蓮のローカルメモリと戦っていた記憶が。そして今年は菖蒲の論文の査読結果と戦っている最中。

今年のハイライト:

  • 初めて人を雇って研究させることになった。
  • 「ぼくのかんがえたさいきょうのポスドク部屋」を作った。床をはがすところからスタート。
  • NEDOプロ受託研究は順調に進行中。来年1月のステージゲートに向けラストスパート。
  • ポスト「京」萌芽研究も無事採択。「京」コンピュータを使えるようになった。
  • Shoubuを使ってネコ小脳リアルタイムシミュレーションができた。色んな人との繋がりができた。
  • テニュアトラック最終審査終了。審査結果はオールA、学術院代議員会でも全員一致で合格。
  • 論文は2本採択、2本投稿中(両方ともこのタイミングで査読が返ってきた)、1本まもなく投稿。
  • 総務省の脳情報AIの委員に就任。霞ヶ関詣をすることになった。
  • 国プロ2つ抱えたらとにかく事務書類が多い!スポンサーからの依頼はともかく学内から要求される書類が多すぎる。

倉重さんと岩田さんに来てもらったのは今年の4月からなのでまだ9ヶ月しか経ってないのに、なんかずいぶん昔のことのような気がする。テニュアトラック最終審査は重要なイベントだったはずだけど国プロ2つが重すぎて完全に記憶の彼方。色々と緊張したなあ今年。

来年の目標:

  • NEDOプロのステージゲートを突破して後半3年間のプロジェクトをスタートさせる。
  • ポスト「京」萌芽研究も成果をあげて中間審査を乗り切る。
  • ポスドクをあと2人増やす。
  • 学外とか海外から人を入れたい。
  • Rpeak 1PFくらいのスパコンが欲しい。
  • 教育のデューティーが増えるけど頑張る。
  • 論文を全部通す。
  • 大学院生とポスドク全員に海外発表をさせる。GTCとCNSとSCとSfNとNIPSとCosyne!
  • 今度こそSCに行く。
  • 今度こそポスドク部屋にソファを導入する。

いい人を集めて色々札束で殴ってもっと強い研究室を作りたいと思います。

居室の掃除も終わったので年越しの準備ができました。来年も盛りだくさんでお送りします。

JNNS2015

今年の日本神経回路学会は電通大の開催です。実行委員を仰せつかっていますが、今年はすごいです!

特別講演に日本IBMの梶谷浩一様をお招きして、「Neuromorphic Computing in IBM」という演題でご講演いただきます。去年Science誌に掲載されたニューロチップTrueNorthのお話を聞けます!

連動企画として「高性能計算技術が加速する脳神経回路シミュレーション」という企画シンポジウムもやります。講演者は五十嵐潤(OIST)、浅井哲也(北海道大学)、奥野弘嗣(大阪大学)という豪華布陣に山﨑が加わります。京、GPU、FPGA、専用チップと様々なアーキテクチャを揃えて、それぞれの特徴や利点、事例をご発表いただきます。

9/2-4電通大でお待ちしています!

やらなきゃいけないことはやらないと

今日は某授業の課題の一環で学生4人の訪問を受け、とても楽しい時間を過ごしました。

あの授業については色々思うところも言いたいこともあるでしょう。だけど課題というのは忌避するものではなくチャレンジするものです。やりたくないからやらない、というのは子供の態度です。それがなんであれ、与えられた仕事は成し遂げなきゃいけない。今日来てくれた4人は大人でした。

チャレンジだと思ってむしろ積極的に取り組んでみて下さい。忌避しても何も得られませんが、やり遂げれば少なくともやり遂げたという事実が残ります。そういうことの積み重ねが自信になり、好ましい性格に繋がります。

今のうちはやらなきゃいけないことがはっきりしてるからまだ楽です。これからは、やらなきゃいけないことがどれなのかをまず考えることが多くなってきます。その時に高い見識とスタンダードを持つことが大切です。そのためには今の目先の課題を次々撃破する力を身につけることです。

応援しています。

山﨑

IBMの新しいニューロチップ”TrueNorth”ざっと読んだまとめ

[2015年8月27日追記] 梶谷様が入院されたそうで、講演はキャンセルとなりました。とても残念です。お話を伺えるなんらかの機会が欲しいです。

[2015年6月5日追記] 今年の日本神経回路学会全国大会(9月2日-4日 電気通信大学)では、特別講演に日本IBMの梶谷浩一様をお招きして、「Neuromorphic Computing in IBM」という演題でご講演いただきます。TrueNorthのお話が聞けます!講演は9月3日夕方です。

最近Scienceに出た論文

A million spiking-neuron integrated circuit with a scalable communication network and interface
Paul A. Merolla et al.
Science 345, 668 (2014);
DOI: 10.1126/science.1254642

をざっと読んだまとめ。間違ってたらすみません。網羅的でもないし、電力とかルーティングの細かいところはちゃんと読んでません。

背景

2012年にIBMがSequoiaを使って、500×10億(billion)ニューロン・100×10京(trillion)シナプスのニューラルネットワークのシミュレーションをやった。ヒト全脳は100×10億ニューロン・100×10京シナプスと言われているので、それを上回る規模。ただし、計算時間が実時間の1500倍遅かった。

今回

1×100万(million)スパイキングニューロン・256×100万シナプスの実時間シミュレーションを行う専用チップ(TrueNorth)を開発した。

スペック

コア: ビルディングブロック

  • 256本の入力線(軸索, axon)と256本の出力線(ニューロン)からなるクロスバー構造
  • 256×256個の接続ポイント(シナプス)をプログラムする
  • コアあたり約10KB(104,448ビット)のローカルメモリ

チップの構成

  • 4096コアを2次元メッシュに配置し速いinterconnectで繋ぐ
  • チップの面積は4.3cm^{2}
  • 28nmプロセス
  • 全体で約42MBのオンチップメモリ (TY: 10KB/コア * 4096コア)
  • 消費電力は 20mW/cm^{2}

メモリ転送速度

  • トータルのバンド幅は160×100万スパイク/sec
  • 換算で5.44Gbits/sec

ネットワークのダイナミクス

  • 時間ステップは1ms
  • クロックは1kHz
  • コア間は非同期・並列に動作
  • スパイク伝達によるイベントドリブン
  • コア間でスパイクをルーティングさせる (TY: ルーティングに関して少し長い説明があった)
  • 効率良く動かすために以下が必要だが、大抵はうまくやれる
    • ほとんどの通信はコア内で完結すること
    • コア間をまたぐ情報はスパイク(1bit)のみ (TY: これは最初からそういう仕様)
    • 電力消費はメモリアクセスによるから、消費電力はスパイク数に比例。スパースなネットワークだと良い

細胞モデル

  • leaky integrate-and-fire モデル (積分されたフォーム・前方オイラー法で解くのと同じ) (TY: dt=1msだし計算が不安定にならないのだろうか)
  • シナプスが4種類あるみたいだけど詳細は不明。論文孫引きが必要。(TY: 多分AMPA, NMDA, GABA_A, GABA_B)
  • なのだけど、PSPのダイナミクス(expsynなのかalpha functionなのかとか)が入ってないっぽい。どうなってるんだろう。
  • ローカルメモリに保持される情報は以下の通り
    • シナプスの状態に65536ビット (TY: ということは1ニューロン・1シナプスあたり1ビットだから単に繋がってるかどうかのみ??あれ?w_{ij}は浮動小数点数って書いてあるけど。。。)
    • ニューロンの状態とパラメータに31232ビット
    • スパイクの送信先アドレスに6656ビット
    • axonal delayに1024ビット (TY: ということは1ニューロンあたり4bitなので0-15ミリ秒)

ソフトウェア

既存のいろんなので書く。例えば

  • convolutional network
  • liquid state machine
  • restricted boltzmann machine
  • hidden markov model
  • SVM

C++のAPIがあって (Corelets)、MPI, OpenMPと合わせて使う (TY: たぶんコア内はOpenMPで、コア間の通信をMPIで書くと思う)。

オフラインで学習(結合の強さを決める)させる (TY: たぶんこれ本質的な制約。動的にネットワークが変化しない/変化させられない)。

アプリケーション

400×200ピクセル・30フレーム/秒の動画からリアルタイムに物体認識ができ、消費電力は63ミリワット。

その他

SOPS (Synaptic Operations Per Sec)という概念を提唱している。46 x 10億 SOPS per Watt。

(TY: SOPSはOISTの五十嵐さんも提唱してた)

TY: 思ったこと

Science論文本体はほとんど宣伝なので、Supplementary Materialsを読むべし。

TY: 思ったこと 2

これASICじゃね?

投稿のツイート

投稿をツイートするようにしました。

Hello, world!

助教も研究室を持つそうなので、ウェブサイトを作りました。どうか御贔屓に。

Pages: