研究内容

(2021年度からの内容です)

山﨑研は小脳を中心とした脳全体の学習メカニズムを、スパコンを駆使して研究しています。様々な変遷を経て、現在は以下の3つのテーマに収斂しています。

1. 階層型深層強化学習

我々は2019年の論文で、従来教師あり学習器だと考えられてきた小脳で強化学習が可能であると主張しました [1]。そして大脳皮質–基底核ループと大脳小脳ループをそれぞれ強化学習器とみなし、さらに大脳皮質を深層学習器とみなすことで、脳全体の学習メカニズムとして階層型深層強化学習を提唱しています [2]。階層型深層強化学習は報酬がほとんど与えられない状況でも内的な報酬にもとづいて学習を進めることができ、強化学習の本質的な弱点を解決している非常に強力な汎用の学習アルゴリズムです。

これまでに小脳回路による強化学習アルゴリズムを提案し [1]、大脳基底核と小脳のスパイキングネットワークによる実装をおこなっています [3, 4]。その際、計算の高速化に特に力を入れています。実際に実問題に適用するためには計算をリアルタイムでおこなう必要があるので、大脳基底核モデル・小脳モデルともGPU上に実装しリアルタイムシミュレーションを実現しています。さらにスパイキングネットワークによる深層学習器の実装にも取り組んでいます。

スパイキングネットワークによる大脳皮質–基底核–小脳–視床モデルの実装が完了し階層型深層強化学習器として稼働を始めた後は、それを神経科学の諸問題に適用します。例えば大脳基底核と小脳の両方が関与する随意運動の学習メカニズムの解明や、後述する身体モデルの学習制御をおこないます。

2. 脳−身体シミュレーション

大脳基底核も小脳も運動制御において重要な役割を担っており、また強化学習ではエージェントと環境の相互作用が重要であると考えられているので、身体を持たない脳単体のシミュレーションは不十分であるという意見は一般的に存在します。そこで身体のモデルも導入し脳モデルを用いて制御する、脳−身体の閉ループシミュレーションに取り組んでいます。

身体モデル、広くロボットの制御にはRobot Operating System (ROS) というフレームワークが一般的に利用されています。ROSでは複数のコントローラやロボット本体をノードという単位に抽象化し、ノード間をネットワークを介した通信によって接続します。我々は「富岳」成果創出加速プログラムの一環でスパコン「富岳」上にROSをインストールし、「富岳」上の脳モデルから研究室のサーバで動作しているロボットシミュレータ上のロボットを制御することを試みています [5]。またスパイキングネットワークモデルへのROSの組み込みもおこなっています。

将来的には前述の階層型深層強化学習器を用いて齧歯類の身体モデルを制御し、随意運動の学習メカニズムをより詳細に検討します。またハードウェアのヒューマノイドロボットに接続し、実機の学習制御を目指します。

3. マルチコンパートメントモデル

従来の大規模神経回路シミュレーションでは非常に単純化されたニューロンモデルが用いられており、非常に大規模な脳のシミュレーションが可能になります。我々は既にスパコン「京」を用いてヒトスケールの小脳のシミュレーションを達成しており [6]、「富岳」を用いればヒトスケールの大脳小脳シミュレーションも十分に現実的です。単純化されたニューロンモデルを用いる理由は、脳のニューロンは基本的には単純な素子であり、単純なニューロンが多数結合しネットワークをなすことで、そのネットワークのダイナミクスとして複雑な脳の機能が生まれる、という前提によるものです。

一方、実際のニューロンは非常に複雑な空間形状と様々な種類のイオンチャネルを持ち、単体でも高度な情報処理が可能であることが示されています。単一ニューロンの高度な情報処理能力が、脳全体の機能にどのような影響を及ぼすのかは全くわかっていません。空間形状を考慮したニューロンのシミュレーションには、マルチコンパートメントモデルによる定式化と、陰解法と呼ばれる数値解法が一般的に用いられます。しかし、陰解法はメモリアクセスが多く、アクセラレータ等を用いたメモリバンド幅の低いスパコンで性能を出すのは困難です。そこで、マルチコンパートメントモデルのシミュレーションに陽解法を用いる手法を検討しています [7]。さらに、GPU上に実際に実装して、小脳のマルチコンパートメントシミュレーションに利用しています [8, 9]。

陽解法によるマルチコンパートメントモデルのシミュレーションが確立し、かつ今後もスパコンの性能が従来通り向上し続けた際は、10年後にはマルチコンパートメントモデルによるヒトスケール全脳シミュレーションも夢ではありません。10年後の成果を見据えて、数値計算法から検討し直しています。

参考文献

  1. Tadashi Yamazaki, William Lennon. Revisiting a theory of cerebellar cortex (Invited Perspective Paper). Neuroscience Research, 148(2019):1-8, 2019.
  2. Tadashi Yamazaki. Evolution of the Marr-Albus-Ito Model. In Book “The cerebellum as a CNS hub” (Eds, Mizusawa and Kakei). Springer, In Press.
  3. Hideyuki Yoshimura, Tadashi Yamazaki. Online reinforcement learning by a spiking network model of the basal ganglia. NICE (Neuro-Inspired Computational Elements) 2019 Workshop. March 26–28, 2019, Albany, NY.
  4. Rin Kuriyama, Claudia Casellato, Egidio D’Angelo, Tadashi Yamazaki. Real-time simulation of a cerebellar scaffold model on graphics processing units. Frontiers in Cellular Neuroscience, 15, 623552, 2021.
  5. Tadashi Yamazaki, Tomoya Hirayama, Taiki Yamada, Rin Kuriyama, Jun Igarashi. Distributed brain-body closed-loop simulation using Supercomputer Fugaku. 第44回日本神経科学大会 2021年7月28–31日, 神戸 (ハイブリッド).
  6. Hiroshi Yamaura, Jun Igarashi, Tadashi Yamazaki. Simulation of a human-scale cerebellar network model on the K computer. Frontiers in Neuroinformatics 14:16, 2020.
  7. Taira Kobayashi, Tadashi Yamazaki. A new acceleration method for multi-compartment neuron model simulation. 第43回日本神経科学学会全国大会, 2020年7月29-8月1日.
  8. Taira Kobayashi, Tadashi Yamazaki. An explicit method to accelerate simulation of a cerebellar multi-compartment network model. 第44回日本神経科学大会 2021年7月28–31日, 神戸 (ハイブリッド)
  9. Katsuhiko Hasegawa, Taira Kobayashi, Masashi Ogaki, Tadashi Yamazaki. Numerical simulation of neurons in the inferior olive with precise spatial structure. 第44回日本神経科学大会 2021年7月28–31日, 神戸 (ハイブリッド)