By, smartwatches 06/12/2022

Neural circuits are potential statistics | RIKEN

January 14, 2022

RIKEN

-For any neural circuit is following the free energy principle-

RIKEN（理研）脳神経科学研究センターの磯村拓哉ユニットリーダーらのInternational joint research groupは、どのような神経回路も「自由エネルギー原理^[1]」と呼ばれる近年注目される脳理論に従っており、潜在的に統計学的な推論^[2]を行っていることを数理解析により明らかにしました。

The results of this research promote the understanding of the nerve base of the free energy principle, contributing to the development of brain -shaped computer and artificial intelligence that learns like humans in the future, as well as the development of brain -shaped computer and artificial intelligence that learns like humans.I can expect it.

私たちは目や耳から受けた感覚入力が背後の原因からつくられる仕組みを推論することで、将来を予測し適切に行動できます。自由エネルギー原理は、それらを統一的に説明できる脳の理論です。しかし、脳の基本単位である神経細胞やシナプス結合^[3]がどのように自由エネルギー原理を実装しているかは未解明です。

今回、International joint research groupは、神経活動の方程式から神経生理学的に妥当なコスト関数^[4]を逆算し、それが自由エネルギー原理のコスト関数と同一であることを数理的に示しました。これは、どのような神経回路も自由エネルギー原理に従っていると見なせることを意味します。つまり、神経細胞やシナプス結合という基本単位のレベルにおいても、統計学者が行うように観測データから背後の原因を推論することを自律的に行っていることが分かりました。

This study will be published in the online version of the scientific magazine "Communications Biology" (January 14: January 14, Japan time).

background

脳の理論は大きくニつに分けられます。一つは脳の活動や学習におけるダイナミクスに着目した「力学系」という観点から構築される理論です。脳は多数の神経細胞からなり、各神経細胞の活動や細胞間をつなぐシナプス結合の振る舞いは微分方程式^[5]の形で書けるため、それらの数式を解くことによって脳の性質を理解しようとする立場です。もう一つは、情報の振る舞いを扱う情報理論に基づいた脳の解釈です。統計学や機械学習^[6]の分野で蓄えられてきた情報に関する豊富な知見との類推を用いて、脳という難しい対象を「情報処理」の観点から理解しようとする立場です。

However, in previous studies, these two positions have developed independently, and the exact relationship between the two approaches has been understood.Therefore, in this study, we considered a way to connect the "free energy principle", which has been particularly noted as the information theory of brain in recent years, and to connect the equations of general nerve cells and synaptes that have been studied for a long time.

自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論です。図1の例では、外界（飼い主）が何か信号を生成すると、エージェント（イヌ）は直接観測できる感覚入力だけから背後の飼い主の状態（気持ち）を推論し、その期待値を脳内で表現します。このとき、自由エネルギーを最小化するように期待値を更新すれば、ベイズ推論^[7]と呼ばれる推論を最適に行うことができます。さらに、将来期待される自由エネルギーを最小化する行動を能動的に推論し選択することで、欲しい感覚入力（エサ）を得られる確率を最大化することもできます。

Fig. 1 Conceptual diagram of the free energy principle

Here, it is considered that the outside world (owner) will generate a sensory input from a hidden state variable (hidden state) according to the generated model.Agents (dogs) perform active inferrology by updating hidden status and parameters expectations and behaviors to minimize free energy.The conceptual diagram is ISOMURA, Neurosci.Res., Modified from 2022.

In fact, it is a well -known fact that agents that minimize free energy can perform Bayes inference and learning.However, whether it is biological correct as a brain mechanism is a completely different matter.At the level of nerve cells and synaptic bonds, which are the basic units of the brain, it is not clear how the free energy principle is implemented and what the nerve base is.

On the other hand, there is a theory of neuroscience where the response to the nerve infrastructure has been more established.For example, it is widely accepted that the brain itself is complicated and difficult, but the equation of nerve cells and synaptes can explain the actual physiological phenomena well.However, it is not fully known how these phenomena form brain functions.In order to solve these problems, this study aimed to mathematically show the validity of the free energy principle by filling the gap between the information theory interpretation and the nerve cells and synaptic level phenomena.。

Research methods and results

まず、神経活動を表す微分方程式を定義します（図2左上）。多くの研究分野において、研究対象のダイナミクスは何らかの関数の勾配（すなわち微分）で説明できます。そこでInternational joint research groupは、「神経細胞やシナプスの方程式は、神経回路にとって生理学的に妥当な何らかのコスト関数の微分によって導かれる」と考えました。すると、神経活動の式を積分することにより、元のコスト関数を逆算し再構築できました（図2中央）。この方法を「リバースエンジニアリング」といいます。面白いことに、この得られたコスト関数を今度はシナプスについて微分すると、ヘッブ型シナプス可塑性^[8]の式が導かれます（図2右上）。従って、このコスト関数が神経生理学的に妥当であることが確認できました。

一方、自由エネルギー原理やベイズ推論においては、外界の生成モデル^[9]を決めると、自由エネルギーが自動的に導かれます。推論や学習は、自由エネルギーの最小化により行われます（図2左下・右下）。大変面白いことに、図2中央に示すように、神経回路のコスト関数と自由エネルギーは式の構造が全く同じであり、構成要素が一対一に対応しています。すなわち、異なるbackgroundを持つ一見異なる二つのコスト関数が、実は数学的には等価であることが示されました。このことはコスト関数の微分により導かれる量の間の精密な対応関係を意味しており、「神経活動＝隠れ状態の事後期待値」、「シナプス結合＝パラメータの事後期待値」、「発火閾値^[10]＝隠れ状態の事前分布」というような具体的な対応関係があることが分かりました。

Figure 2 Conceptual diagram of reverse engineering

xは神経活動（発火率）のベクトル、oは感覚入力のベクトル、Wはシナプス結合強度の行列、hは発火閾値、Lは神経回路のコスト関数を表す（ただしx̄=1^→-xであり、1^→は1のベクトル、Ŵ₁=sig(W₁)、ϕ₁,ϕ₀はある定数）。また、Fは（変分）自由エネルギー、s_τは隠れ状態の事後期待値、Aはパラメータの事後期待値、Dは隠れ状態の事前分布を表す。

In other words, this means that any neural circuit (which minimizes some cost functions) can be regarded as accompanying the free energy principle, and supports the validity of the free energy principle.At the level of the basic unit of nerve cells and synaptic bonds, Bayes inference is autonomously performed from the observation data as performed by statistical scholars, and imitating the outside world is the nerve circuit.It turned out that it was a universal characteristics (Fig. 3).

Figure 3 The conceptual diagram of the dynamics and the Bayes reasoning of the neural circuit

The left figure shows that the neural circuit that received the sensory input from the outside world generates an internal dynamics and feedback to the outside world as a behavior.This process can be formulated as Bayes inference as shown on the right.

さらに、本研究が提案する理論は行動制御や行動計画も説明することができます。ドーパミンやノルアドレナリンなどの神経修飾物質^[11]は、少し前に起こったヘッブ型シナプス可塑性を、後から変調（修飾）できることが実験的に知られています。本研究では、遅れ付きのヘッブ型シナプス可塑性の修飾があれば、一般的な神経回路が、過去の意思決定を後から顧みることで、最適な方法で適応的な行動計画・行動制御を実行できることを示しました。例として、神経回路モデルが迷路課題を解けることをシミュレーションにより示しました（図4）。この結果は、遅れ付きのヘッブ型シナプス可塑性の修飾と発火閾値の適応が、最適な推論・予測・行動制御・行動計画などの適応的行動制御を行うのに十分な神経基盤であることを示唆しています。

Figure 4 Agents to solve maze issues and their neural circuits

The agent with the nerve circuit shown on the left can solve the maze task as shown in the figure on the right.Here, the agent observes the surrounding 11x11 squares and moves to some squares up, down, left and right.With a delayed head -type synaptic modification, the agent's nerve circuit is autonomously learned how to reach the goal (right end).

Future expectations

By using the theory proposed by this study, it is possible to reconstruct the free energy of the neural circuit from the experimental data, and predict the subsequent learning process and its modulation.In the paper, using the simulation of maze tasks, the learning process when solving a new maze can be theoretically predicted without relying on activity data.In the future development, we plan to examine free energy principles experimental by comparing the actual neurological activity data and the theory prediction.

This study is very important to explain brain activity, deepen the understanding of neuropsychology and mental illness, and can have a great social impact.For example, the reason why a certain individual cannot properly handle tasks given or cannot adapt to the environment is due to the fact that the value of the circuit element (eg, a fire threshold) that expresses the beliefs about external conditions is not appropriate.It is commonly linked to the impact of the nerve infrastructure and the action.This is related to hallucinations and delusions found in schizophrenia.In the future, it is conceivable to identify the nerve infrastructure that is the target for early diagnosis and treatment of mental illness and apply the results of this research as a guideline for applying appropriate operations.

さらに提案理論は、脳の計算を模倣したニューロモルフィックデバイス^[12]が統計学的に最適な推論、学習、予測、行動計画、行動制御を行うための統一的な設計原理を与えてくれます。これは、さまざまな種類のタスクを実行する自己学習型ニューロモルフィックデバイスの設計を容易にし、電力・材料費・計算時間などのコストの削減につながります。そのため、次世代の人工知能にさまざまなタスクを効率的に実行させる上で、重要な貢献をすることが期待できます。

supplementary explanation

International joint research group

RIKEN 脳神経科学研究センター脳型知能理論研究ユニットユニットリーダー磯村拓哉（いそむらたくや）

Hokkaido University Human knowledge / Brain / AI Research Education Center (Chain) Special Associate Professor Hideaki Shimazaki

Professor Karl J. Friston (KARL J (KARL J) Professor College College London Welcome Center.Friston)

Research support

This study was provided by the support of the Natural Science Research Organization (NINS) fusion research project "Brain Free Energy Principles: Implementation and Verification (Research Representative: Hideaki Shimazaki, 01112005, 011112102)".