YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
> 
> 
> 
> Google 翻訳
> 
> 
> http://arxiv.org/abs/1505.02142/
> arXiv：1505.02142v2 [q-bio.NC] 2016年2月9日
> 
> 
> ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
> 
> 
> セバスチャンビローデル1、*、
> Subutai Ahmad 2、†
> 
> 1キルヒホッフ物理研究所、ハイデルベルク、ドイツ
> 2 Numenta、Inc.、レッドウッドシティー、CA
> 
> *電子メール：sebastian.billaudelleATkip.uni-heidelberg.d
> †電子メール：sahmadATnumenta
> 
> 
> 
> 抽象
> 
> Hierarchical Temporal Memory（HTM）は、新皮質の詳細な研究に基づいた機械知能の計算理論です。
> ヒューマンブレインプロジェクト（HBP）の一部として開発されたハイデルベルクニューロモルフィックコンピューティングプラットフォームは、スパイキングニューロンのネットワークをモデリングするためのミックスドシグナル（アナログおよびデジタル）大規模プラットフォームです。
> このホワイトペーパーでは、HTMネットワークをこのプラットフォームに移植する最初の取り組みについて説明します。
> ? スパイキングネットワークモデルを使用して重要なHTM操作をシミュレートするためのフレームワークについて説明します。
> HTM の鍵となるオペレーションをシミュレートするためのフレームワークに付いてスパイキングネットワークモデルを用い説明します。
> ? ry 、特定の空間プールと一時的なメモリの実装、および基本的な特性 ry 。
> その後、特定の空間プーリングとテンポラル記憶の実装、及び基本的特性が維持されていることを示すシミュレーションについて説明します。
> ? SpikeTiming Dependent Plasticity（STDP）、および大まかな配置配線計算を使用して塑性ルールのフルセットを実装する際の問題について説明します。
> 塑性ルールのフルセットを実装する際の問題に付いて、スパイクタイミング依存可塑性 ( STDP : Spike-Timing-Dependent Plasticity ) 及び大まかな配置配線計算を用い説明します。
> さらなる作業が必要ですが、私達の最初の研究はハイデルベルクプラットホームで効率的に大規模HTMネットワーク（可塑性規則を含む）を走らせることが可能であるべきであることを示します。
> より一般的には、高レベルのHTMアルゴリズムを生物物理学的ニューロンモデルに移植することは、将来の研究にとって有益な調査分野となることを約束します。
> 
> 1 前書き
> 
> 哺乳類の脳、特に人間の脳は、多様な感覚入力を処理し、複雑な空間的および時間的パターンを学習し認識し、そして文脈および以前の経験に基づいて行動を生み出すことができる。
> コンピュータは数値計算を実行するのに効率的ですが、認知タスクを解決するには不十分です。
> 特に脳と新皮質を研究することは、知的生物と人工システムの間のギャップを埋める新しいアルゴリズムを開発するための重要なステップです。
> Numentaはそのようなアルゴリズムの開発と同時に新皮質の原理の研究に専念している会社です。
> 彼らのHierarchical Temporal Memory（HTM）モデルは、神経科学の結果と理論に基づいて現実世界の問題を解決するように設計されています。
> 
> ソフトウェアで大規模ニューラルネットワークを効率的にシミュレートすることは、まだ挑戦です。
> モデルが特徴とする生物物理学的な詳細が多いほど、それが必要とする計算資源も多くなります。
> ? 例えば計算を並列化することによって、そのような実装形態の実行を高速化するための様々な技術が存在する。
> その様な実装形態の実行を高速化する為の各様の技術、例えば並列計算が存在する。
> 専用ハードウェアプラットフォームも開発中です。
> ? ry  を特徴とすることが多い ry 。
> SpiNNakerプラットフォームのようなデジタルニューロモルフィックハードウェアは、高度に並列化された処理アーキテクチャと最適化された信号ルーティングをフィーチャする事が多い[Furber et al。、2014]。
> 一方、アナログシステムは、電子マイクロ回路におけるニューロンの動作を直接エミュレートします。
> Hybrid Multi-Scale Facility（HMF）は、BrainScale Sプロジェクト（BSS）およびHuman Brain Project（HBP）の範囲内で開発されたミックスドシグナルプラットフォームです。
> 
> 本稿では、HTMネットワークをHMFに移植する取り組みを紹介します。
> スパイキングニューラルネットワークに基づいてHTMをシミュレートするためのフレームワーク、ならびにHTMの概念である空間プーリングおよび時間的記憶のための具体的なネットワークモデルが紹介されています。
> HTMネットワークの基本特性を検証するために、動作をソフトウェア実装と比較します。
> ターゲットプラットフォームでのこれらのモデルの全体的な適用性、シナプス可塑性の影響、および接続ルーティングの考慮事項について説明します。
> 
> 1.1 階層的時間メモリ
> 
> HTMは、新皮質の原理に基づく機械知能のための一連の概念とアルゴリズムを表しています[Hawkins et al。、2011]。
> これは、空間的および時間的パターンを学習し、以前に見られたシーケンスから予測を生成するように設計されています。
> ? ry 学習を特徴とし、 ry を操作します。
> 継続的な学習をフィーチャし、ストリーミングデータをオペレートします。
> ? ry 領域からなる。
> ＨＴＭネットワークは、１つまたは複数の階層的に配置されたリージョンからなる。
> ? ry 列に編成 ry 。
> 後者はカラムとして編成されたニューロンを含みます。
> 機能原理は、元のホワイトペーパー[Hawkins et al。、2011]で詳細に説明されている2つのアルゴリズムに取り込まれています。
> 以下の段落は、紹介の概要として意図されており、この作業に関連する特性を紹介しています。
> 
> 空間プーラーは、バイナリ入力ベクトルを列のセットにマップするように設計されています。
> これまでに見た入力データを認識することで、安定性が増し、システムのノイズに対する影響を受けにくくなります。
> その振る舞いは、以下の特性によって特徴付けることができます。
> 
> 1。
> ? 円柱状の活動はまばらです。
> カラム状アクティビティは疎です。
> ? 通常、2,048列のうち40列がアクティブになります。これは約2％の希薄度です。
> 通常、2,048 カラムの内 40 カラムがアクティブになります。これは約2％のスパース性です。
> アクティブな列の数は各タイムステップで一定であり、入力スパース性には依存しません。
> 
> 2。
> ? ry 、最も入力が多いk列をアクティブ ry 。
> 空間プーラーは、受取った入力が最多なカラム達 k 本をアクティブにします。
> ? ２列間の結合の場合、アクティブ列は、例えば、その隣接列と比較して特定のセルの構造上の利点を通して、ランダムに選択される。
> 2 カラム間の結合の場合、例えば、近隣カラムと比較しての特定セルの構造的利点を通して、アクティブカラムはランダムに選択される。
> 
> 
> 1
> 
> Billaudelle等。
> 
> 
> 3。
> ? 低い対ごとのオーバーラップカウントを有する刺激は、低い対ごとのオーバーラップカウントを有するスパースコラム表現 ry 。
> 低いペア間オーバラップカウントを有する刺激は、低いペア間オーバラップカウントを有するスパースカラム表現にマッピングされ、一方、高いオーバラップは、高いオーバラップを有する表現に投影される。
> したがって、類似の入力ベクトルは類似の柱状活性化を導き、一方、分離刺激は異なる列を活性化する。
> 
> 4。
> 列はアクティブになるために最小入力（例えば１５ビット）を受け取らなければならない。
> 
> ? 一時メモリは、列内の単一セルに作用し、 ry 。
> 時間的記憶は、カラム内の単一セル毎に於て動作し、さらに空間プールの出力を処理します。
> ? 時系列は ry 。
> テンポラルシーケンスはネットワークによって学習され、予測の生成や異常の強調表示に使用できます。
> ? 個々の細胞は、それらの遠位樹状突起上 ry 。
> 個々の細胞は、それらが持つ末梢樹状突起上の他のニューロンからの刺激を受ける。
> この横方向入力は時間的文脈を提供する。
> 細胞の遠位連結性を改変することによって、時系列を学習し予測することができる。
> ? 一時記憶の振る舞いは、 ry 。
> 時間的記憶の振舞は、次のようにまとめることができます。
> 
> 1。
> 個々の細胞はそれらの遠位樹状突起に側方入力を受ける。
> ある閾値を超えると、細胞は予測（脱分極）状態に入る。
> 
> 2。
> 列が近位入力 ry 。
> カラムが近位 ( 主要 ) 入力によってアクティブになると、予測状態にあるセルのみがアクティブになります。
> 
> 3。
> 予測セルのない列が近位入力によりアクティブになると、その列内のすべてのセルがアクティブになります。
> ? This phenomenon is referred to as columnar bursting.
> ? この現象は柱状破裂と呼ばれる。
> この現象は columnar bursting と呼ばれる。
> 
> 1.2 ハイデルベルクニューロモルフィックコンピューティングプラットフォーム
> 
> 
> 図1
> 
> 
> 384枚のHICANNチップを含むウェハ。
> 切断されていないウェハは、追加の金属層がレチクル間の接続性および電力分布を確立するために適用されるカスタムの後処理工程を経る。
> （写真は、ハイデルベルクのElectronic Vision（s）グループの好意による）
> 
> 
> ? ry 、伝統的な高性能クラスタとニューロモルフィックシステムから ry 。
> HMFは、伝統的高性能クラスタとニューロモーフィックシステムとからなるハイブリッドプラットフォームです。
> これは主にハイデルベルクのKirchhoff-Institute for PhysicsとTU Dresdenで開発され、BSSとHBPから資金を受けている[HBP SP9 partner、2014]。
> ? このプラットフォームの中核は、図1に示すように、ウエハ規模の高集積アナログ ry 。
> このプラットフォームのコアは、図 1 に示す様に、ウエハ規模集積の高入力計数アナログニューラルネットワーク（HICANN）チップです。
> このチップのユニークなデザインの一部は、アナログニューロン回路とデジタル通信インフラストラクチャを特徴とするミックスドシグナルアーキテクチャです。
> ハードウェアニューロンの固有の時定数が短いため、システムは生物学的リアルタイムと比較して10ラ10^4のスピードアップ係数で加速されたタイムスケールで動作します。
> 
> HICANNは、512個のニューロンまたは樹状突起膜回路を特徴としています。
> 各回路は２つのシナプス入力上の２２６個のシナプスを介して刺激することができる。
> デフォルトでは、後者は興奮性刺激と抑制性刺激にそれぞれ設定されています。
> しかしながら、それらは、例えば異なるシナプス時定数または逆転電位を有する２つの興奮性入力を表すように設定することができる。
> 
> 複数の樹状膜を接続することによって、最大14ラ10^3個のシナプスを有するより大きなニューロンを形成することができる。
> 
> 1枚のウエハには、200ラ10^3個のニューロンと45ラ10^6個のシナプスを持つ384個のチップが含まれています。
> 複数のウェーハを接続して、さらに大きなネットワークを形成することができます。
> BSSのインフラストラクチャは6枚のウェーハで構成されており、HBPの最初のマイルストーンとして20枚のウェーハに拡張されています。
> 
> 1.3 スパイキングニューロンモデル
> 
> ? ry 変える異なる技術が存在する。
> スパイキングニューロンのネットワークをシミュレートするための複雑さを変える各種技術が存在する。
> ? ry 使用する参照実装は、 ry 。
> HTMネットワークに使用するリファレンス実装は、離散時間ステップをもつ第1世代のバイナリニューロンに基づいています[Numenta、Inc]。
> ? ただし、第3世代モデルは、動的 ry 。
> 第3世代モデルは、但し、動的時間の概念を取り入れ、ニューロン間通信ベースの個々のスパイクを実装します。
> 
> 元のHodgkin-Huxley方程式[Hodgkin and Huxley、1952]から出発して、異なるレベルの詳細と抽象化を特徴とする複数のスパイキングニューロンモデルが開発されました。
> HICANNチップは、適応指数積分発火モデル（AdEx）ニューロンを実装しています[Brette and Gerstner、2005]。
> ? 基本的には、これは単純な ry 。
> それのコアは、単純なLeaky Integrate-and-Fire（LIF）モデルを表していますが、詳細なスパイク動作、およびスパイクトリガおよびサブスレッショルド適応を特徴としています。
> Hodgkin-Huxley型モデルニューロンのスパイク時間の約96％、および皮質ニューロンから記録されたスパイクの約90％が正しく予測されることがわかりました[Jolivet et al。、2008]。
> ? ＨＭＦ上で、したがって以下のシミュレーションでも、ニューロンは、シナプス電流のきめ細かい制御および例えばシャント抑制の実行を可能 ry のシナプスと対にされる。
> HMF 上に於て、従って以下のシミュレーション内でも、ニューロン達は、シナプス電位の細粒度な制御をそして短絡効果 ( シャント効果 ) 等の実装を、可能にするコンダクタンスベースのシナプス達と対にされる。
> 
> 
> 2
> 
> ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
> 
> 
> 2 スパイキングネットワークモデル
> 
> ? ニューロモルフィック ry プラットフォームまたは ry ことは、個々の細胞集団ならびにモデルの接続性を定義する抽象的な ry 。
> ニューロモーフィックハードウェアプラットフォームの又は動的ソフトウェアシミュレーションのためのニューラルネットワークモデルを実装する事は、細胞集団個々とモデル的接続性とを定義する抽象的ネットワーク記述を必要とする。
> ? この作業の主な目的は、 ry 課せられるトポロジカルおよびパラメータの制限 ry 、ソフトウェア参照モデルの機械的および機能的実装を開発することでした。
> この取組の第一義は、ハードウェアプラットフォームによって課せられる、トポロジの又パラメータの制限内にとどまりながら、ソフトウェアリファレンスモデルの機械的なそして機能的な実装を開発する事でした。
> より完全なネットワークなどのより複雑なシステムに進む前に、より詳細な生物物理学的アプローチを単一のHTMニューロンとその樹状特性のシミュレーションから始めるべきです。
> 
> 次のセクションでは、基本的なHTMプロパティを組み込んだ空間プールモデルと時間メモリモデルについて説明します。
> これらのモデルは、既存のソフトウェア実装の基本的な動作を再現することができます。
> 
> ? ry Pythonで設定されました ry 。
> シミュレーションは、PyNNライブラリを使用してPythonでセットアップされました[Davison et al。、2008]。
> 広範囲のソフトウェアシミュレータをサポートすることに加えて、この高水準インタフェースはHMFプラットフォームによってもサポートされています[Billaudelle、2014a]。
> シミュレーションのバックエンドとしてNESTを使用しました[Gewaltig and Diesmann、2007]。
> ニューロンごとに複数のシナプス時定数を可能にするために、AdExモデルのカスタム実装が書かれました。
> 
> 2.1 空間プーラー
> 
> 
> 図2
> 
>  C
> 4 I 2 3 1
> 
> 空間プールのタイミングベースの実装
> 各列は単一のセルCで表され、入力ベクトル1からスパース入力を受け取ります。
> 接続されているアクティブ入力の数がしきい値を超えると、列がアクティブになります。
> 膜電圧の立ち上がり時間は同時入力の数に大きく依存します。シナプス前活性がより高い細胞は、刺激がより少ない細胞よりも先に発火します。
> 抑制的プールＩは円柱状スパイク２を蓄積し、その際にカウンターとして作用する。
> 一定数の列がアクティブになると、プールはすべての列を抑制してシャットダウンし、それ以上のアクティビティを防止します3。
> ? ry 、すべてのカラムにサブサンプリングフィードフォワード阻害を適用します4。
> このkWTAモデルを安定させるために、全カラムがサブサンプリングフィードフォワード抑制を受取ります4。
> これにより、高い入力アクティビティに対する決定期間が効果的に長くなります。
> 
> 
> その核となる空間プーラーは、k-Winners-TakeAll（kWTA）ネットワークに似ています。m個の列のうちk個が各タイムステップでアクティブになるように選択されます。
> 実際、kWTAネットワークは、新皮質に自然に発生する回路の近似としてしばしば言及されています[Felch and Granger、2008]。
> そのようなシステムの連続時間およびVLSI実装は、文献 ry 。
> その様なシステムの、時間的連続と VLSI との実装は文献[ErlansonおよびAbu-Mostafa、1991年、Tymoshchuk、2012年、Maass、2000年]で議論されている。
> ? ry 希薄性レベル ry 。
> 以下の実装では、大量の入力があっても安定した疎性レベルを維持するための新しいアプローチについて説明します。
> 
> この目的のために開発されたネットワークを図2に示します。
> これは純粋に時間ベースのアプローチに従い、LIFニューロン用に設計されています。
> ソースごとに1つの入力イベントに基づいて非常に高速な決定プロセスが可能になります。
> 各列は、スパイクソースからのフィードフォワード入力を累積する単一のセルで表されます。
> ? ry 上昇時間は、細胞によって見られるシナプス前事象の数と共に減少 ry 。
> ここで、膜電圧の上昇時間は、細胞視点のシナプス前イベントの数と共に減少する：最も多くの入力を受ける細胞は他のものより先に発火する。
> 単一の細胞からなる抑制性プールはネットワークの活性を集める。
> 低い膜および高いシナプス時定数は事象の信頼できる合計を導く。
> ? ry 収集され、セルのしきい値を超えた場合、プールはネットワークのすべてのセルを強く抑制し、その後のスパイクイベントを抑制します。
> 一定数のスパイクが収集され、そしてセルの敷居値を超えた場合、プールは以後のスパイクイベントを抑えるネットワークの、全セルを強く抑制します。
> 
> ? ry シャント抑制 ry 。
> このモデルは、微妙なフィードフォワードシャント効果を追加することによって拡張されています。
> ? ry 、全体の入力活動νin ry 。
> 抑制性コンダクタンスは、全体の入力アクティビティたる ν in と共に増加する。
>? ry は漏れ項に寄与します。
>逆転電位が漏れ電位と一致するように設定されていると、コンダクタンスは漏洩項に貢献します :
:
> gl0 = gl + ginh（νin）。
> 
> これはニューロンの反応を効果的に遅くし、ネットワークの決定期間を長くします。
> ? ry 希薄性レベル ry 。
> この抑制により、結果として得られるシステムは、わずかに遅い応答時間を犠牲にして、多数の入力で安定した疎性レベルを達成することができます。
> 
> 同数のシナプス前事象を受ける列間の結合状況は、興奮性フィードフォワード接続の重みにわずかなガウスジッタを加えることによって解決される。
> これはいくつかのコラムに他のコラムよりも構造上の利点を与え、同じ刺激に対してわずかに速い反応をもたらします。
> ジッタの標準偏差σjを大きくすることで、選択基準をぼかすことができます。
> 
> ? 2.2 一時記憶
> 2.2 時間的記憶
> 
> 空間プールと同様に、テンポラルメモリの実装は、速い反応時間とスパイクタイミングベースの応答パターンのために設計されました。
> 完全なネットワークは、それぞれｎ個のＨＴＭセルを有するｍ個の同一の列からなる。
> これらの細胞をモデル化すること自体が課題です。
> ? 多コンパートメント ry が最適です。
> マルチコンパートメントニューロンモデルが最適表現です。
> そのようなモデルのニューロモルフィックハードウェアチップの実装が計画されており、その方向への最初のステップが既に取られている[Millner、2012]が、現在のシステムはこの機能を提供していない。
> 
> 
> 3
> 
> Billaudelle等。
> 
> 
> HTM細胞は主にコンパートメント ry 。
> HTM 細胞は第一義としてコンパートメントの活性特性に依存するため、図3に示すように、3つの個々のLIF細胞でモデル化できます。
> 
> 
> 図3
> 
> P
> 2 1
> 単一の予測要素
> D 4 3 I 5 S
> 
> ? ry 時間的記憶の実現
> 可塑性を含まない時間的記憶の実装。
> ? ry 生物学的に影響を受けていません）。
> 列内のすべてのHTM細胞は、異なるコンパートメントをモデル化した3つの個々のLIF細胞でモデル化されています（遠位樹状突起D、体細胞S、側方抑制セグメントI - 生物学的インスパイアされていません）。
> ? 列ごとに、複数のセルトリプルと、列競合 ry セルPがあります。
> カラム毎に、トリプルセル ( トリオ ) が複数組と、カラム競合に参加して列全体の近位入力を収集する1つの「先頭」セル P とがあります。
> ? ry の活性は、列１の個々の細胞体細胞に ry 。
> この細胞のアクティビティは、カラム 1 の個々の細胞の細胞体に転送される。
> ? ry 、これは全ての体細胞の発火をもたらす。
> 以前の予測がなければ、これは全ての細胞体、細胞、の発火をもたらす。
> ? ry 、遠位区画は前の時間ステップの ry 。
> しかしながら、末梢区画は前の時間ステップからの入力を合計する。
> しきい値に達すると、抑制コンパートメントと細胞体が脱分極されます3 4。
> ? ry が起動し、列5 ry 起動し、列5 ry 。
> 近位インプット2と一緒に、抑制パーティションが発火し、列 5 内の他のすべてのセルを抑制します。
> 
> 
> 列は、単一セルを使用して近位入力を収集します。
> 実際、このセルは、セクション2.1に示すように、空間プールネットワークの一部になることがあります。
> カラムがアクティブになると、この細胞はスパイクを放出し、HTM細胞の細胞体を表すニューロンと抑制性細胞の両方を興奮させます。
> ? しかしながら、抑制性の投影は、標的コンパートメントのみを活性化 ry 。
> 抑制性の投影は、しかしながら、孤立したターゲット区画、を活性化するのに十分なほど強くはない。
> ? ry 部分的な偏光解消を ry 。
> 代わりに、それは部分的な脱分極をもたらすだけです。
> ? しかしながら、体細胞ニューロンは単一のシナプス前事象の発火 ry 。
> 体細胞ニューロンは、しかしながら、単一のシナプス前イベントの発火閾値に達する。
> ? これは、円柱状の破裂メカニズム ry 、すべての体細胞区画は ry 。
> これは、カラム的バーストメカニズム（すなわち、時間的記憶特性３）として十分である：予測入力がなければ、すべての細胞体区画は近位刺激への応答として発火する。
> 
> 遠位入力は、それらの樹状セグメント区画によって各細胞について個々に処理される。
> 細胞の樹状突起セグメントは、他の細胞の細胞体から入力を受け取ります。
> 発火閾値を超えると、同じトリプレットの抑制性ヘルパー細胞を部分的に脱分極します。
> このシナプス投影は、比較的長いシナプス時定数としきい値電圧に一致する反転電位とで設定される。
> これは、予測状態が次のタイムステップに運ばれることを確実にし、遠位入力のみによって細胞が活動的になることを妨げる。
> 近位入力では、すでに脱分極したヘルパー細胞が体細胞区画の前に発火します。
> ? ry の体細胞を ry 。
> 後者はそれ自体のトリプレットの細胞体を除いて即座に抑制されます。
> ? 説明したように、阻害区画はすべての細胞を横方向に阻害するので、この基本的な予測メカニズムは複数の細胞が予測されるときには失敗する。
> 説明した様に、この基本的な予測メカニズムは複数の細胞が予測される時には、抑制区画が全ての細胞を横方向に抑制する事を経て失敗する。
> ? ry の体細胞 ry 。
> 解決策は、予測された細胞の細胞体コンパートメントも脱分極することです。
> 要約すると、このメカニズムは時間的記憶特性1と2を満たします。
> 
> 
> 3 結果
> 
> 前のセクションで示したネットワークモデルは、それらの動作を調査するためにソフトウェアでシミュレートされました。
> 
> 以下にそれぞれの実験とその結果を示す。
> さらに、塑性則および位相的要件がHMFに関して議論されています。
> 
> 3.1 ネットワークシミュレーション
> 
> 
> 図5
> 
> 80
> 70
> 60
> 50
> 40
> 30
> 20
> ? 10年
> 10
> 0
> ＃
> 
> 入力イベント
> 0 20 30 40 50 60
> 
> すべての列
> アクティブコラム
> 
> 各列が受け取る重複スコアの分布を示すヒストグラム。
> 空間プールネットワークによってアクティブ化された列が強調表示されます。
> ? ry 持つ競合他社だけ ry 。
> これは、最も高いインプットを持つ競合達だけがアクティブ状態に入ることを確認します。
> さらに、同じ重複スコアを持つ列間の結合状況は正しく解決されます。
> 
> 
> 空間プールは、1,000列にまたがるネットワークとサイズ10,000の入力ベクトルについて分析されました。
> シミュレーションを高速化するために、刺激ベクトルを接続性行列に乗算することによって入力接続性をソフトウェアで前処理しました。
> 
> 最初の実験は、基本的なkWTA機能を検証するために設計されました。
> ランダムパターンがネットワークに提示されました。
> 図5に示すように、列ごとのアクティブ入力数 - 入力オーバーラップスコア - をヒストグラムで視覚化できます。
> その特定の刺激によって活性化された列を強調表示することによって、人はネットワークの選択基準を調査することができます。
> 空間プールの要件に準拠して、最も入力数の多い列を表す最も右側のバーだけが強調表示されます。
> 
> さらに、同じ入力カウントを受け取る列間の関係を解決するモデルの機能が示され ry として選択されず、少数の列のみが ry 。
> 更に、同カウントの入力を受取るカラム達の関係を解決するモデルの能力が立証されています。決定境界のバーは全体としては選択されず、少数のカラムのみが選択されました。
> これは空間プール特性2を検証します。
> 
> 
> 図6
> 
> 6
> 5
> 4
> 3
> 2
> 1
> 出力スパース性[％]
> 
> 入力スパース性[％]
> 1 2 3 4 5 6
> 
> アクティブな列の相対数は、入力ベクトルのスパース性に対してプロットされます。
> 一定レベルの入力希薄性に達すると、列はアクティブ状態に入り始めます。
> ? シナプス前活性が高まると、円柱状の競争が激しくなり、出力の希薄性はプラトーに達する。
> シナプス前活性が高いと、カラム状の競争が激しくなり、出力の疎性はプラトーに達する。
> ? 曲線の正確な経過は、 ry 。
> 曲線の正確な軌跡は、プラトーのサイズと同様に、ニューロンのパラメータによって操作できます。
> エラーバーは５回の試行にわたる標準偏差を示す。
> 
> 
> ? 2番目のシナリオでは、図6に示すように、スパース性が異なる入力ベクトルが ry 。
> 第 2 シナリオ内では、図 6 に示す様に、変化のあるスパース性を持つ入力ベクトルがネットワークに入力されました。
> アクティブ列の数は、幅広い入力スパース性にわたってほぼ一定のままです。
> 
> 
> 4
> 
> 
> 
> 図7
> 
> 1.0
> 0.8
> 0.6
> 0.4
> 0.2
> 0.0
> 出力オーバーラップ
> 
> 入力オーバーラップ
> 0.0 0.2 0.4 0.6 0.8 1.0
> 
> 参照データ
> シミュレーション1
> シミュレーション2
> シミュレーション3
> シミュレーション4
> シミュレーション5
> 
> 入力ベクトルのオーバーラップスコアの依存関係としての出力オーバーラップ。
> ５回のシミュレーション実行の各々において、刺激はランダムベクトルから始めて徐々に変化した。
> 空間プーラに要求されるように、２つの類似した入力刺激は類似した出力パターンにマッピングされるが、分離した入力ベクトルは低いオーバーラップスコアをもたらす。
> ? ry 、この図にも示されている既存 ry 。
> シミュレーションは、この図に示されてもいる様に既存のソフトウェア実装からデータを完全に再現します。 ?
> 
> 
> さらに、プロットは、列がアクティブになるためには最小限の入力を受け取る必要があることを示しています。
> ? ry と空間 ry 4を検証します。
> これは、 根底にあるkWTAアプローチと、空間プール特性1および4とを検証します。
> 
> 特性3で表される空間プールの一般的な機能性を検証するために、3番目の実験が設定されました。
> 可変オーバーラップを有する入力データセットは、初期ランダムバイナリベクトルから開始して生成された。
> ? ry 、入力の重なりを掃引しながら、柱状活動と初期 ry 。
> 各刺激について、入力のオーバラップを掃引しながら、カラム的アクティビティと初期データセットとの重なりを計算した。
> ? ry 出力の重複スコア ry 。
> 入力と出力のオーバラップスコアの結果の関係を図7に示します。
> オリジナルの仕様[Hawkins et al。、2011]に直接従った、空間プーラーのカスタムPython実装で実行された同様の実験の結果も含まれています。
> ? ry 参照データと完全に一致するため、特性3を検証します。
> 多重シミュレーションを実行すると、得られたすべての結果がリファレンスデータと完全に一致し、従って特性 3 の検証となります。
> 
> 実験は、このセクションで提示されたモデルが空間プーラーの要件を満たしており、堅実なkWTA実装と見なすことができることを示しました。
> もちろん、具体的な結果は個々のネットワークサイズと構成によって異なります。
> この場合、ネットワーク - 最も重要なのは柱状ニューロンの時定数 - はT = 50 msの比較的短い時間ステップに設定されています。
> さまざまなパラメータセットを選択することで、ネットワークをさまざまな運用シナリオに合わせることができます。たとえば、モデルの安定性がさらに向上します。
> 
> ? 一時記憶は、 ry 。
> 時間的記憶は、第１の配列予測実験において検証された。
> ? 参照ソフトウェアの実装は、 ry 。
> リファレンスソフトウェア実装は、長さ3の3つの分離シーケンスでトレーニングされました。
> 連続した配列はランダムな入力パターンによって分離された。
> 訓練されたネットワークのラテラル接続はダンプされ、シミュレーションにロードされました。
> 同じ刺激を与えた場合、図8に示すように、LIFベースの実装ではシーケンスを正しく予測できました。
> 
> 
> 5
> 
> 
> 
> 3.2 学習アルゴリズム
> 
> 
> 図9
> 
> 1.0
> 0.8
> 0.6
> 0.4
> 0.2
> 0.0
> 出力オーバーラップ
> 
> 入力オーバーラップ
> 0.0 0.2 0.4 0.6 0.8 1.0
> 
> ? 参照データ
> リファレンスデータ
> 
> シミュレーション1
> シミュレーション2
> シミュレーション3
> シミュレーション4
> シミュレーション5
> 
> 訓練された空間プールのための出力と入力の重なりの依存性
> ? ry と、カスタムソフトウェアの実装からの参照データが表示されます。
> 5回の独立したシミュレーションの実行結果と、カスタム実装ソフトウェアからのリファレンスデータとが示されています。
> 
> 
> ? ry ことは、特に高速化 ry 。
> ニューロモルフィックハードウェアでオンライン学習メカニズムを実装する事は特に、高速化されたシステムにとっては課題です。
> 
> ? ry 特徴としていますが[ ry ]、実装するのはより複雑です。
> HMFは最近傍スパイクタイミング依存塑性（STDP）と短期塑性（STP）の実装をフィーチャしていますが[Friedmann、2013a、Billaudelle、2014b]、より複雑な更新アルゴリズムを実装するのは困難です。
> Numentaのネットワークは、これらのメカニズムを超えた構造的可塑性規則に依存しています。
> 
> ? ry 刺激は学習 ry 対して著しく変化します。
> 空間プールの刺激達の変化は学習された入力パターン達に対して顕著です。
> ? ry 条件下でその機能を検証することは重要です。
> これらの条件下でのその官能性の検証は重要です。
> HTM仕様にできるだけ厳密に従うために、監視された更新規則が外側のループに実装されました。各タイムステップについて、接続の永続値を含む行列が 前のタイムステップのアクティビティパターンに従って更新されます。
> 
> これにより、元のホワイトペーパーに示されている構造的可塑性の概念を実装できます。
> ターゲットプラットフォームでは、HICANNチップの次期バージョンで計画されているPlasticity Processing Unit（PPU）で学習アルゴリズムを実装することができます[Friedmann、2013b]。
> 
> ? 上記の実施形態の ry 図９に示す。
> 上記実装のシミュレーション結果を図 9 に示す。
> 
> HTM構造塑性則を古典的な最近傍STDPモデルで置き換える実験では、望ましい結果は得られませんでした。
> ＨＴＭ学習規則は、細胞活性に寄与するセグメントにおける不活性シナプスへの負の修正を必要とする。
> 対照的に、STDPは非アクティブシナプスに影響を与えません。
> 
> 
> 3.3 地図とルート
> ハードウェアプラットフォームに抽象ネットワークモデルを適用するには、ニューロン集団を配置し、シナプス接続をルーティングするためのアルゴリズムが必要です。
> 最良のシナリオでは、この処理ステップは、ネットワークグラフのハードウェアトポロジへの同形投影をもたらす。
> ? ただし、極端 ry では、シナプス ry 。
> 極端な接続性が要求されるネットワークでは、但し、シナプス損失が予想されます。
> 
> シミュレートされたネットワークをマッピングすることは、ルーティングアルゴリズムにとって難題ではありません。
> 時間的記憶は、シナプス喪失なしに単一のウエハに投影することができる。
> ? 横 ry も同じことが依然として当てはまり、約200万のシナプスが生じる。
> 約 200 万のシナプスに於て横方向の全対全接続性を仮定しても同じ事が依然として当嵌る。
> 後者のネットワークは、ハードウェアシナプスを作成および削除しなくても、学習アルゴリズムの探索を可能にする100％の潜在的プールを持つネットワークに対応します。
> 
> ? ry 、セルあたりの求心性接続数とニューロン数の間の ry 。 一方、 ry 。
> ハードウェアプラットフォームでは、セルあたりの求心性連結接続数と多数のニューロンとの間のトレードオフを考慮する必要があります。 一方、単一のニューロンがおおよそ14ラ10^3個のシナプスを聴取できるように樹状膜回路を接続することは可能であるが、そのようなネットワークはウエハ当たり約3ラ10^3個のニューロンのみからなることができる。
> たった２２６個のシナプスで、２００ラ１０^３個未満のニューロンがウェハ当たりに割り当てられることができる。
> 
> ? しかし、概念実証モデルを生産目的 ry することは、投影 ry トポロジーにも挑戦する。
> コンセプト実証モデルをプロダクト目的に有用なサイズに拡大する事は、しかし、投影アルゴリズムへのと同様にハードウェアトポロジへにもチャレンジとなる。
> 
> 最小限の便利なHTMネットワークは、それぞれ8セルの1024列にまたがります。
> このようなシナリオでは、ニューロンは32個の樹状突起セグメントにラテラル入力を受け取ります。
> 樹状突起セグメント当たり約１ラ１０^３の求心性接続を可能にすると、このネットワークは、約１ラ１０^６樹状膜回路、すなわち６枚のウエハ上で実現することができる。
> ＢＳＳ用にセットアップされた既存のシステムはこのシナリオには十分であろう。
> さらに大規模なネットワークでも、HBPのプラットフォームに移行できます。
> 
> 
> 4 結論と見通し
> 
> スパイクニューラルネットワークとしてマシンインテリジェンスアルゴリズムを実装し、ニューロモルフィックハードウェアプラットフォームに移植するには、精度とスケーラビリティの観点から高い要求があります。
> 
> 本稿では、動的シミュレーションでHTMをうまくモデル化できることを示しました。
> ? 空間プーラーおよび一時記憶 ry 。
> 空間プーラー及び時間的記憶ネットワークの基本機能は、AdExニューロンに基づいて再現することができます。
> 
> ? ry 、概念ソフトウェアの証明はHMFに簡単に転送できます。 ry 。
> 理論的には、コンセプトネットワークの実証は HMF に簡単に転用できます。これは、高レベルのソフトウェアインタフェースが交換可能になるように設計されているためです。
> もちろん、実際のハードウェアプラットフォームでモデルをエミュレートすると、新たな課題が発生します。
> 
>? HTMの学習規則をHMFで利用可能な固有の可塑性機能に適 ry 。
>HTM の学習規則を HMFで利用可能なネイティブ可塑性フィーチャに適応させることは重要ではないことが判明しました。
> 
> 学習規則は、従来のSTDPの現在の実装では再現できませんでした。
> 
> 
> 6
> 
> 
> 
> ? ニューロモルフィックコアに直接埋め込まれた自由にプログラム可能なマイクロプロセッサとして、 ry 。
> ニューロモーフィックコアに直接組込まれた自由なプログラマブルなマイクロプロセッサとして、PPUはHTMルールを実装するためにシステムの可塑性メカニズムを拡張する機能を提供します。
> ? PPUに関するHTM更新 ry 。
> PPU 上の HTM 更新規則の完全な実装を計画するには、さらなる調査が必要です。
> 
> ? ry 、製造プロセスにおける変動や変動など ry 。
> アナログニューロモルフィックハードウェアは、製造プロセスにおけるドーパント変動等によるトランジスタの不整合の影響を受けやすい[Mihai A。Petrovici、2014]。
> これらの変動を補正するには、個々のニューロンを慎重に校正する必要があります。
> 問題の複雑さと相互依存変数の数が多いため、完璧なキャリブレーションを達成するのは困難です。
> したがって、ネットワークモデルは、コンピューティング基板上の特定の空間的および試行錯誤的変動に関して耐性があることが要求される。
> 少しランダム化されたパラメータで追加のモンテカルロシミュレーションを実行することは、提示されたネットワークの頑健性を調査するために重要です。
> 
> 最後に、マルチコンパートメントニューロンモデルは、ニューロモルフィックプラットフォームの新しいバージョンで計画されています。
> この拡張機能セットを利用すると、生物物理学的詳細のレベルが大幅に向上します。
> これにより、HTMで使用される詳細な樹状モデルが説明され、ホワイトペーパーおよびリファレンス実装に近づくのに役立ちます。
> 
> ? HTMモデルの非常に加速された実行への道を開くことに加えて、ry おいて詳細なレベルを ry 。
> HTMモデルの高アクセラレート実行への道を舗装する事に加え、HMFはそのニューロン実装に於てハイレベルな詳細さを提供します。
> ? 多区画拡張と柔軟な可塑性の枠組みにより、HTM ry が価値があることを証明します。
> 多区画拡張と柔軟な可塑性フレームワークとにより、HTM理論に関するさらなる低レベルの研究のためのツールとしてこのプラットフォームに価値があると判明すると我々は見込んでいます。
> 
> 
> 謝辞
> 
> Jeff Hawkins教授に感謝します。
> Dr. Karlheinz Meier、Paxon Frady、そしてNumentaチーム。
> 
> 
> 参考文献
> 
> セバスチャンビローデル。
> PyHMF - PyNN互換インターフェース HMFシステム、2014a。
> 
> セバスチャンビローデル。
> ? ry モルフィック ry 上の短期可塑性のキャラクタリゼーションと較正
> ニューロモーフィックハードウェアチップ上での描出と短期可塑性較正
> 学士論文、ハイデルベルク大学、2014b。
> 
> Romain BretteとWulfram Gerstner。
> ? 神経活動の ry 積分 - 発火 ry
> 神経活性の有効な記述としての適応指数関数積分-発火モデル
> Journal of neurophysiology、94（5）：3637-3642、2005。
> 
> Andrew P Davison、DanielBru"derle、Jochen Eppler、Jens Kremkow、Eilif Muller、Dejan Pecevski、Laurent Perrinet、およびPierre Yger。
> Pynn：神経回路網シミュレータ用の共通インタフェース
> ニューロインフォマティクスのフロンティア、2008年2月。
> 
> ルース・エランソンとヤセル・S・アブ・モスタファ。
> デコーダとしてのアナログニューラルネットワーク
> 神経情報処理システムの進歩、585-588頁、1991年。
> 
> Andrew C FelchとRichard H Granger。
> ? ry 仮説異なる ry 発散性能
> 超幾何接続性仮説 : 異なるシナプス接続性分布を持つ脳回路の散開性能
> Brain research、1202：3--13、2008。
> 
> サイモンフリードマン。
> ニューロモルフィックハードウェアにおける学習への新しいアプローチ
> ? ry 大学、2013年、2013年。
> 博士論文、ハイデルベルク大学、学位論文、。2013年、2013年a。
> 
> サイモンフリードマン。
> ニューロモルフィックハードウェアにおける学習への新しいアプローチ
> ? ry 、2013年。
> 博士論文、ハイデルベルク大学、学位論文、2013年、2013年b。
> 
> SBファーバー、Fギャルッピー、Sテンプル、LAプラナ。
> スピネーカープロジェクト
> 0018-9219、（99）：1 - 14、2014。
> SpiNNaker ?
> 
> Marc-Oliver GewaltigとMarkus Diesmann。
> ? 巣（ ry ）。
> Nest ( 神経シミュレーションツール ) 。
> Scholarpedia、2（4）：1430、2007。
> 
> Jeff Hawkins、Subutai Ahmad、およびDonna Dubinsky。
> 皮質学習アルゴリズムと階層的時間メモリ、2011年。
> URL http://numenta.org/resources/HTM_CorticalLearningAlgorithms.pdf
> 。
> 
> HBP SP9パートナー。
> ニューロモルフィックプラットフォーム仕様
> ヒト脳プロジェクト、 ry 。
> ヒューマンブレインプロジェクト、2014年3月。
> 
> ALホジキンとAFハクスリー。
> 膜電流の定量的記述と神経における伝導と興奮への応用
> Journal of Physiology、117：500-544、1952。
> 
> ルノー・ジョリヴェット、フェリックス・シューマン、トーマス・K・バーガー、リチャード・ノー、ウルフラム・ゲルストナー、そしてアーンド・ロス。
> 定量的単一ニューロンモデリング競合
> Biological cybernetics、99（4-5）：417-426、2008。
> 
> ヴォルフガングマース。
> ? 唯一の非線形演算としてwinner-take-allを使った ry
> winner-take-all を唯一の非線形演算として使ったニューラル計算
> Citeseer、2000年。
> 
>  PaulMu"llerOliver Breitwieser Mikael Lundqvistライル・ミュラーMatthias EhrlichアランDestexhe Anders LansnerRen誕 Schu"ffnyJohannes Schemmel Karlheinz MeierさんMihai A. Petroviciさん、Bernhard Voggingerさん。 
> 混合信号ニューロモルフィックモデリングプラットフォームにおけるネットワークレベル異常の特性化と補償
> ミクスドシグナルニューロモーフィックモデリングプラットフォームにおけるネットワークレベル異常の描出と補填
> PLOS ONE、2014年10月。
> doi：dx.doi.org/10.1371/journal.pone.0108590
> 。
> URL http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0108590
> 。
> 
> セバスチャンミルナー。
> 多区画ニューロンモデルエミュレーションの開発
> ? 大学、2013 ry 。
> 博士論文、ハイデルベルク大学、学位論文、2013年、2012年。
> 
> ? ry 会社ヌメンタ
> 株式会社ニューメンタ ?
> インテリジェントコンピューティングのためのNumentaプラットフォーム（NuPIC）。
> URL http://numenta.org/
> 。
> 
> PavloV。 ティモシュチュク
> ? アナログk勝者テイクオール神経回路の連続時間モデル
> アナログ k-winners-take-all 神経回路の時間連続的モデル
> ? ry 、およびLazaros Iliadisの編集者、 ry 。
> Chrisina Jayne、Shigang Yue、及び Lazaros Iliadis 、編集者、ニューラルネットワークの工学応用、コンピュータおよび情報科学におけるコミュニケーションの第311巻、94〜103頁。
> Springer Berlin Heidelberg、2012。
> ISBN 978-3-642-32908-1。
> 
> 
> 7
> 
> 
> 
> 図4
> 
> セル1
> 
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
> 
> セル2
> 
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
> 
> セル3
> 
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
> 
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
> 
> t [ミリ秒]
> 0 50 100 150 200 250 300 350 400
> 
> ? ry 含む一時記憶列をトレースします。
> ニューロンは、3つのHTMセルを含む時間的記憶カラムをトレースします。
> これらの細胞のそれぞれは、体細胞区画、抑制性ヘルパー細胞および2つの樹状セグメントによって表される。
> ? ry 近位入力によって作動され、無段階、ステップあたり１つまたは複数 ry ランダムな遠位刺激を ry 。
> このカラムは、時間ステップごとに近位 ( 主要樹状突起 ) 入力によって活性化され、ステップ当り 0 又は 1 つ又は複数の細胞を予測するランダムな末梢刺激を受取る。
> 自動分類アルゴリズムによって示されるように、列はこれらの予測に対して正しい応答パターンを示します。
> 
> 
> 8
> 
> 
> 
> 図8
> 
> セルインデックス
> 
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
> 
> a1
> 
> b1
> 
> c1
> 
> セルインデックス
> 
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
> 
> a2
> 
> b2
> 
> c2
> 
> セルインデックス
> 
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
> 
> a3
> 
> b3
> 
> c3
> 
> セルインデックス
> 
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
> 
> ランダム
> 
> ランダム
> 
> ランダム
> 
> 
> ? 列インデックス
> カラムインデックス
> 0 20 40 60 80 100 120
> 
> 列インデックス
> 0 20 40 60 80 100 120
> 
> 列インデックス
> 0 20 40 60 80 100 120
> 
> ? ry の一時記憶の実装は、 ry 。
> LIFニューロンベースの時間的記憶の実装は、異なるパターンを正しく予測します。
> 予測された細胞は青く、活性細胞は紫色で表示されます。
> ネットワークは128列にまたがり、8つのHTMセルのそれぞれが2つの樹状突起セグメントを介して遠位刺激を収集します。
> 
> 遠位入力のための接続性は外部的に構成された。
> ? ry 別々の配列を ry 。
> モデルは、サイズ3の3つの別々のシーケンスを提示された。
> ? ry 、ランダム入力疎分散表現（ＳＤＲ）に ry 。
> 個々のパターンは、ランダム入力を持つ疎分散表現 ( SDR , Sparse Distributed Representation ) によって分離された。
> 
> 
> 9
> 
> 
> 
> 体細胞 ⇔ 細胞体
> 
> 
> 
> -- 
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆コストへの御配慮に厚く御礼申上げます
> 三菱 UFJ 銀行 平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224
> 
> 
> 
>>73 yamaguti 190123 1605 mAoFHgII?2BP(0)
>>>19 yamaguti 190111 1500 c91waTfv? \|>320 ー 190102 2006 EwKUrMOW
>> |>1月26日 ワークショップ「その先 ：人工知能に意識
>> |>http://www.nufs.ac.jp/outline/30th-anniversary/event/190126/##
>> |>
>> |>、9 〜15：00個別発表、15：40〜18：00に基調講 \>英語 。通訳はありませ
>> :
>> |>講演者 金井 良太（株 アラヤ 代表取締役 CEO
>> |>戸田山 和久（名古屋大 　社会システム情 メディア社会系教授
>> 
>> >960 ー 180417 1724 BH3i6q0B
> :
>>> 神経科学からAI分野に参入し、汎用AIのネクストステージを見据える
>>>http://www.dreamgate.gr.jp/contents/case/company/60164
>>> 「オランダのユトレヒト大学やアメリカのカリフォルニア工科大学、イギリスのサセックス大学などの研究者を経て起業」
>>>
>>> 金井先生「私が構想する『意識を持つAI』は、インターネットと同じで革新的なもの」
> :
> 
> 個別発表
> Lok-Chi Chan（国立台湾大学）
> Ying-Tung Lin（国立陽明大学、台湾）
> Kengo Miyazono（広島大学）
> Graham Peebles（大阪大学）
> Masatoshi Yoshida（生理学研究所）
> Tony Cheng（ケンブリッジ大学）