電子頭脳設計図概要 4080910200-2090910200 版

From(投稿者):	YAMAGUTIseisei <seisei@hello.to>
Newsgroups(投稿グループ):	tw.bbs.edu.computer-science,hk.test,japan.test
Followup-to(フォローアップ記事の投稿先指定):	tw.bbs.comp.sources
Subject(見出し):	電子頭脳設計図概要 4080910200-2090910200 版
Date(投稿日時):	Mon, 02 Sep 2019 14:45:07 +0000
Organization(所属):	X-PlsDntToRmsMatzYktJlgTtiRbistAnd: http://j.mp/2K8Eo4k?#__Sponsor_-_CellBE
References(祖先記事, 一番最後が直親):	(G) <54C4B4E9.4080503@hello.to>
(G) <552D3439.3090107@hello.to>
(G) <5534B697.2000800@hello.to>
(G) <5545F912.9020803@hello.to>
(G) <5550CDAB.8040405@hello.to>
(G) <5558C89B.4050103@hello.to>
(G) <5561E704.9000208@hello.to>
(G) <55645EAA.9040304@hello.to>
(G) <55745BE2.5000100@hello.to>
(G) <55ACFE56.7040602@hello.to>
(G) <55E2830C.9070303@hello.to>
(G) <55EBB467.40803@hello.to>
(G) <55F4C0BC.5050308@hello.to>
(G) <560130D5.4030103@hello.to>
(G) <560131AA.9080804@hello.to>
(G) <mu5nof$hfq$1@dont-email.me>
(G) <57CC1878.8040106@hello.to>
(G) <59B5507B.2050905@hello.to>
(G) <5AE59DD3.70407@hello.to>
(G) <5AEF6019.9040802@hello.to>
(G) <5B549B9B.1090408@hello.to>
(G) <5B6E4792.4060600@hello.to>
(G) <5B6F16C6.9020808@hello.to>
(G) <5B900C52.6070707@hello.to>
(G) <5B9D4169.10803@hello.to>
(G) <5BBA1756.5020801@hello.to>
(G) <5BDEBB5B.9020307@hello.to>
(G) <5C28DFDA.7010603@hello.to>
(G) <5C3B5446.6010209@hello.to>
(G) <5C497BFF.9090207@hello.to>
(G) <5C4F2D42.20508@hello.to>
(G) <5C697A9B.4020107@hello.to>
(G) <5C8688FA.6040107@hello.to>
(G) <5CC5C378.9080003@hello.to>
(G) <5D21CF77.5010203@hello.to>
Message-ID(記事識別符号):	(G) <5D6D2AF3.4060303@hello.to>
Followuped-by(子記事):	(G) <5D9A7735.9040705@hello.to>
From(投稿者):
YAMAGUTIseisei <seisei@hello.to>
Newsgroups(投稿グループ):
tw.bbs.edu.computer-science,hk.test,japan.test
Followup-to(フォローアップ記事の投稿先指定):
tw.bbs.comp.sources
Subject(見出し):
電子頭脳設計図概要 4080910200-2090910200 版
Date(投稿日時):
Mon, 02 Sep 2019 14:45:07 +0000
Organization(所属):
X-PlsDntToRmsMatzYktJlgTtiRbistAnd: http://j.mp/2K8Eo4k?#__Sponsor_-_CellBE
References(祖先記事, 一番最後が直親):
(G) <54C4B4E9.4080503@hello.to>
(G) <552D3439.3090107@hello.to>
(G) <5534B697.2000800@hello.to>
(G) <5545F912.9020803@hello.to>
(G) <5550CDAB.8040405@hello.to>
(G) <5558C89B.4050103@hello.to>
(G) <5561E704.9000208@hello.to>
(G) <55645EAA.9040304@hello.to>
(G) <55745BE2.5000100@hello.to>
(G) <55ACFE56.7040602@hello.to>
(G) <55E2830C.9070303@hello.to>
(G) <55EBB467.40803@hello.to>
(G) <55F4C0BC.5050308@hello.to>
(G) <560130D5.4030103@hello.to>
(G) <560131AA.9080804@hello.to>
(G) <mu5nof$hfq$1@dont-email.me>
(G) <57CC1878.8040106@hello.to>
(G) <59B5507B.2050905@hello.to>
(G) <5AE59DD3.70407@hello.to>
(G) <5AEF6019.9040802@hello.to>
(G) <5B549B9B.1090408@hello.to>
(G) <5B6E4792.4060600@hello.to>
(G) <5B6F16C6.9020808@hello.to>
(G) <5B900C52.6070707@hello.to>
(G) <5B9D4169.10803@hello.to>
(G) <5BBA1756.5020801@hello.to>
(G) <5BDEBB5B.9020307@hello.to>
(G) <5C28DFDA.7010603@hello.to>
(G) <5C3B5446.6010209@hello.to>
(G) <5C497BFF.9090207@hello.to>
(G) <5C4F2D42.20508@hello.to>
(G) <5C697A9B.4020107@hello.to>
(G) <5C8688FA.6040107@hello.to>
(G) <5CC5C378.9080003@hello.to>
(G) <5D21CF77.5010203@hello.to>
Message-ID(記事識別符号):
(G) <5D6D2AF3.4060303@hello.to>
Followuped-by(子記事):
(G) <5D9A7735.9040705@hello.to>
記事全体へのコマンド
YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
> 
> 
> 設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております
> 
> 
> 
> YAMAGUTIseisei wrote:
>>> 体細胞 : 細胞体
>> 細胞層 : セルラレイヤ
>>> 配列 : シーケンス
>>> 遠位樹状 近位樹状 基礎樹状 基本樹状 先端樹状 頂端樹状 心尖樹状 :
>>> 末梢樹状 主要樹状 基底樹状 基底樹状 尖端樹状 尖端樹状 尖端樹状 ( 尖樹状 )
>>> : 
>>>>Google 翻訳 http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083
>>>>
>>>>
>>> :
>>>> なぜニューロンは何千ものシナプスを持っているのか、新皮質に於けるシーケンス記憶の理論
>>>>
>>>> Jeff Hawkins *、Subutai Ahmad Numenta、Inc、レッドウッドシティー、カリフォルニア州、アメリカ
>>>> *対応する著者のEメール：jhawkinsATnumenta、sahmadATnumenta
>>>>
>>>>
>>>>キーワード：新皮質、予測、新皮質理論、アクティブな樹状突起、シーケンス記憶
>>>>
>>>> この原稿のバージョンは、2015年10月30日現在で公開されています。
>>>>注意として図と表はこのPDFの最後にあります。
>>>>最新の引用情報については ry




この原稿のバージョンは、2015年10月30日現在で公開されています。
? 図 ry 。
注意として図と表はこのPDFの最後にあります。
最新の引用情報については著者に連絡してください。


1


抽象
新皮質ニューロンは何千もの興奮性シナプスを持っています。
? ニューロンがそれほど ry をどのように統合し、これがどのような大規模なネットワーク行動を可能にするのかは謎です。
それほど多くのシナプスからの入力をニューロンがどの様に統合しこれがどの様な種類の大規模ネットワーク動態を可能たらしめるのかは謎です。
? ry 特性がニューロンが複数のパターンを認識することを可能にすることが ry 。
樹状突起の非線形特性が複数パターン認識をニューロンに可能にさせる事が以前に提案されている。
? 本稿では、アクティブな樹状突起に沿って配置 ry ニューロンは、たとえ大量 ry パターンの変動があっても、正確 ry に細胞活動の何百という独特のパターンを認識することを学ぶことができることを示すことによってこのアイデアを拡張 ry 。
本稿に於てこのアイデアを、セルラアクティビティの何百ものユニークパターンをアクティブな樹状突起に整然配置された数千のシナプスを持つニューロンが例え大量のノイズやパターンバリエーションがあろうとも正確にそして頑強に認識する事を学習する事ができる事を示す事によって、我々は拡張します。
? 次に、ニューロン ry 電位につながるニューロン ry モデルを提案し、ニューロンの古典的な受容野 ry 活動電位を直ちに生成することなく、 ry として機能する。
そして、ニューロンによって認識されたパターンのいくつかが活動電位を誘発するニューロンモデル、を我々が提案しニューロンの古典的受容野を定義する一方で 、ニューロンによって認識されるパターンの大部分は、活動電位の即時生成なしに、ニューロンをわずかに脱分極することによって予測としての活動をする。

次に、これらの特性を持つニューロンに基づいたネットワークモデルを提示し、ネットワークが時間ベースのシーケンスのロバストモデルを学習することを示します。
? ry 類似性と推論および行動における配列記憶の重要性を考えると、我々はこの形式の配列記憶 ry 。
新皮質全体の興奮性ニューロンの類似性と、推論及び振舞いに於けるシーケンス記憶の重要性と、に鑑み我々はこの形式のシーケンス記憶が新皮質組織の普遍的な性質であることを提案する。
? ry さらに、新皮質の細胞層が推論と振る舞いの異 ry ために同 ry バリエーションを実装することを提案する。
我々は更に、同じシーケンスメモリアルゴリズムのバリエーションを推論と振舞いとの異なる側面を達成する為に新皮質内の細胞レイヤが実装している事を提案する。
? ry ニューロンとネットワークモデルは、ネットワークが細胞活性化のまばらな分散コードを使用する限り、広 ry 。
我々が導入するニューロンのとネットワークのモデルは、セルラアクティベーションの疎分散コードをネットワークが使用する限り、広範囲のパラメータにわたってロバストです。
? ry 数に比例して変化します。
ネットワークのシーケンス容量は、各ニューロンのシナプス数に伴ってリニアにスケールします。
? ry したがって、ニューロンは感覚刺激と運動シーケンスの多くの ry を必要とします。
従って、感覚刺激と運動シーケンスとの中の多くの時間的パターンを学ぶために何千ものシナプスをニューロンは必要とします。

1。 前書き
? 新皮質の ry 。
新皮質内の興奮性ニューロンは何千もの興奮性シナプスを持っています。
? 細胞体に最も近い近位シナプスは、細胞 ry 。
近位シナプス、これらは細胞体に最も近い、は細胞が活動電位を生成する可能性に比較的大きな影響を与える。
しかしながら、大部分のシナプスは遠位であり、または細胞体から遠く離れている。
? ry 活性化は、体細胞にほとんど影響を及ぼさず、何千年もの遠位シナプスが細胞の応答を決定するのに重要な役割を果たすことができることを長年にわたって想像するのは困難 ry 。
単一の遠位シナプスの活性化は細胞体に於て小さな影響を持っておりそして、細胞の応答を何千もの遠位シナプスが決定するに於て重役を演じる事がどうすれば可能か、を想像するのは長年困難でした（Major et al。、2013）。
? ry 枝が能動的な処理要素であることがわかりました。
樹状突起の分枝が能動的なプロセッシング要素であると我々は今知っています。
? ry 、局所的な樹状 ry スパイク、およびその結果としての有意で持続的な体細胞の脱分極を引き起こす可能性がある（ ry 。
空間的および時間的に近接した範囲内でのいくつかの遠位シナプスの活性化は、ローカル樹状突起NMDAスパイク及びその結果として、細胞体の有意且つ持続的な脱分極を誘発する事ができる（Anticら、2010年; Majorら、2013年）。
これにより、樹状突起分枝が独立したパターン認識装置として作用することを示唆する研究者もいます（Poirazi et al。、2003; Polsky et al。、2004）。
? しかし、樹状突起 ry かかわらず、なぜニューロン ry 皮質の処理において何をするのかは不明である。
樹状突起の能動特性を理解する上で多くの進歩があったにも関わらずその事は、何故ニューロンがそんなに多くのシナプスを持っているのか、そしてそれらの正確な役割が記憶および皮質処理に於て何なのかが謎であると突き付ける。

? なぜニューロンがアクティブな樹状突起を持っているのかという理論 ry スパイクニューラルネットワーク ry 使われているもののような、 ry ネットワークは、アクティブな樹状 ry 使用します。そして、それらが実際の神経組織の重要な機能的側面を欠いていることを強く示唆します。
アクティブな樹状突起をニューロンが持っているのは何故か、という理論を欠いている、ディープラーニング（LeCun et al。、2015）やスパイキングニューラルネットワーク（Maass、1997）で使われている様なほとんどすべての人工ニューラルネットワークが、アクティブな樹状突起のない、そして非現実的に少ないシナプスのある人工ニューロンを使用している事は、実際の神経組織の鍵となる機能的側面を彼らが見失っている事を強く示唆しています。
? ry 理解し、新皮質 ry したいのであれば ry それらの何千ものシナプスおよび活動的樹状 ry を理解 ry 。
新皮質がどのように機能するのかを理解しそして新皮質と同じ原理で機能するシステムを構築したいと我々が希望するのであれば、生物学的ニューロンがそれらのシナプス数千個及びアクティブな樹状突起をどのように使用するかを我々は理解する必要があります。
? ry 、ニューロンは単独では理解 ry 。
もちろん、ニューロン群は隔離してあっては理解できません。
? それぞれ何千ものシナプスを持つニューロンのネットワークが共通の目的に向かってどのように協調して機能するのかという補完的な理論も必要です。
何千ものシナプスを各々伴うニューロンの、ネットワークがどの様にして共通の目的に向かって共に機能するのかという補完的な理論をも我々は必要とします。

本稿ではそのような理論を紹介します。
? 最初に、我々は、活性な樹状突起と何千ものシナプスを持つ ry が、何百という独特のパターンの細胞活性を認識できることを示 ry 。
最初に、アクティブな樹状突起と、何千ものシナプスと、を持つ典型的な錐体ニューロンが、細胞アクティビティの何百というユニークパターンをどの様にして認識できるか、を我々は示します。
? ry 我々は、全体 ry がまばらである限りニューロンが大量 ry 下でも数百 ry を認識できることを示す。
全体的な神経活性が疎である限り、大量のノイズおよび変動性の存在下でも、数百のパターンをニューロンが認識できる、事を我々は示す。
次に、樹状木のさまざまな部分への入力がさまざまな目的に役立つニューロンモデルを紹介します。
このモデルでは、ニューロンの遠位シナプスによって認識されるパターンが予測に使用されます。
? 各ニューロンは、細胞が活動的になる前にしばしば起こる何百ものパターンを認識することを学 ry 。
細胞がアクティブになるよりも、しばしば先行する何百ものパターン、を認識する事を各ニューロンは学びます。
? ry 学習パターン ry 。
これらの学習済パターンのいずれかを認識することは、活動電位を直接引き起こすことなく細胞を脱分極することによる予測として作用する。
最後に、この性質を持つニューロンのネットワークがパターンのシーケンスをどのように学習し、思い出すかを示します。
? ネットワークモデルは、脱分極したニューロンが素早く発火し、近くの他のニューロンを抑制することに依存しているため、ネットワークの活性化が予測に偏っています。
脱分極ニューロンが迅速発火して他の近傍ニューロンを抑制する、事にネットワークモデルが依存しており、従って、ネットワークのアクティベーションをそれの予測の方へバイアスします。
シミュレーションを通じて、シーケンスメモリネットワークがオンライン学習、複数同時予測、および堅牢性などの多数の望ましい特性を示すことを説明します。

? ry 推論と行動のため ry 重要性を考えると、 我々は、シーケンスメモリが ry 特性であり、したがって ry 表すことを提案する。
新皮質全体のニューロンの類似性と、推論と振舞いの為のシーケンスメモリの重要性と、を考えると、 シーケンス記憶が新皮質全体の神経組織の特性であり、従って新皮質がどのように機能するのかを理解するための新しく重要な統一原理を表す、事を我々は提案する。

2。 結果

2.1。ニューロンは複数のパターンを認識する
? ニューロンはそのシナプス上の単一パターンの活動を認識すると考えるのが一般的です。
一般常識的に考えられている単一ニューロンとしては、それのシナプスに於けるアクティビティの単一パターンを認識します。
? 「概念ニューロン」 ry 。
「ポイントニューロン」と呼ばれることもあるこの概念は、ほとんどすべての人工ニューラルネットワークの基礎を形成しています（図1A）。

[図1ここについて原稿の終わりを見る]

? 活動的樹状突起は、ニューロンの多くの独特なパターンを認識するニューロンの異なる見解を示唆している（ ry 。
ユニークパターン多数をニューロン群は認識するがそこに於て、アクティブな樹状突起はそのニューロンの異なる見解を示唆する（Larkum and Nevian、2008; Poirazi et al。、2003; Polsky et al。、2004）。
実験結果は、樹状突起上の空間的に近接した8-20個のシナプスの同時活性化が非線形的に結合し、NMDA樹状突起スパイクを引き起こすことを示している （Larkum et al。、1999; Major et al。、2013; Schiller and Schiller、2001; Schiller et al。、2000）。
? ry したがって、少数の隣接シナプスがパターン ry 。
従って、近隣シナプスの小セットがパターン検出器として機能します。
? その結果、細胞 ry 突起上 ry シナプスが一連の独立したパターン検出器として機能することになります。
それは、細胞の樹状突起の上の何千ものシナプスが独立パターン検出器のセットとして活動する事、を支援します。


2


? ry 検出されると、体細胞にNMDAスパイクとそれに続く脱分極が起こります。
これらのパターンのいずれかの検出は、 NMDAスパイクとそれに続く脱分極を細胞体に於て起こします。

? 8^Z20個のシナプスが、大量の細胞の活動パターンを確実に認識できないように ry 。
細胞の大集団に於てのアクティビティのパターンの確実な認識をシナプス 8-20 個ではできない、様に思われるかもしれません。
? ry がまばらであるならば ry 。  すなわち、人口に比べて活動的なニューロンはほとんどありません（ ry 。
しかしながら、認識されるべきパターンが疎であるならば、ロバストな認識は可能である。  即ち、総数比で僅かなニューロンがアクティブです（Olshausen and Field、2004）。
たとえば、ある時点で1％（2,000）のセルがアクティブになっている200Kセルの集団を考えます。
? ry Kの細胞に ry ようにします。
特定のパターンが200Kの細胞群に発生したときにニューロンが検出するように我々は望みます。
ニューロンの樹状突起のセクションが2,000個のアクティブセルのうちのわずか10個に新しいシナプスを形成し、NMDAスパイクを生成するためのしきい値が10である場合、10個のシナプスすべてが同時に活性化を受けると樹状突起はターゲットパターンを検出します。
樹状突起は、同じ10個のアクティブセルを共有する他の多くのパターンを誤って検出する可能性があることに注意してください。
? ry 場合、10個のシナプスが異なる ry アクティブ ry 。
しかし、パターンがまばらである場合、異なるランダムパターンに対して 10 シナプスがアクティブになる可能性はわずかです。
? ry では9.8 ry 。
この例では僅か 9.8 x 10 ^ -21です。

誤った一致の確率は、次のように正確に計算できます。
? まばらなパターン ry 場合、与えられた時点でのセル ry n、その集団内のアクティブ ry 。
スパースパターンa≪ nの場合、セル集団のサイズをn、その集団内の与えられた時点でのアクティブセルの数をaとします。
樹状突起セグメント上のシナプスの数をｓとし、ＮＭＤＡスパイク閾値をθとする。
? 少なくともθ個のシナプスがアクティブになる場合、すなわち少なくともθ個のシナプスが現在アクティブなセルと一致する場合、セグメントはパターンを認識すると言 ry 。
シナプス少なくともθ個がアクティブになる場合即ち、シナプス少なくともθ個と現アクティブセルとが一致する場合、パターンをセグメントが認識すると我々は言います。

? ry ます。
パターンのランダムな分布を仮定すると、誤った一致の正確な確率は次の式で与えられます : 


! !!!
^Z ^Z^Z^Z ラ ^Z ^Z^Z^Z ^Z ^Z

（1）  http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#3


分母は、単純にＮ個の全細胞の集団中のａ個の活性細胞を含む可能なパターンの総数である。
分子は、1つの樹状セグメント上のθ個以上のシナプスに接続するパターンの数を数えます。
? ry の詳細 ry 2015）にあります。
この方程式のより詳細な説明は（Ahmad and Hawkins、2015）内で見付ける事ができます。

? この式は、非線形樹状セグメントがサブ ry パターン内の少数のセルだけ ry ロバストに分類 ry 。
この式は、サブサンプリング（分類されるべきパターン、の中の少数のセル、だけにシナプスを形成すること）によってパターンをロバストに非線形樹状セグメントが分類できることを示している。
S1 Textの表Aは、式（1）から計算された代表的な誤り率を示しています。

NMDAスパイクを生成するのに必要な数よりも多くのシナプスを形成することによって、認識はノイズと変動に対して頑強になります。
? ry 必要な2倍のシナプスを20個形成すると、50％のセルが変更されても樹状 ry できます。または非アクティブ
たとえば、樹状突起のNMDAスパイクしきい値が10で、認識したいパターンに必要なシナプスの 2 倍たる 20 個を形成すると、例え 50 % のセルがもし変更されるか又は非アクティブであるか、の場合であれども樹状突起はターゲットパターンを認識できます。
? ry a false positive error.
余分なシナプスはまた誤検知エラーの可能性を高めます。
? エラーの可能性は高まりましたが、式（1）は、パターンがまばらであるときにはまだ小さいことを示 ry 。
パターンが疎である時には、エラーの可能性が増大しようともそれはまだ些細、であると式（1）は示しています。
? ry 2倍にして50 ry 。
上記の例では、シナプスの数を2倍にしそれ故50％なノイズ許容度を導入すると、エラーの可能性はわずか1.6 x 10 ^ -18まで増加します。
S1テキストの表1Bに、シナプス数がしきい値を超えたときの代表的なエラー率を示します。

与えられたパターンを認識するシナプスは、樹状セグメント上に共存する必要があります。
それらが互いの40μm以内にある場合、NMDAスパイクを生成するのにわずか8つのシナプスで十分です（Major et al。、2008）。
シナプスが樹状突起セグメントに沿って広がっている場合、最大20個のシナプスが必要とされる（Major et al。、2013）。
樹状セグメントには数百のシナプスを含めることができます。 したがって、各セグメントは複数のパターンを検出できます。
? 異なるパターン ry が樹状 ry 上で一緒に混合されている場合、異なるパターンからのシナプスを同時活性化することによってエラーのさらなる可能性をもたらす。
異パターンを認識するシナプスがもしも一緒に樹状セグメント上で混交されているならば、異パターン由来なシナプス同時活性化による更なる誤り可能性を招く。
? ry と認識されるパターンの希薄さによって異なります。
このタイプのエラーの可能性は、樹状突起セグメントを共有するシナプスセットの数と被認識パターン疎性と、に依存します。
? 広い範囲の値に対して、 ry 。
広範囲の値に対しての、この種のエラーの可能性はまだ低いです（S1テキストの表C）。
? ry は多少正確 ry には40 ry 、やや不正確 ry と混合する ry 。
したがって、特定のパターンを認識するためのシナプスの配置は幾分正確です（それらは同じ樹状セグメント上にあり、理想的には相互に40μm以内にある必要があります）が、幾分不正確でもあります（他のシナプスと混交するとエラーを起こしにくい）。

? ry するために平均 ry 割り当てられ、ニューロンが6,000個のシナプスを持つと仮定すると、細胞は約300個の異なるパターンを認識 ry 。
各パターンを認識する為の平均20個のシナプスが割当てられ、そしてそのニューロンはシナプスを 6000 個持つ、と仮定すると、約300個の異パターンを細胞は認識することができます。
? これはおおよその概算 ry は、多数の細胞内で何百ものパターンを確実に認識することを学習できること ry 。
これはラフな概算ですが、アクティブな樹状突起を持つニューロンは、何百ものパターンを確実に認識する事を細胞の大集団の中にあって学習できる、事が明らかになります。
これらのパターンのいずれかを認識すると、細胞が脱分極します。
新皮質内のすべての興奮性ニューロンは何千ものシナプスを有し、そして我々が知る限りでは、それらはすべて活性樹状突起を有するので、各興奮性新皮質ニューロンは何百ものパターンの神経活動を認識する。

? ry なく、代わり ry ネットワークがどのように予測を行い、シーケンスを学習するかに役割を果たすことを提案 ry 。
次のセクションでは、ニューロンによって認識されるパターンの大部分が活動電位に直接つながるのではなく代わりに、ニューロンのネットワークが予測を行ってシーケンスを学習する役割をどの様に果たすかを提案します。

? ry 3つの源
２．１．１。 皮質ニューロンへのシナプス入力の3つのソース

ニューロンは、樹状木の異なる部分に分離されているさまざまなソースから興奮性入力を受け取ります。
図１Ｂは、新皮質における最も一般的な興奮性ニューロンである典型的な錐体細胞を示す。
セルへの入力を3つのゾーンに分けて示します。
? 近位ゾーン ry 。
近位 ( 主要 ) ゾーンはフィードフォワード入力を受け取る。
? 基底帯は、大部分が同じ皮質領域内の近 ry からの文脈的入力を受け取る（ ry 。
基底ゾーンは文脈的入力の大部分を、同じ皮質リージョンの中の近くの細胞から受取る（Petreanuら、2009年； Rahら、2013年； Yoshimuraら、2000年）。
? 心尖部は ry 。 ry 、棘状星細胞です。 ry から先端の樹状突起 ry 考えられます。）
尖端ゾーンはフィードバック入力を受け取る（Spruston、2008）。 （新皮質で2番目に一般的な興奮性ニューロンは、有棘星状細胞です。錐体細胞から尖端樹状突起を除いたものに似ていると考えられると我々はサジェストします。）
我々は、ニューロン上のシナプス統合の３つのゾーン（近位、基底、および頂端）が以下の目的を果たすことを提案する。

近位シナプスは細胞の古典的受容野を定義する

? 近位樹状 ry シナプスは、体細胞に比較的 ry 。
主要樹状突起（典型的には数百）上のシナプスは、細胞体に於ての比較的大きな影響を及ぼし、したがって、ニューロンの基本的な受容野反応を定義するのに最適な位置にある（Spruston、2008）。


3


? ry が身体活動 ry 入力がまばらにアクティブ ry 。
近位シナプスのサブセットの同時活性化がもしも細胞体活動電位を生成するのに十分である場合、および近位シナプスへの入力がもしもスパース的アクティブである場合、 近位シナプスは、先に論じたのと同じ方法で複数の固有のフィードフォワードパターンを認識する。
? ry の和集合として ry 。
したがって、細胞のフィードフォワード受容野はフィードフォワードパターンの連合として考えることができます。

? 基礎シナプスは連続的に遷移を学ぶ
基底シナプスはシーケンス内遷移を学習する

? ry 、ニューロン ry 突起がニューロン ry する細胞活動のパターンを認識することを提案し、このようにして基底 ry は活動パターン ry 。
我々は、ニューロン発火に先行する細胞アクティビティパターンをニューロンの基底樹状突起が認識する事を提案、この方法で基底樹状突起はアクティビティパターン間の遷移を学習し記憶する。
基底樹状突起上でパターンが認識されると、NMDAスパイクが発生します。
? ry スパイクによる脱分極は体細胞に到達するまでに振幅が減衰するため、基底樹状突起がパターンを認識すると体細胞 ry するが体細胞活動電位を生成  ry に十分ではない ry ）。
NMDAスパイクそれ単一での脱分極に於てはそれが細胞体到達までに時間と共に振幅減衰その為、パターン認識時に於て基底樹状突起は、細胞体を脱分極するが細胞体活動電位生成には不充分である （Antic et al。、2010; Major et al。、2013）。
? ry 閾値下偏光解消が ry 。
我々は、この閾値下脱分極が細胞の重要な状態であることを提案する。
これは、セルがまもなくアクティブになり、ネットワークの動作に重要な役割を果たすという予測を表しています。
? ry 、その後十分な ry 。
わずかに脱分極した細胞は、そうでない場合に充分なフィードフォワード入力を受け取った場合よりも早く発火します。
? 早く発射する ry 入力に対して非常にまばらな活動パターン ry 。
早く発火することにより、それは近隣のセルを抑制し、正しく予測された入力達へと報いた過疎アクティブパターンを作り出す。
? ry ついては、後で詳しく説明します。
このメカニズムについて、後のセクションの中で我々は詳しく説明します。

? 頂端シナプス ry 期待を ry
尖端シナプスはトップダウンの期待 ( 訳注 : 待望 予想 ) を呼び起こす

ニューロンの先端樹状突起もまた、パターンを認識するとNMDAスパイクを生成します（Cichon and Gan、2015）。
頂端NMDAスパイクは、体細胞に直接影響を与えません。
? その代わりに、 ry を引き起こす可能性がある（ ry 。
その代わり、それは先端樹状突起におけるCa 2+スパイクを誘発する事ができる（Golding et al。、1999; Larkum et al。、2009）。
単一の頂端Ｃａ ２＋スパイクは体細胞を脱分極するが、典型的には体細胞活動電位を生成するのに十分ではない（Ａｎｔｉｃら、２０１０）。
? 頂端のCa 2+スパイク、基礎NMDAスパイク、および体の活動電位の間の相互作用は、進行 ry 条件下 ry 、頂端樹状 ry 。
尖端 Ca 2+ スパイクと、基底 NMDA スパイクと、細胞体活動電位と、の間のインタラクションは、進行中の研究の分野です（Larkum、2013） 。 しかし、多くの条件の下で、尖端樹状突起上の認識されたパターンは細胞を脱分極し、したがって基底樹状突起上の認識されたパターンと同様の効果を有すると言える。
我々は、頂端樹状突起によって引き起こされる脱分極がトップダウン期待値を確立するために使用されることを提案する。これは別の予測形態として考えることができる。

２．１．２。 HTMモデルニューロン

図１Ｃは、我々が我々のソフトウェアシミュレーションで使用する錐体ニューロンの抽象的なモデルを示す。
セルの樹状突起をしきい値一致検出器のセットとしてモデル化します。 それぞれに独自のシナプスがあります。
 樹状突起／一致検出器上のアクティブなシナプスの数がしきい値を超えると、セルはパターンを検出する。

一致検出器は、錐体細胞の近位樹状突起、基底樹状突起、および頂端樹状突起に対応する3つのグループに分けられる。
? ry および点状ニューロン ry 。
このモデルニューロンを生物学的ニューロン及びポイントニューロンと区別するために「HTMニューロン」と呼びます。
HTMはHierarchical Temporal Memoryの略語で、私たちの新皮質モデルを説明するのに使われています（Hawkins et al。、2011）。
? ry あたり最大40個のシナプスを持つ128個の樹状突起/一致検出器を持 ry 。
この論文のシミュレーションで使用したHTMニューロンは、樹状突起あたり 40 以下個のシナプスを持つ128個の、樹状突起/一致検出器、を持っています。
明確にするために、図１Ｃはわずかな樹状突起およびシナプスのみを示す。

2.2。 ニューロンのネットワークはシーケンスを学ぶ

? 新皮質のすべての組織は活動的な樹状 ry ニューロンで構成されているので、それは新皮質がするすべての根底にある共通 ry 。
アクティブな樹状突起と何千ものシナプスとを持つニューロンで新皮質の全組織が構成されているのでそれは、新皮質がする全ての事の根底に横たわる共通のネットワーク原理があることを示唆しています。
? これは、どのようなネットワーク特性がそれが感覚的推論、予測、言語、および運動計画の必要な構成要素であるほど基本的であるかという問題につながります。
この事は、感覚推論と、予測と、言語と、加えて運動プランニングと、の必要構成要素である程に基本的なそれ、とはどの様なネットワーク特性であるかという問いへと導きます。

? ry 基本的な操作は ry 。
我々は、全ての新皮質組織の最も基本的なオペレーションはパターンのシーケンスの学習と想起であることを提案します （Hawkins and Blakeslee、2004） 。 これはKarl Lashleyが「脳生理学の最も重要で最も無視されている問題」と有名に呼んでいたものです （Lashley、1951年）。
? ry 細胞層が共通の配列記憶アルゴリズムの変形形態を実装すること ry 。
より具体的には、本発明者らは、新皮質の各細胞レイヤが共通シーケンス記憶アルゴリズムのバリエーションを実装している事を提案する。
我々は、セルラレイヤが異なる目的のためにシーケンスメモリを使用することを提案する。それが、セルラレイヤがサイズ及び接続性のような詳細において異なる理由である。
? 本稿では、そのバリエーションを詳しく説明せずに、基本的なシーケンスメモリアルゴリズムであると考えていることを説明します。
本稿で我々は、我々が信じる基本的シーケンスメモリアルゴリズムを、そのバリエーションの細緻にまで立入らずに、示します。

我々は、新皮質をモデル化するために我々のネットワークに要求されるいくつかの特性を列挙することにより、配列記憶の探索を始めた。
1） オンライン学習
学習は継続的でなければなりません。
世界の統計が変化した場合、ネットワークは新しい入力ごとに徐々にそして継続的に適応する必要があります。
2） 高次予測
? ry シーケンスで正 ry をするには、過去 ry 。
複雑なシーケンスを伴って正しい予測を成すには、過去からの文脈情報を取り込む能力が必要です。
ネットワークは、最良の予測を行うために必要な時間的コンテキストの量を動的に決定する必要があります。
「高次」という用語は、この性質を有する「高次マルコフ連鎖」を指す。
3） 複数同時予測
? ry 、重複した ry 。
自然データストリームには、多くの場合、オーバラップした分岐シーケンスがあります。
したがって、シーケンスメモリは同時に複数の予測を行う必要があります。
? 4） 地域学習 ry
4） ローカル学習ルール
? シーケンスメモリは、各ニューロンにローカルな学習規則のみを使用する必要があります。
シーケンス記憶が使用する学習規則は各ニューロンにローカルなものだけでなければなりません。
? グローバルな目的関数を必要と ry 。
グローバルオブジェクト的関数を必要とせずに、規則は空間的にも時間的にも局所的でなければなりません。
5） 堅牢性
メモリは、高レベルのノイズ、ニューロンの損失、および入力の自然な変動に対する堅牢性を示すはずです。
これらの条件下でのパフォーマンスの低下は緩やかになるはずです。

これらすべてのプロパティは、データを連続的にストリーミングするという状況で同時に発生する必要があります。


4


２．２．１。 ミニコラムとニューロン：2つの表現

高次シーケンスメモリは2つの同時表現を必要とします。
一方はネットワークへのフィードフォワード入力を表し、他方は特定の時間的文脈におけるフィードフォワード入力を表す。
? ry 集団における活性化のまばらなパターン ry 。
この要件を説明するために、2つの抽象シーケンス「ABCD」と「XBCY」を検討します。各文字は、ニューロンの母集団の中のアクティベーションのスパースパターンを表します。
? ry が学習 ry 」と共に提示 ry 」と共に提示 ry 。 
これらのシーケンスが一旦学習されると、ネットワークは、シーケンス「ＡＢＣ」を提示されたときに「Ｄ」を予測し、シーケンス「ＸＢＣ」を提示されたときに「Ｙ」を予測するはずである。 
? したがって、サブ ry 」の間の内部表現は、2つの場合で異なる必要があります。  そうでないと、「C」が表示された後に正しい予測を行うことが ry 。
従って、その 2 つの場合に於てのそれらサブシーケンス「BC」の間のそれら内部表現は異ならねばならない。  さもなくば「C」提示後に、正しい予測を成す事ができません。

? ry 細胞層にどのように表れているかを示していることを示 ry 。
図2は、これら2つの表現が皮質ニューロンの細胞層に表れている事を我々がどの様に提案しているかを示しています。
図２のパネルは、新皮質の単一細胞層を通るスライスを表す（図２Ａ）。
わかりやすくするために、パネルは大幅に簡略化されています。
? 図２Ｂは、シーケンスが学習される前にネットワークが２つ ry をどの ry かを示す。
2 つの入力シーケンスをネットワークがシーケンス学習前にどの様に表すかを図 2B は示す。
図２Ｃは、シーケンスが学習された後にネットワークがどのように同じ入力を表すかを示す。
? ry は、まばらなアクティブなミニカラムのセット ry 。 ry 複数の細胞層に ry のみを参照 ry ) 
ネットワークへの各フィードフォワード入力は、アクティブミニカラムのスパースセットに変換されます。 ( 新皮質のミニカラムは複数のセルラレイヤにまたがっている。 ここでは、1つの細胞レイヤの中の1つのミニカラム内のセルのみを我々は参照しています。 ) 
ミニカラム内のすべてのニューロンは、同じフィードフォワード受容野を共有しています。
? ry ミニコラム内のすべてのセル ry 。
予期しない入力が到着すると、選択されたミニカラムの中の全セルが入力パターンを認識してアクティブになります。
? ry は偏光解消されることになる。
しかしながら、以前に学習されたシーケンスの文脈では、ミニカラム内のセルのうちの１つまたは複数は脱分極する事になる。
? ry を阻害します。
脱分極細胞は活動電位を生成する最初の細胞になり、近くの他の細胞を抑制します。
したがって、予測された入力は、特定の位置において、特定の順序で、特定の要素に固有の非常にまばらなパターンの細胞活性化をもたらす。

[ここの図2原稿の終わりを見る]

? ２．２．２。 基礎 ry 
２．２．２。 基底シナプスはシーケンス記憶の基礎である

この理論では、細胞はそれらの基底シナプスを使って入力パターン間の遷移を学習します。
新たなフィードフォワード入力のたびに、いくつかの細胞はそれらの近位シナプスを介して活性になる。
? ry そして再びパターンを見ると、脱分極し、それによって次 ry おけるそれら自身 ry 。
他の細胞は、それらの基底シナプスを使用して、この活性パターンを認識することを学び、そしてそのパターンを再び見ると、脱分極しそれによって、次の入力に於ける彼ら自身のフィードフォワード活性化を予測する。
フィードフォワード入力はセルをアクティブにし、基礎入力は予測を生成します。
次の入力が現在の予測と一致する限り、シーケンスは継続します（図3）。
図３Ａは、アクティブセルと予測セルの両方を示しており、ネットワークは以前に学習したシーケンスに従う。

[ここの図3原稿の終わりを見る]

多くの場合、ネットワークは複数の同時予測を行います。
例えば、シーケンス「ABCD」と「XBCY」を学習した後、システムをあいまいなサブシーケンス「BC」だけにさらすとします。
? ry 、システムに「D」と「Y」の両方を同時に予測させます。
この場合、「D」と「Y」との両方を同時にシステムが予測する事を我々は欲する。
図３Ｂは、入力があいまいなときにネットワークがどのようにして複数の予測を行うかを示す。
? 誤りの可能性が低いときに行うことができる同時 ry 。
誤り可能性小なまま成せる同時予測の数も、式（１）によって計算することができる。
予測は非常にまばらである傾向があるので、ネットワークが混乱することなく同時に何十ものパターンを予測することは可能です。
? ry 正しいスパース表現 ry 。
入力がいずれかの予測に一致すると、正しい過疎表現になります。
? ry 場合、列内のすべてのセル ry なり、予期しない入力を示  ry 。
入力がどの予測にも一致しない場合、カラム内の全セルがアクティブになり、予期せぬ入力であると示します。

? ミニコラム内 ry の基本シナプス ry 。
ミニカラム内のすべてのセルは同じフィードフォワード応答を共有しますが、それらの基底シナプスは異なるパターンを認識します。
? ry 、ミニコラム内 ry レベルが低くなります。
したがって、ミニカラム内のセルは、学習された異なる一時的なコンテキストで一意に応答し、入力が予想される場合は全体的アクティビティのレベルが疎になります。
これらの属性は両方とも観察されている（Martin and Schr er、2013; Vinje and Gallant、2002; Yen et al。、2007）。

図３Ａの最後のパネルのセルのうちの１つについて、セルが予測を行うために使用した３つの接続を示す。
? ry 、細胞は活動細胞 ry 。
実際のニューロンでは、そして我々のシミュレーションでは、細胞 1 つはアクティブ細胞のより大きな集団のサブセットへの15から40の接続を形成するでしょう。

２．２．３。 頂端シナプスはトップダウンの期待を生み出す

? 新皮質領域間のフィードバック軸索は、細胞体 ry 5に ry 細胞の先端樹状突起とシナプス（層1）を形成することが多い。
シナプス ( レイヤ 1 ) 形成を新皮質リージョン間のフィードバック軸索は、細胞体が層2、3、および5 内にある錐体神経細胞、の尖端樹状突起と共にすることが頻繁である。
これらのフィードバック接続が何らかの形の期待またはバイアスを実行すると長い間推測されてきた（Lamme et al。、1998）。
我々のニューロンモデルは、新皮質におけるトップダウンの期待のメカニズムを示唆しています。
図4は、頂端樹状突起への安定したフィードバックパターンが、シーケンス内の複数の要素をすべて同時に予測できる方法を示しています。
新しいフィードフォワード入力が到着すると、それは予測シーケンスの一部として解釈されます。
? ry に偏らせます。
フィードバックは入力を特定の解釈にバイアスします。
繰り返しますが、パターンはまばらなので、多くのパターンを同時に予測できます。

[ここの図4原稿の終わりを見る]

したがって、同時に発生する2種類の予測があります。
? ry 、先端側樹 ry の配列要素 ry 。
基底樹状突起への横方向の連結は次の入力を予測し、尖端側樹状突起へのトップダウンの連結は複数のシーケンス要素を同時に予測する。
? ry ）、おそらく推論 ry より微妙な解釈につながる ry 。
先端樹状突起と基底樹状突起との間の生理学的相互作用は活発な研究分野であり（Larkum、2013）、推論や予測におけるそれらの役割のよりニュアンス重視な解釈を恐らくリードするでしょう。
ただし、図2、図3、および図4に示されているメカニズムが、その最終的な解釈において引き続き役割を果たす可能性が高いことを提案します。

２．２．４。 シナプス学習則

私たちのニューロンモデルは、ほとんどのニューラルモデルが学習するための学習則に2つの変更を必要とします。
? 第一に、学習は「潜在 ry 成長させ除去することによって行われる（ ry 。
第一に、「潜在的な」シナプスのプールからシナプスを成長させる事と除去する事とによって学習が起きる（Chklovskii et al。、2004）。
第二に、ヘブの学習とシナプスの変化は、ニューロン全体ではなく、樹状突起セグメントのレベルで起こる（Stuart and H sser、2001）。

潜在的シナプス
? ニューロンが活動のパターン ry パターンで活動的な細胞のサブセットに接続する一組の並置 ry ）を必要とする。
ニューロンがアクティビティパターンを認識するためには、認識されるパターンに於てアクティブな細胞、のサブセットへと接続する並置されたシナプス（典型的には１５から２０）一組を必要とする。


5


? ry された一連の新しいシナプスの形成によって ry 。
新しいパターンを認識するための学習は、樹状セグメント上に配置された新シナプスのセットの編成によって達成されます。

? 図5は、シミュ ry おける新しいシナプスの形成をモデル化する方法を示しています。
図 5 が示すのは、シミュレートされたHTMニューロンに於ける、新シナプスの編成を、我々がモデル化する方法です。
? 各樹状突起セグメントについて、樹状 ry セグメントとシナプスを形成する可能性があるネットワーク内の他の細胞との間の一連の「潜在的な」シナプスを維持する（ ry 。
樹状突起セグメントと、そのセグメントとのシナプスを潜在的に可能としたそのネットワーク内他細胞と、の間の「潜在的」シナプスセットを我々は各樹状突起セグメントに維持する（Chklovskii et al。、2004）。
潜在的シナプスの数は実際のシナプスの数よりも大きい。
? ry シナプスに割り当てます。
シナプスの成長段階を表す「永続性」と呼ばれるスカラー値を、それぞれの潜在的シナプスに我々は割当てます。
? ゼロ ry 値は、シナプス ry 突起を表しますが、それは成長を始めていません。
シナプスを形成する可能性を持つ軸索と樹状突起とを、ゼロに近い永久値は、表しますがそれは成長を始めさせていません。
1.0の永続値は、大きな完全に形成されたシナプスを持つ軸索と樹状突起を表します。

[図5の原稿の終わりを見る]

永続値は、ヘブ風の規則を使用して増減されます。

? 永続値が０．３などの閾値を超える ry 。
閾値 0. 3 等を永続値がもしも超える場合、シナプスの重みは１であり、永続値が閾値以下である場合、シナプスの重みは０である。
閾値はシナプスの確立を表しますが、容易に消える可能性があります。
? ry 、しきい値の永続値を持つシナプスと同じ効果があります ry 。
永続値が1.0のシナプスは、閾値な永続値なシナプスと同じ効果を持ちますが、それほど簡単には忘れられません。
スカラー永続値を使用すると、ノイズがある場合のオンライン学習が可能になります。
以前には見られなかった入力パターンはノイズかもしれませんまたはそれは将来繰り返される新しい傾向の始まりかもしれません。
? ry のみ異なって行動する。
新たなシナプスを成長させることによって、ネットワークは新たなパターンに最初に遭遇したときにそれを学習し始めることができるが、新たなパターンのいくつかの提示の後にのみ行動を異にする。
? ry パターンが忘れるのにより長い時間がかかること ry 。
しきい値を超えて永続性が増すということは、他のものよりも経験したパターンは忘れるのにより長くかかるだろう事を意味します。

 ? ry ニューロンまたはシナプスの活性 ry 。
ＨＴＭニューロンおよびＨＴＭネッ は、分布したパターンの細胞活性に依存しているので、ニューロンの又はシナプスのどちらであれ活性化強度はそれほど重要ではない。
したがって、HTMシミュレーションでは、ニューロンの活性化とシナプスの重みを2値状態でモデル化します。
さらに、生物学的シナプスが確率論的であることはよく知られている（Faisal et al。、2008）ので、新皮質理論はシナプス効果の正確さを要求することができない。
? スカラー ry 。
そうであれどスカラー状態と重みはパフォーマンスを向上させる可能性がありますが、理論的な観点からは必須ではなく、すべてのシミュレーションはそれらがなくてもうまく機能しています。
HTMネットワークシミュレーションで使用されている正式な学習規則は、材料と方法のセクションに記載されています。

3。 シミュレーション結果

図６は、高次シーケンスメモリを実装するＨＴＭニューロンのネットワークの性能を示す。
図６で使用されるネットワークは、１ミニカラムあたり３２個のニューロンを有する２０４８個のミニカラムからなる。
各ニューロンは128個の基底樹状突起セグメントを持ち、各樹状突起セグメントは最大40個の実際のシナプスを持つ。
このシミュレーションはシーケンスメモリの特性を説明するためだけに設計されているため、頂端シナプスは含みません。
? ry 先に挙げたシーケンスメモリに必要な5つの特性すべて ry 。
このネットワークは、先に一覧されたシーケンス記憶の為の欲求された特性の 5 つ全てを示しています。

[ここの図6原稿の終わりを見る]

? ry データに適用しましたが、図 ry 。
HTMネットワークをさまざまな種類の実世界のデータに我々は適用しましたが敢て、図6では、ネットワークの特性をより明確に示すために人工データセットを使用しています。
入力は要素のストリームで、すべての要素は2％のスパースアクティベーションのミニカラム（合計2048のうち40のアクティブ列）に変換されます。
? ry 基づいてデータ ry 。
ネットワークは、入力ストリームで観察された遷移に基づいたデータの予測モデルを学習します。
図６において、ネットワークに供給されるデータストリームは、ランダム要素と反復シーケンスとの混合物を含む。
埋め込まれたシーケンスは6要素の長さで、完全な曖昧性解消と最高の予測精度のために高次の時間的文脈、例えば「XABCDE」と「YABCFG」を必要とします。
このシミュレーションでは、可能な最大平均予測精度が50％になるように入力データストリームを設計しました。これは高次表現を使用することによってのみ達成可能です。

図６Ａは、オンライン学習および高次予測を示す。
HTMネットワークの経時的な予測精度は赤で表示されます。
? ry 、ネットワークがランダム ry を発見 ry 。
予測精度はゼロから始まり、ランダム遷移内に混合された繰り返し時間的パターンをネットワークが発見するにつれて増加する。
? ry 、（列ごと ry された）一次ネットワークの精度 ry 。
比較のために、一次ネットワーク ( カラムごとに1つのセルのみを使用して作成された ) の精度を青で示しています。
十分な学習の後、高次ＨＴＭネットワークは５０％の最大可能予測精度を達成するが、一次ネットワークは約３３％の精度しか達成しない。
ネットワークが最大性能に達した後、埋め込まれたシーケンスは修正されました。
その時点で精度は低下しますが、ネットワークは継続的に学習しているため、新しい高次パターンを学習することによって回復します。

図６Ｂは、ネットワークの頑健性を示す。
? ry 我々はニューロンの無作為選択を不活性化した。
ネットワークが安定した性能に達した後、我々は無作為選択ニューロンを非アクティブにした。
最大約40％の細胞死で、性能への影響は最小限でした。
この堅牢性は、樹状突起セグメントがＮＭＤＡスパイクを生成するのに必要な量よりも多くのシナプスを形成するときに生じる、前述のノイズ耐性によるものである。
より高いレベルの細胞死では、ネットワーク性能は最初は低下するが、その後ネットワークが残りのニューロンを使用してパターンを学習するにつれて回復する。

4。 討論

? ry されるモデルニューロンとは実質的に異なるモデル皮質ニューロンを ry 。
我々は、大部分の人工ニューラルネットワークで使用されるニューロンのモデル、とは実質的に異なる皮質ニューロンモデルを提示した。
? モデルニューロンの主な特徴は、 ry シナプス ry これにより、ニューロンは多数の細胞集団で何百ものユニークなパターンを ry 。
モデルニューロンの鍵となるフィーチャは、アクティブな樹状突起と何千ものシナプスとを使用することです。これによりニューロンは、細胞の大集団の中で何百ものユニークパターンを認識することができます。
? 我々は、大量 ry でも、ニューロンが多くのパターンを確実 ry を示し ry 。
大量のノイズや変動がある場合でも、多くのパターンをニューロンが確実に認識できることを我々は示しました。
このモデルでは、近位シナプスは細胞のフィードフォワード受容野を定義します。
基底および頂端シナプスは細胞を脱分極し、予測を表す。

? 我々は、これらのニューロンのネットワークが一連のデータの予測モデルを学習 ry を示し ry 。
データのストリームの予測モデルをこれらニューロンのネットワークが学習することを我々は示しました。
基礎シナプスは、次のフィードフォワード入力を予測する文脈パターンを検出します。
頂端シナプスは、シーケンス全体を予測するフィードバックパターンを検出します。
? ry ネットワークの動作は、神経活動がまばらである ry 。
ニューロンとネットワークと、のオペレーションは、ニューラルアクティビティが疎であることに依存しています。
シーケンスメモリモデルは継続的に学習し、予測を行うために可変量のコンテキストを使用し、複数の同時予測を行い、ローカル学習規則に依存し、ネットワーク要素の障害、ノイズ、および変動に対してロバストです。


6


? ry と呼びますが ry 。
ネットワークモデルを「シーケンスメモリ」と我々は呼びますが、実際には遷移のメモリです。
? シーケンスの長さや格納されているシーケンスの数に関する表現や概念はありません。
シーケンス長又は格納シーケンス数、の、表現と概念とを有しません。
ネットワークは入力間の遷移のみを学習します。
したがって、ネットワークの容量は、特定のネットワークが格納できるトランジション数によって測定されます。
? これは、個々のニューロンの予想されるデューティサイクル（列あたりのセル数/列の希薄度） ry 数の積 ry 。
これは、ニューロン個々の予想デューティ比（カラム毎のセル数 / カラムのスパース度）と、各ニューロンがその基底樹状突起上で認識できるパターンの数と、の積として計算できます。
たとえば、2％の列がアクティブで、各列に32個のセルがあり、各セルが基底樹状突起上の200個のパターンを認識するネットワークでは、約32万個の遷移を格納できます（（32 / 0.02）* 200）。
? 容量は、列あたりのセル数と各 ry パターンの数に比例して増加します。
カラムあたりのセルの数と、各ニューロンの基底シナプスによって認識されるパターンの数と、に伴って容量はリニアにスケールします。


? ry 、混乱することなく特定の入力が異なる時間的状況で何回現れることができる ry 。
別の重要な容量測定基準は、異なる時間的文脈に於て特定単一入力が混乱なく現れる事が何回できるかということです。
? これは、特定の音程が混乱することなくメロディーに現れる回数、または特定の単語が異なる文章に何回記憶されるかに似ています。
これは、混乱なく特定休符 ( 間 ) がメロディ内に現れる回数、又は異なる文の中に特定単語が何回記されるか、のアナロジとなります。
? ミニカラムに32個のセルがある場合でも、特定のパターンが32個の異なる表現しか持てないという意味ではありません。
セル 32個をミニカラムがもしも持つ場合それは、異なる表現 32 個だけを特定パターンは持つ事ができる、事を意味しません。
たとえば、入力あたり40個のアクティブ列、1列あたり32個のセル、1列あたり1個のアクティブセルを想定すると、各入力パターンには3240個の可能な表現があり、事実上無制限の数です。
したがって、実際的な制限は表現的なものではなく、メモリベースです。
? ry 、特定のスパース列セットでいくつの遷移を学習 ry 。
容量は、いくつの遷移をカラム群の特定スパースセットで学習できるかによって決まります。

これまでのところ、ネットワーク内のすべてのセルが他のすべてのセルに同じ尤度で接続できる可能性があるセルラーレイヤについてのみ説明しました。
これは小規模ネットワークではうまく機能しますが、大規模ネットワークではうまくいきません。
? ry ほとんどの地域が y 。
新皮質では、ほとんどのリージョンが位相的な組織をしていることがよく知られています。
? ry 、領域Ｖ１の細胞は、網膜のごく一部からのみフィード ry 入力を受 ry 、Ｖ１の局所領域からのみ横方向入力を受 ry 。
例えば、リージョン V1 内セルは、フィードフォワード入力を網膜の小部分からのみ受け取り、横方向入力を V1 の局所リージョンからのみ受け取る。
? HTMネットワークは、列を2D配列に配置し、ニューロンを中心とする2D ry して各樹状突起のシナプス候補を選択することで、このように構成できます。
HTM ネットワークをこの様に構成するには、カラムを 2D アレイ内に配置し、各樹状突起の各潜在シナプスをニューロン中心な 2D確率分布を使用して選択します。
? ry に編成された ry 。
トポロジ的に組織されたネットワークは、任意に大きくすることができます。

この理論から得られる検証可能な予測がいくつかあります。
1）
? ry 的に予測 ry 感覚の流れの間に全体 ry なるという実験 ry された現象 ry 。
理論は、連続的予測可能な感覚ストリーミング単一の経過中に於て実験的に観察された、全体的な細胞活性がより疎になる現象についてのアルゴリズム的説明を提供する（Martin and Schr er、2013; Vinje and Gallant、2002; Yen et al。、2007）。
? さらに、予期しない入力がより高いセルアクティビティをもたらすことを予測し、それはミニコラム内で垂直方向に相関させるべきです。
更にそれが予測するのは、予期しない入力の結果としての、ミニカラム内で垂直方向に相関させるべきな、より高いセルアクティビティです。
一方、予想される入力は、ミニコラム内では相関のないアクティビティになります。
ミニカラムがこの理論の厳密な要件ではないことは注目に値します。
? ry 応答を共有し、相互に阻害的な小グループの細胞の存在 ry 。
このモデルは、フィードフォワード応答共有接続且つ相互抑制的、な細胞、の各小グループの存在のみを必要とする。
? ry と呼びますが、柱状の側面 ry 無関係になる可能性があります。
これらのグループをミニカラムと我々は呼びますが、柱状な側面は必須ではなく、グループ化は実際のミニカラムとは無関係である事ができます。
2）
理論の第二のコア予測は、細胞活動の現在のパターンが過去の刺激についての情報を含むということです。
この予測を支持する初期の実験結果が報告されている（Nikoli et al。、2009）。
? 動的細胞活性の正確 ry 高次配列における時間的文脈 ry 。
動的細胞アクティビティの正確な性質および高次シーケンス内テンポラル文脈の役割を検証するためにさらなる研究が必要である。
3）
? ry a back action potential.
? ryに逆活動電位が続く。
シナプス可塑性は、シナプス入力を介して脱分極された樹状突起セグメントに局在化されるべきであり、その後短時間後に逆伝播活動電位 ( 逆活動電位 ? ) が続く。
この現象はまだ広く確立されていないが、この効果は報告されている（Losonczy et al。、2008）。
4）
? ry 、ほとんど、理想 ry だけ存在 ry 。
所与の軸索と所与の樹状突起セグメントとの間に形成される興奮性シナプスは、二三個だけ、理想的には１つだけ、存在するはずである。
興奮性軸索が単一の樹状突起上に非常に近接して多数のシナプスを作った場合、シナプス前細胞はNMDAスパイクを引き起こすことにおいて優位を占めるであろう。
? ry が、軸索突起が日常的に単一 ry セグメントへより ry シナプスを作った ry エラーにつながる。
単一の軸索から単一の樹状突起セグメントへの2、3、さらには4つのシナプスが許容される可能性があるが、より多くのシナプスを単一の樹状突起セグメントへ軸索突起が恒常的に作った場合、それはエラーを導く。
純粋なHebbian学習は、複数のシナプスを形成するのを促進するように思われるでしょう。
? ry ために、我々は1つが確立された後に複数のシナプスの形成 ry を予測する。
これが起こらないようにする為に、 1 シナプス確立後の複数形成を積極的に妨げるメカニズムの存在を我々は予測する。
? 軸索は問題を引き起こさずに同じニューロンの異なる樹状 ry 上にシナプスを形成することができ、それゆえ我々はこのメカニズムが樹状 ry 軸索アーバーの局所領域に空間的にすることを予測する。
軸索は同ニューロンの別樹状突起セグメント上へのシナプス形成を問題を引起こさずできそれゆえこのメカニズムが、樹状突起セグメント内または軸索側枝ローカルエリア、に空間的局在する、と我々は予測する。
5）
ＮＭＤＡ ry よって脱分極され ry を阻害する ry 。
脱分極をＮＭＤＡスパイクによってされた細胞がその後に近位入力を介して活動電位を生成するとき、それは他の全ての近くの興奮性細胞を抑制する必要がある。
これは速い、おそらく単一のスパイク、抑制を必要とします。
? 高速スパイクバスケット阻害細胞 ry な阻害の ry 高い起源です（ ry 。
Fast-spiking 型籠細胞は、この急速な抑制の最も可能性の高いソースです（Huら、2014）。
6）
ミニコラム内のすべてのセルは、共通のフィードフォワード応答を学ぶ必要があります。
? ry 、ミニカラム内のすべてのセルを同時 ry 。
これには、フィードフォワードパターンを学習しながら、そのミニカラム内の各セル出来れば全てを同時にアクティブにするためのメカニズムが必要です。
? 相互励起のためのこの要件 ry の以前の要件 ry 。
興奮性相互作用のためのこの要件は、１つまたは複数の細胞がわずかに脱分極しているときの相互抑制のための従来要件とは相反すると思われる。
これら2つの要件をどのように満たすかについては、具体的な提案はありませんが、列内のセルが相互に興奮し、他の時には相互に抑制されるメカニズムを予測します。

錐体ニューロンは海馬では一般的です。
? したがって、私たちのニューロンとネットワークモデルの一部 ry 。
故に、ニューロンとネットワークとの私達のモデルの一部は海馬に当てはまるかもしれません。
? ry は急速な学習が知られ ry シナプス形成に ry 、新しいシナプスの成長とは ry Trachtenberg et al。）。ら、２００２年）。
しかしながら、海馬は高速学習で知られており、成人ではシナプス編成に何時間もかかることがあるため、新シナプスが成長する事とは相容れない（Holtmaat and Svoboda、2009; Knott et al。、2002; Niell et al。、2004; Trachtenberg ら、２００２年）。
新しいシナプスを成長させるのではなく、細胞に多数の非活性または「サイレント」シナプスがある場合、私たちのモデルでは迅速な学習が可能になります（Kerchner and Nicoll、2008）。
その後、サイレントシナプスをアクティブシナプスに変えることで、迅速な学習が行われます。
? ry 、細胞がさらにシナプスを必要 ry 。
このアプローチのマイナス面は、更に多くのシナプスを細胞が必要とすることです。これは代謝的に高価です。


7


? 海馬領域ＣＡ２の ry 。
海馬リージョン CA2 の錐体細胞は、新皮質の錐体細胞の数倍の数のシナプスを有する（Ｍｅｇ ｓら、２００１）。
? これらのシナプスの大部分が沈黙していたなら ry 我々の提案されたシーケンス ry 。
これらシナプスの大部分がサイレントだったならば、それは領域CA2も我々提案なシーケンス記憶の変形を実行していることを示唆する証拠であろう。

我々の提案した生物学的配列記憶機構を機械学習の分野で使用される他の配列記憶技術と比較することは有益である。
最も一般的な手法は、隠れマルコフモデル（HMM）です（Rabiner and Juang、1986）。
 ? ＨＭＭは、特に音声認識において広く適用 ry 。
HMM は広範に、特に音声認識に於て、適用されている。
? 基本ＨＭＭは一次 ry 。
ベーシックな HMM は一次モデルであり、その精度は図６Ａに示す一次モデルと同様であろう。
? ＨＭＭの変形は、高次 ry よって制限 ry シーケンスをモデル ry 。
HMM のバリエーションは、制限された高次シーケンスを高次状態を手で符号化することによってモデル化することができる。
最近になって、リカレントニューラルネットワーク、特に長期短期記憶（ＬＳＴＭ）（ＨｏｃｈｒｅｉｔｅｒおよびＳｃｈｍｉｄｈｕｂｅｒ、１９９７）が普及してきており、多くの場合ＨＭＭより優れている。
? ry ネットワークとは異なり、 ry ようなものとして、それらはニューロンまたは新皮質機能 ry 。
HTMネットワークと様相を異にした、HMMもLSTMも、生物学を詳細にモデル化しようとはしません。 そのようなそれらは、ニューロン的又は新皮質的な機能に対する洞察を提供しない。
? ry な機能上の利点 ry 。
これら両方の技術に対するＨＴＭモデルの主な機能的利点は、その継続的な学習能力、その優れたロバスト性、および複数の同時予測を行う能力である。
より詳細な比較はS1 Tableにあります。

? 多くの論文が配列の文脈でスパイキング ry モデルを研究 ry 。
スパイキングニューロンモデルを多くの論文がシーケンス文脈で研究している（Ghosh-Dastidar and Adeli、2009; Maass、1997）。
これらのモデルは、機械学習の文献で使用されているニューロンモデルよりも生物物理学的に詳細です。
? 彼らは、スパイク ry （ＳＴＤＰ）が、シナプス ry シーケンスおよび各 ry 遅延に対して細胞がどのように反応するようになるかを示 ry 。
シナプス前スパイクの特定シーケンスとそして各スパイク間の特定の時間遅延と、に対して細胞が敏感になって行く様に誘導する事をスパイクタイミング依存可塑性 ( STDP ) がどの様にすればできるかを彼らは示している（ＲａｏおよびＳｅｊｎｏｗｓｋｉ、２０００；ＲｕｆおよびＳｃｈｍｉｔｔ、１９９７）。
これらのモデルは、このホワイトペーパーで提案されているHTMモデルよりも詳細度が低くなっています。
? ry しており、対応する時間 ry 。
それらはシナプス後電位の積分時間を明確にモデル化しており、そこでの時間遅延は典型的にサブミリ秒から数ミリ秒である。
? ry また、典型的には非常に小さいシナプスのサブセットを扱い、そして非線形活性樹状突起を明示的にモデル化しない。
それらはまた、シナプスの微小サブセットを典型的には扱い、そしてノンリニアなアクティブな樹状突起を明示的モデル化しない。
私たちの仕事の焦点はより高いレベルにありました。
? ry は、そのようなニューロンのネットワーク化された層の、そして ry シーケンスメモリの出現の、シナプスと ry 突起のフルセットのモデルです。
この論文で提示された研究は、シナプスとアクティブな樹状突起とのフルセットそのようなニューロンがネットワーク化されたレイヤの、そして計算的に洗練されたシーケンス記憶の創発の、モデルです。
? ry な細胞層のレベルで機能する生物物理学的に詳細なモデル ry 。
将来の研究にとって興味深い方向は、これら2つのレベルのモデリングを結び付けること、すなわち完全な細胞レイヤのレベルでのオペレートをする詳細な生物物理学的モデルを作成することです。
いくらかの進歩が報告されています（Billaudelle and Ahmad、2015）が、この面でやるべきことはまだたくさんあります。

? ry おける重要な考慮事項は、一般化の問題、または ry を堅牢に処理 ry 。
学習アルゴリズムにおける 1 つの鍵となる考慮事項は、般化の問題です、又は新規パターンを堅牢処理する能力です。
? ry 、まばらなパターンの流れの中で活動的なニューロンの小さいサンプルにシナプスを形成 ry 。
我々が概説したシーケンス記憶メカニズムは、スパースパターンのストリームの中でアクティブニューロン群の各小サンプルにシナプス形成することによって学びます。
まばらな表現の性質は当然そのようなシステムを一般化することを可能にする。
ランダムに選択された2つの疎パターンは、ほとんど重なりがありません。
? ry わずかな重複（ ry 、表現が重要な意味的意味を共有 ry 。
僅かなオーバラップ（20％など）でも非常に重要であり、重要な意味論的意味を各表現が共有することを意味します。
? ry ため、セグメントは新規だが意味 ry するパターンを ry して認識する。
樹状突起閾値は、各セグメント上のシナプスの実際の数よりも低い為、意味的に関連するしかし新規なパターン、を類似したものとしてセグメントが認識する。
? ry は、異なる配列間 ry 、類推に基づいて新規な予測をする。
システムは、別シーケンス間の類似性を見て、類推ベースな新規予測をする。

最近我々は、我々のシーケンスメモリ法が感覚運動シーケンスの予測モデルを学ぶことができることを示した（Cui et al。、2015）。
? また、皮質運動シーケンスが同じネットワーク ry 使用して生成 ry わかります。
我々は又、同ネットワークモデルのバリエーションを使用して皮質運動シーケンスが生成される可能性が高いこともわかります。
? 細胞の層が ry するのかを ry 。
細胞の各レイヤがこれらの異なる機能をどのように果たすことができるのか、そしてそれらがどのように協働するのか、を理解することが我々の現在の研究の焦点です。

5。 材料および方法

? ry のアクティブ化と学習 ry 。
ここでは、HTMシーケンスメモリネットワークのアクティベーションと学習の規則について正式に説明します。
? この規則 ry 。
これらの規則には、3つの基本的な側面があります。初期化、セル状態の計算、および樹状セグメントのシナプスの更新です。
これらのステップは、表記法およびいくつかの実装の詳細とともに、以下で説明されています。

表記：
Nをレイヤー内のミニカラムの数、Mを1列あたりのセル数、NMをレイヤー内のセルの総数とする。
各細胞は、活性状態、予測（脱分極）状態、または非活性状態にあり得る。
? ry 、それぞれいくつかのシナプスを持つセグメント ry 。
各セルは、シナプス幾つかを其々伴ったセグメントのセットを維持します。
? (In this figure we use the term 都ynapse” to refer to 菟otential synapses” as described in the body of the paper. Thus at any point in time some of the synapses will have a weight of 0 and some will have a weight of 1.) 
? ry は0の重みを持ちます。 1.）
（この図では、本文で説明されている「潜在的シナプス」を指すために「シナプス」という用語を使用しています。したがって、いつでもシナプスのいくつかは0の重みを持ち、いくつかのシナプスは 1 の重みを持ちます。 ）
? の２進マトリックス ry ｊ番目の列の ry 。
任意の時間ステップｔにおいて、アクティブセルの集合はＭラＮのバイナリマトリックスＡｔによって表され、ここでａｔｉｊはｊ番目のカラムのｉ番目のセルのアクティビティである。
同様に、ＭラＮバイナリ行列Πｔは、時間ｔにおける予測状態にあるセルを表し、ここで、πｔｉｊは、ｊ番目の列のｉ番目のセルの予測状態である。

各セルは、Ｄｄｉｊがｊ番目の列のｉ番目のセルのｄ番目のセグメントを表すように、一組の遠位セグメントＤｉｊと関連付けられる。
? ry 、他のNM-1細胞のサブセットからの側方結合を ry 。
各遠位セグメントは、他細胞 NM - 1 個のサブセットからの横方向接続を表すいくつかのシナプスを含む。 ?
各シナプスは関連する永続値を持っています（補足図2参照）。
したがって、Ddij自体もMラNのスパース行列です。
? ry られたシナプスが存在する可能性がある場合、行列には??永続 ry 要素が含 ry 。
セグメントに関連付けられた潜在シナプスが存在する場合、永続値を表すゼロ以外の要素 s 個が行列に含まれます。
その永続性の値が接続しきい値を超えている場合、シナプスは接続されているとみなされます。
~Ddijを使用して、結合シナプスのみを含むバイナリ行列を表します。
1） 初期化：
? ry が層内のランダムに選択されたセルのサブセット ry 。
ネットワークは、各セグメントがレイヤ内のセルのランダム選択されたサブセットに対する潜在的シナプスのセット（すなわち、ゼロではない永続値）を含むように初期化される。
これらの潜在的シナプスの永続値はランダムに選択されます。最初は接続されているもの（しきい値を超える）と接続されていないものがあります。

? ry 計算
2） セル状態の計算 :
ミニコラム内のすべてのセルは、同じフィードフォワード受容野を共有します。
? ry と仮定します。
抑制プロセスが、現在のフィードフォワード入力パターンに最もよく一致するk列のセットをすでに選択していると我々は仮定します。
この集合をWtとします。
? ry ます。
各セルのアクティブ状態は次のように計算されます :


8


    !" = 
                           !!!
∈ ！そして！ "= 1 なら1
  !                !           !!!
 ∈ および ！" = 0 ならば 1
                           !
それ以外の場合は0

（2） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 、勝利列のセルが以前に予測状態にあった場合 ry 。
最初の行は、その勝利カラムのセルが前回に予測状態だった場合にそのセルをアクティブにします。
勝利列のセルがどれも予測状態になかった場合、2行目でその列のすべてのセルがアクティブになります。
? 現在のタイムステップの予測 ry ます。
現タイムステップの為の予測状態は次のように計算されます :

！ "=！
∃! ！ ! ！ > 0 なら1
それ以外の場合は0

（3） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 、αは ry 。
閾値θは、ＮＭＤＡスパイク閾値を表し、οは要素ごとの乗算を表す。
? ry 有するθ個を超えるシナプスが接続されている場合 ry 。
所与の時点で、アクティブシナプス前細胞を有するシナプスがもしもθ個よりも多く接続している場合、そのセグメントはアクティブになる（ＮＭＤＡスパイクを生成する）。
少なくとも1つのセグメントがアクティブであれば、細胞は脱分極します。

? ry 更新
3） セグメントとシナプスの更新 :
HTMシナプス可塑性の法則は、ヘブ風の規則です。
? ry 、以前に脱分極 ry 。
細胞が正しく予測された（すなわち、前回に脱分極状態にあり、その後フィードフォワード入力を介して活性になった）場合、活性であり脱分極を引き起こした樹状突起セグメントを我々は強化する。
? を選択します。
具体的には、次のようにそれらのセグメントDdijを我々は選択します :

 !!! ∀!∈! ( ！ ！ !" > 0  ) そして!!" !!! > 0

（4） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? 最初の用語は、 ry いる勝ち列を ry 。
最初の項は、正しい予測が含まれている各勝利カラムを選択します。
? ry に責任があるセグメントを ry 。
第2項は、予測に特に責任ある各セグメントを選択します。

? ry 勝利列が ry 場合、現在のシーケンス遷移が繰り返される場合、将来コンテキストを表すセルを1つ選択 ry 。
勝利カラムがもしも予測されなかった場合、現シーケンス遷移がもしも繰返される場合、のコンテキストを将来表すであろうセル 1 つ、を我々は選択する必要があります。
? ry アクティブに最も ry つまりしきい値を下回っていても最も ry セグメントを持つセルを選択します。
これを行うには、アクティブになる事が最も近いセグメント、つまり例え終始閾値未満であれど最も入力が多いセグメント、を持つセルを我々が選択します。
・DdijをDdijの正の要素のみを含む2値行列とする。
? を強化します。
以下が当てはまるセグメントを我々が強化します :

 !!!
∀！∈  ( ！ ！ "= 0 ) かつ
    ! ！ !!!
！ "=！（！!!!  ！）
 ! ！

（5） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 。シナプスに活動的なシナプス前細胞を与え、シナプスに不活性な細胞を罰することを望 ry 。
上記のセグメントを強化するのは簡単です。アクティブなシナプス前細胞を報酬として、非アクティブな細胞を罰として、シナプスへ与える事を我々は望みます。
? ry ます。
そのために、すべての永続値を小さい値p-だけ減らし、アクティブなシナプス前細胞に対応する永続値をより大きい値p +だけ増やします :

!! "=！!!" !!! ！  !!」

（6） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

上記の規則は、現在アクティブなセルを扱います。
? 我々はまた、活性にならなかった細胞の活性セグメントに非常に小さな崩壊を適用する。
非常に小さな減衰を、アクティブにならなかった各細胞の各アクティブセグメントに我々は又適用する。
? ry ます。
これは、セグメントが偶然に誤って補強された場合に発生する可能性があります :

 !! "= !!" どこで
！ ！ "= 0 and !!" !!!

（7） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? 行列 ry に現在の永続値行列に ry 。
各行列ΔＤｄｉｊは、時間ステップごとに現永続値行列其々に加算される。

実装の詳細：
私たちのソフトウェア実装では、大規模ネットワークのシミュレーション時間を大幅に短縮するという単純化した仮定をいくつかしています。
? ry 、ランダムセル上にセグメント ry 、現在アクティブなセルから ry 。
すべてのセグメントおよびすべてのセルにわたってシナプスの完全なセットを明示的に初期化する代わりに、ランダムなセルに於てセグメントを貪欲に作成し、現アクティブセル群からサンプリングすることによってそのセグメント上の潜在的シナプスを初期化します。
これは、既存のセグメントと一致しない場合にのみ発生します。
我々のシミュレーションでは、Ｎ ＝ ２０４８、Ｍ ＝ ３２、ｋ ＝ ４０である。
? ry を接続 ry 。
通常、セグメント上の20-40個のシナプスを我々は接続します。θは約15です。
永続性の値は、接続しきい値0.5で0から1まで変化します。
p +とp-は個々のデータセットに基づいて調整される小さい値ですが、通常は0.1未満です。
実装の完全なソースコードはGithubの http://github.com/numenta/nupic/ から入手できます。


9


6。 参考文献

Ahmad、S.およびHawkins、J.（2015）。
? ry 性質とその階層的時間記憶 ry
スパース分散表現の性質とそれらの階層的時間的記憶への応用
arXiv：1503.07469 [q-bi.NC] Antic、S。

D.、Zhou、WL、Moore、AR、Short、SM、およびIkonomu、KD（2010）。
樹状NMDAスパイクの10年。
? ry 。 結果 ８８，２９９１^Z３００１。
Ｊ．Ｎｅｕｒｏｓｃｉ。リソース ８８， 2991-3001 。
doi：10.1002 / jnr.22444。

Billaudelle、S。とAhmad、S（2015）。
HTMモデルのHeidelbergニューロモルフィックコンピューティングプラットフォームへの移植
arXiv：1505.02142 [q-bio.NC]

Chklovskii、DB、Mel、BW、およびSvoboda、K.（2004）。
皮質の再配線と情報の保存
Ｎａｔｕｒｅ ４３１、７８２-８。
? 土居：10 ry
doi:10.1038 / nature03012。

? ry 、Ｗ． （2015）
Ｃｉｃｈｏｎ、Ｊ．ａｎｄ Ｇａｎ、Ｗ．-B （2015）
? 分枝特異的樹状 ry
特定分枝な樹状Ca 2+スパイクは持続的シナプス可塑性を引き起こす
Ｎａｔｕｒｅ ５２０、１８０-５。

Cui、Y.、Ahmad、S.、Surpur、C.、and Hawkins、J.（2015）。
活発な探査中に安定した知覚を維持する。
? ry ）に
Cosyne Abstracts（ソルトレイクシティ）に於て

Faisal、AA、Selen、LPJ、およびWolpert、DM（2008）。
神経系のノイズ
? Nat。 牧師。 ９， ry
Nat。 Rev. Neurosci. ９，２９２-３０３。

Ghosh-Dastidar、S.およびAdeli、H.（2009）。
スパイキングニューラルネットワーク
Int。 Ｊ．Ｎｅｕｒａｌ Ｓｙｓｔ。 １９、２９５-３０８に記載されている。

Golding、NL、Jung、HY、Mickus、T.、およびSpruston、N。（1999）。
樹状突起カルシウムスパイクの開始と再分極はCA1錐体ニューロンにおける異なるカリウムチャンネルサブタイプによって制御される
Ｊ．Ｎｅｕｒｏｓｃｉ。  １９，８７８９-９８。

Hawkins、J。、Ahmad、S。およびDubinsky、D。（2011）。
? ry 時間記憶
皮質学習アルゴリズムと階層的時間的記憶
http://numenta.org/resources/HTM_CorticalLearningAlgorithms.pdf 

Hawkins、J。およびBlakeslee、S.（2004）。
On Intelligence.
? 知能について
考える脳 考えるコンピューター
ニューヨーク：ヘンリーホルトアンドカンパニー。
ランダムハウス講談社 , 伊藤 文英

Hochreiter、S.およびSchmidhuber、J.（1997）。
? 長期短期記憶
長・短期記憶
ニューラルコンピューティング ９，１７３５-１７８０。

Holtmaat、A。およびSvoboda、K。（2009）。
ほ乳類の脳における経験依存性の構造的シナプス可塑性
? Nat。 牧師。 １０ ry
Nat。 Rev.  Neurosci. １０、６４７-５８。

Hu、H.、Gan、J.およびJonas、P.（2014）。
? ry スパイクパルブアルブミン+ ry 細胞細胞 ry
高速スパイキング , パルブアルブミン+ GABA作動性介在細胞 : 細胞設計から微小�え朕�麩¾’修泙\xC7
? ry 80-。） ３４５ ry
サイエンス（80-。） . ３４５，１２５５２６３-１２５５２６３。

? GAのKerchner、およびRAのNicoll。
Kerchner, GA、およびNicoll, RA  (2008)。
? ry とLTP ry の出現
サイレントシナプスと、 LTPの為のシナプス後メカニズムの発現
? Nat。 牧師。 ry
Nat。 Rev. Neurosci. ９、８１３-２５。

Knott、GW、Quairiaux、C.、Genoud、C.、およびWelker、E.（2002）。
? ry 樹状突起棘の形成
成体マウスにおいてウィスカー刺激により誘導されたGABA作動性シナプスを有する樹状突起スパインの編成
ニューロン３４、２６５-７３。

Lamme、VA、Sup鑽、H.、and Spekreijse、H.（1998）。
? ry おけるフィード ry バック処理
視覚野における、フィードフォワード、水平およびフィードバックの処理
? Curr。 意見  Ｎｅｕｒｏｂｉｏｌ ry ５２９?３５。
Curr。 Opin. Ｎｅｕｒｏｂｉｏｌ。 ８、５２９-３５。

Larkum、M.（2013）。
皮質連合のための細胞機構：大脳皮質の組織化原理
? トレンド ３６、 ry ５１頁。
トレンド Neurosci. ３６、１４１-５１。
doi：10.1016 / j.tins.2012.11.006。

Larkum、ME、およびNevian、T.（2008）。
樹状シグナル伝達機構によるシナプスクラスタリング
? Curr。 意見 Ｎｅｕｒｏｂｉｏｌ ry ３２１?３１。
Curr。 Opin. Ｎｅｕｒｏｂｉｏｌ。 １８、３２１-３１。
doi：10.1016 / j.conb.2008.08.013。

Larkum、ME、Nevian、T.、Sandler、M.、Polsky、A.およびSchiller、J.（2009）。
? ry 錐体ニューロンの房状 ry シナプス統合新しい統一原理
第5層錐体細胞の房状樹状突起におけるシナプスの統合 : 新たな統一的原理
Science 325、756-760。
? ry 11??71958。
doi：10.1126 / science.1171958。

Larkum、ME、Zhu、JJ、およびSakmann、B（1999）。
異なる皮質層に到達する入力を結合するための新しい細胞機構
Ｎａｔｕｒｅ ３９８、３３８?４１。


? 10年


Lashley、K.（1951）。
「振る舞いにおける直列順序の問題」
? 行動の脳のメカニズムでは、編集。 ry 。
行動に於ける脳メカニズム、編集 L.ジェフレス（ニューヨーク：ワイリー）、112-131。

LeCun、Y.、Bengio、Y.およびHinton、G.（2015）。
ディープラーニング
Ｎａｔｕｒｅ ５２１、４３６?４４４。

Losonczy、A。、Makara、JK、およびMagee、JC（2008）。
? ry 化樹状可塑 ry
ニューロンにおける区画化樹状突起可塑性および入力特徴記憶
Ｎａｔｕｒｅ ４５２、４３６-４１。
土居：10.1038 / nature06725。

Maass、W.（1997）。
? ry のネットワークニューラル ry 
スパイキングニューロンのネットワーク : ニューラルネットワークモデルの第3世代
ニューラルネットワーク１０、１６５９-１６７１。
doi：10.1016 / S0893-6080（97）00011-7。

Major、G。、Larkum、ME、およびSchiller、J。（2013）。
? ry の活性特性
新皮質錐体ニューロン樹状突起の能動特性
? アンヌ。 牧師。 ３６，１?２４。
Annu。 Rev. Neurosci. ３６，１-２４。
doi：10.1146 / annurev-neuro-062111-150343。

? ry 、J. and  ry 。
Major、G.、Polsky、A.、Denk、W.、Schiller、 J., and Tank、DW（2008）。
? ry に傾斜したNMDA ry
新皮質錐体ニューロンの基底樹状突起における時空的に等級化されたNMDAスパイク/プラトー電位
Ｊ．Ｎｅｕｒｏｐｈｙｓｉｏｌ。 ９９，２５８４-６０１に記載されている。

Martin、KAC、およびSchr er、S.（2013）。
? ry ネコの一次 ry 機能的不均一性
人工刺激と自然刺激の両方に反応したネコ一次視覚野の隣接ニューロンにおける機能的ヘテロ性
Ｊ．Ｎｅｕｒｏｓｃｉ。 ３３、７３２５-４４。

? Ｍ． ry
Meg as, Ｍ．、Ｅｍｒｉ、Ｚ。、Ｆｒｅｕｎｄ、Ｔ．Ｆ。およびＧｕｌｙ ｓ、Ａ．Ｉ．（２００１）。
海馬CA1錐体細胞における抑制性および興奮性シナプスの総数と分布
Ｎｅｕｒｏｓｃｉｅｎｃｅ １０２、５２７-４０。

Niell、CM、Meyer、MP、およびSmith、SJ（2004）。
ry dendritic arbor.
成長する樹状突起上でのシナプス形成のin vivoイメージング
? Nat。 神経症。 ７， ry
Nat。 Neurosci. ７，２５４-６０に記載されている。

Nikoli、D.、H龝sler、S.、Singer、W.およびMaass、W（2009）。
? ry 皮質における刺激特性 ry
一次視覚皮質内刺激特性のための分散フェージング記憶
ＰＬｏＳ Ｂｉｏｌ。 ７、ｅ１０００２６０。

Olshausen、BA、およびField、DJ（2004）。
感覚入力のスパースコーディング
? Curr。 意見  Ｎｅｕｒｏｂｉｏｌ ry ４８１?４８７。
Curr。 Opin.Ｎｅｕｒｏｂｉｏｌ。 １４，４８１-４８７。
doi：10.1016 / j.conb.2004.07.007。

Petreanu、L.、Mao、T.、Sternson、SM、およびSvoboda、K.（2009）。
新皮質興奮性結合の細胞内組織
Ｎａｔｕｒｅ ４５７、１１４２-５。

Poirazi、P。、Brannon、T。、およびMel、BW（2003）。
二層ニューラルネットワークとしてのピラミッド型ニューロン
ニューロン３７、９８９-９９。

Ｐｏｌｓｋｙ、Ａ．、Ｍｅｌ、Ｂ．Ｗ。およびＳｃｈｉｌｌｅｒ、Ｊ．（２００４）。
? ry の細い樹状 ry 
錐体細胞の thin 樹状突起における計算サブユニット
? Nat。 神経症。 ７ ry
Nat。 Neurosci. ７，６２１-７。
doi：10.1038 / nn 1253。

Rabiner、L。およびJuang、B（1986）。
隠れマルコフモデルの紹介
IEEE ASSP Mag。 ３，４^Z１６。

? ry Ｊ． ? Ｃ ry 、Ｂ。  （2013）。
Ｒａｈ、Ｊ． - Ｃ．、Ｂａｓ、Ｅ．、Ｃｏｌｏｎｅｌｌ、Ｊ．、Ｍｉｓｈｃｈｅｎｋｏ、Ｙ．、Ｋａｒｓｈ、Ｂ。 , Fetter, R. D., et al. （2013）。
? 定量 ry トモグラフィーを用いて測定された層5錐体 ry への視床 ry
レイヤ 5 錐体ニューロンへの定量的大規模アレイトモグラフィー測定視床皮質入力
? 前面。 神経 ry
Front. 神経回路7、177。

Rao、RPN、およびSejnowski、TJ（2000）。
? 再発性 ry
回帰性新皮質回路における予測シーケンス学習
ry システム１２、１６４^Z１７０における進歩において。
ニューラル情報処理システムにおける進歩において １２、１６４-１７０。
doi：10.1.1.45.9739。

Ruf、B.およびSchmitt、M.（1997）。
? スパイクニューロンのネット ry
スパイキングニューロンネットワークにおける時間的符号化パターンの学習
? ry プロセス 、9 ry
神経プロセス Lett. 、9-18。
doi：10.1023 / A：1009697008681。

Schiller、J。、Major、G。、Koester、HJ、およびSchiller、Y。（2000）。
皮質錐体ニューロンの基底樹状突起におけるNMDAスパイク
Ｎａｔｕｒｅ ４０４、２８５?９。

Schiller、J。およびSchiller、Y.（2001）。
? ry 仲介樹状 ry
NMDA受容体仲介を伴う樹状突起スパイクと同時シグナル増幅
Curr。 意見 Ｎｅｕｒｏｂｉｏｌ。 １１，３４３-８。

Spruston、N.（2008）。
? ry ニューロン樹状 ry
錐体ニューロン : 樹状構造とシナプス統合
? Nat。 牧師。 ９，２０６?２１ ry
Nat。 Rev. Neurosci. ９，２０６-２１に記載されている。

Stuart、GJ、and H龝sser,、M.（2001）。
EPSPの樹状突起同時検出と活動電位
? Nat。 神経症。 ４、６３?７１。
Nat。 Neurosci. ４、６３-７１。

Stuart、GJ、and H龝sser、M.（2001）。
? EPSPの樹状 ry 検出と活動電位
EPSP のと活動電位のとの樹状突起同時検出
? Nat。 神経症。４、 ry
Nat。 Neurosci. ４、６３-７１。


11


? ry 、E。 （ ry 。
Trachtenberg、JT、Chen、BE、Knott、GW、Feng、G.、Sanes、JR、Welker、 E., et al.  （2002）。
? ry の長期in ry
成体皮質における経験依存性シナプス可塑性の Long-term in vivoイメージング
Ｎａｔｕｒｅ ４２０、７８８?９４。

Ｖｉｎｊｅ、ＷＥ、およびＧａｌｌａｎｔ、Ｊ．Ｌ（２００２）。
非古典的受容野の自然な刺激はV1の情報伝達効率を高める
Ｊ．Ｎｅｕｒｏｓｃｉ。 ２２、２９０４-２９１５に記載されている。

Yen、S.-C.、Baker、J.、and Grey、CM（2007）。
? ry ニューロンの反応の不均一性
ネコ線条皮質に於ける自然な刺激に対する隣接ニューロンの応答に於けるヘテロ性。
Ｊ．Ｎｅｕｒｏｐｈｙｓｉｏｌ。 ９７、１３２６-１３４１頁。
doi：10.1167 / 7.9.326。

Yoshimura、Y.、Sato、H.、Imamura、K. and Watanabe、Y.（2000）。
ネコ視覚皮質の表層における錐体細胞への水平および垂直入力の性質
Ｊ．Ｎｅｕｒｏｓｃｉ。 ２０，１９３１-４０に記載されている。


? 12年



A
        Σ

B
        フィードバック
        コンテキスト
        フィードフォワード

C
        フィードバック
                スレッショルド , OR            スレッショルド , OR            スレッショルド , OR
        コンテキスト
                スレッショルド , OR            スレッショルド , OR            スレッショルド , OR            スレッショルド , OR            スレッショルド , OR
        フィードフォワード
                /


図1：ニューロンモデルの比較
A）
? ry ニ??ューラル ry シナプスがほとんどなく、 ry 。
ほとんどの人工ニューラルネットワークで使用されているニューロンモデルは、シナプスが僅かで、樹状突起もありません。
B）
新皮質錐体ニューロンは樹状突起上に位置する何千もの興奮性シナプスを有する（挿入図）。
? ry 上の一連のシナプスの同時活性化は、体細胞でＮＭＤＡ ry 脱分極を引き起こす ry 。
樹状突起セグメント上のシナプスのセットの同時活性化は、ＮＭＤＡスパイクおよび脱分極を細胞体上で引起こすであろう。
セルへの入力には3つのソースがあります。
体細胞の近くにシナプスを形成するフィードフォワード入力（緑色で示す）は、活動電位に直接つながる。
? ry 遠位の基底樹状突起および頂端樹状突起に発生したＮＭＤＡ ry は体細胞 ry には体性活動電位 ry 。
より遠位な基底及び尖端の樹状突起にて生成されたＮＭＤＡスパイクは細胞体を脱分極するが、典型的には細胞体活動電位を発生させるのに十分ではない。
C）
? ＨＴＭモデルニュ  は樹状樹状突起およびＮＭＤＡスパイクをそれぞれ一組のシナプスを有する同時検出器のアレイを用いてモデル ry しか示され ry 。
同時検出器其々シナプス 1 セット付のアレイ、を伴った HTM モデルニューロンは、 樹状突起と NMDA スパイクとをモデル化する（それぞれ数個しか図示されていない）。


? 13年



A 細胞層はシーケンスを学ぶ

        2/3     4       5       6
         ↓


? B 学ぶ前に
B 学習前

        A       B       C       D               ? あいうえお
        X       B       C       Y

        　 ↓↓ ↓
同じ列ですが、列ごとにアクティブなセルは1つだけです。
        　 ↓↓ ↓

C 学んだ後

        A       B'      C'      D'              ? あいうえお'
        X       B "        C "        Y"


? ry 皮質細胞層中の配列を表す。
図２：皮質細胞レイヤ中のシーケンスを表す。
A）
? ry 細胞層に分けられる。
新皮質は細胞レイヤに分割される。
? ry 、1つの汎用セル層の一部を示 ry 。
この図のパネルは、一般的セルラレイヤ 1 枚の一部を示しています。
? ry ために、パネルには1列に6個のセルを持つ21個のミニ ry を示 ry 。
わかりやすくする為に、1列に付き 6 セルを伴った、 21 ミニカラムのみをパネルは示しています。
B）
入力シーケンスABCDとXBCYはまだ学習されていません。
? ry この例では ry 、まばらなミニカラムのセットを呼び出します。
各シーケンス要素は、この図では3つのみの、ミニカラムのスパースセットを呼起します。
? ry 、ミニカラム内のすべてのセル ry 、シーケンス ry 。
入力が予想外の場合、そのミニカラム内の全セルがアクティブになります。これは、そのシーケンスを学習する前の場合です。
C）
 ry 、入力 ry された1つのセルのみが各列でアクティブです。
2つのシーケンスを学習した後、それら入力は同じミニカラムを起動しますが、B '、B' '、C'、C ''、D 'およびY' 'とラベル付けされた各列の中に於て 1 セルのみがアクティブです。
C 'とC' 'は一意であるため、YまたはDのどちらかの正しい高次予測を呼び出すことができます。


? 14年



A 次の入力の予測

        A       入力
        B '     予測
        B       入力
        C '     予測


B 複数同時予測

        B       入力
        C 'とC' '        予測
        C       入力
        D 'とY' '        予測


図3：近くのニューロンへの基本接続は次の入力を予測します。
A）
図２からの配列の１つを使用して、活性細胞（黒）および脱分極／予測細胞（赤）の両方が示される。
最初のパネルには予期しない入力Aが表示され、それが次の入力B 'の予測につながります（2番目のパネル）。
? ry 、偏光解消セル ry 。
後続の入力が予測と一致する場合、脱分極セルのみがアクティブになり（3番目のパネル）、これが新しい予測につながります（4番目のパネル）。
? ry される外側シナプス結合が最も ry 。
予測された細胞のうちの１つによって使用されるシナプス横方向接続複数が最も右側のパネルに示されている。
? ry は、多数のアクティブセルのサブセット ry 。
現実的なネットワークでは、予測されるすべてのセルは、アクティブセルの大集団のサブセットに対して15以上の接続を持つことになります。
B）
あいまいなサブシーケンス「ＢＣ」（これはＡＢＣＤおよびＸＢＣＹの両方の一部である）がネットワークに提示される。 
最初のパネルは予期しない入力Bを示しており、これはC 'とC' 'の両方の予測につながります。
? ry 。両方のセットの予測セルがアクティブ ry 予測します（4番目のパネル）。
3番目のパネルは、入力Cの後のシステムを示しています。予測セルセットの両方がアクティブになり、DとYの両方を予測しています（4番目のパネル）。
複雑なデータストリームでは、通常多くの同時予測があります。


? 15年



先端樹状突起

シーケンスB 'C' D 'のフィードバックバイアス


← 入力C
表現C '


← 入力Y
期待と一致しません


? ry 先端樹状 ry は全配列を ry 。
図４： 尖端樹状突起へのフィードバックはシーケンス全体を予測する。
この図は、図２と同じネットワークおよび表現を使用している。
「先端樹状突起」と表示された領域は、新皮質の第1層に相当します。 全ての細胞からの頂端樹状突起（図示せず）はここで終結する。
図では、次のように仮定されています。
? ry 示されているように、ネットワークは以前にシーケンス ry を学習した。
図２に示されたシーケンスＡＢＣＤをネットワークは以前に学習した。
? 学習されたシーケンスの間、頂端樹状突起に一定のフィードバックパターンが提示され、配列B'C'D 'に参加する細胞はそれらの頂端樹状突起上にシナプスを形成して一定のフィードバックパターンを認識した。
学習済シーケンスに亘って尖端樹状突起へと提示され ( てい ) るコンスタントなフィードバックパターン、をそして認識する為にシーケンス B'C'D ' 参加各細胞はそれら尖端樹状突起上にシナプス編成した。

フィードバック接続が学習された後、頂端樹状突起へのフィードバックパターンの提示は、シーケンス内で順次アクティブになるすべてのセルによって同時に認識される。
? ry 、偏光解消状態になります（ ry 。
赤で表示されているこれらのセルは、脱分極します（左ペイン）。
新しいフィードフォワード入力が到着すると、予測されたシーケンスに関連するスパース表現になります（中央のパネル）。
? ry パターンが予想されるシーケンスの一部として解釈 ry 、選択された列の ry 。
フィードフォワードパターンを予想シーケンスの一部として解釈できない場合（右パネル）、選択されたカラムのすべてのセルがアクティブになり、異常を示します。
? ry 、頂端フィードバックは、予想されるシーケンスの一部として入力を解釈するようにネットワークをバイアスし、入力が予想されるシーケンス ry しないかどうか検出する。
このようにして、尖端フィードバックはネットワークを、どんな入力も予想シーケンスの一部としての解釈をする様にバイアスし、入力がもしも予想シーケンス内の要素のどれにも一致しない場合を検出する。


16



樹状突起

軸索

        0.0     0.3             1.0
                                シナプス「永続性」
            0             1
                        ? シナプス重量
                        シナプスウェイト


? ry 新しいシナプス ry
図5：新シナプスの成長による学習
? ry 、一連の潜在的シナプスからの新しいシナプス ry 。
HTMニューロンでの学習は、潜在的シナプスのセットからの新シナプスの成長によってモデル化されます。
「永続性」値は各潜在的シナプスに割り当てられ、シナプスの成長を表します。
学習は、永続性の値を増減することによって行われます。
? ry 重みは、永続 ry 設定されたバイナリ値です。
シナプスの重みはバイナリ値で、永続性がしきい値を超えている場合は1に設定されます。


? 17年



A

正確さ
60％
：               一次モデル
：               HTMレイヤー
30％
20％
10％
0％

0       2000    4000    6000
シーケンス要素


B

正確さ
60％
:               40％セル深度
：               50％セル深度
：               60％セル深度
：               75％セル深度
10％
0％

0       2000    4000    6000
シーケンス要素


図6 シーケンスメモリネットワークのシミュレーション結果
? ry ランダムな要素 ry 。
この図に使用されている入力ストリームは、ランダム要素と混合された高次シーケンスを含んでいました。
このデータストリームの最大可能平均予測精度は50％です。
A） 高次オンライン学習。
? ry は、約 ry 要素の後でネットワークが学習し、最大 ry を達成 ry 。
赤い線は、ネットワークが学習し最大限のパフォーマンスを約2500のシーケンス要素の経過後に達成していることを示しています。
要素３０００において、データストリーム内のシーケンスが変更された。
? モデルが新 ry を学習 ry つれて、予測 ry します。
予測精度は低下してから回復します、新しい時間構造をモデルが学習するにつれて。
ry に、一次 ry の性能が低い方 ry 。
比較のために、低性能な一次ネットワークの方を青で示しています。
B） 損傷に対するネットワークの堅牢性。
? ry はニューロンの無作為選択を不活性化した。
ネットワークが安定した性能に達した後、我々は無作為選択な各ニューロンを非アクティブ化した。
? ry 死で、パフォーマンス ry 。
最大40％の細胞死に於て、パフォーマンスにほとんど影響がありません。
細胞死が40％を超えると、ネットワークのパフォーマンスは低下しますが、残りのニューロンを使用してネットワークが学習するにつれて回復します。


? 18年



S1テキスト。  少数のシナプスで大きなパターンを認識するときの誤りの可能性

誤りの可能性を計算するための公式
? ry （シナプスを形成 ry 。
非線形樹状セグメントは、大きな集団からの少数の細胞をサブサンプリングする（その様にシナプスを形成する）ことによってパターンをロバストに分類することができる。
? ry 誤った一致 ry ます。
パターンがランダムに分布していると仮定すると、以下の式で誤一致の正確な確率が求められます : http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#19


^Z ^Z^Z^Z ^Z!!!! ! ! ラ ! ! ^Z ^Z^Z^Z   ^Z ! ! ^Z

n = 細胞集団の大きさ
a = アクティブセル数
? ry セグメントの ry
s = セグメント上のシナプス数
θ = NMDAスパイクしきい値



表A： サブサンプリングによる誤差の可能性

この表は、上記の式を使用して、誤った一致の可能性に対するサブサンプリングの効果を示しています。
サンプリングサイズが大きくなるにつれて、エラーの可能性は急速に低下します。
信頼性の高いマッチングには、少数のシナプスで十分です。


s       誤った一致の可能性

6       9.9 ラ 10 ^ -13
8       9.9 ラ 10 ^ -17
10      9.9 ラ 10 ^ -21

n = 200,000
a = 2,000
θ = s



表B : 50％のノイズ耐性を追加した場合のエラーの可能性

この表は、ノイズに対する堅牢性を示しています。
ＮＭＤＡスパイクに必要とされるよりも多くのシナプスを形成することによって、ニューロンは、大量のノイズおよびパターンの変動に対してロバストであり得、それでもなお、誤った一致の可能性が低い。
例えば、ｓ ＝ ２θの場合、システムは５０％の雑音に対して耐性がある。
? エラー ry は増加 ry つれて急速 ry します。 ノイズ ry には少数のシナプスで十分です。
ノイズがあっても、信頼性の高いマッチングには、シナプス少数で充分です、 増加するにつれて、エラーの可能性は急速に低下します。


θ       s       誤った一致の可能性

6       12      8.7ラ10 ^ -10
8       16      1.2ラ10 ^ -12
10      20      1.6ラ10 ^ -15
12      24      2.3ラ10 ^ -18

n = 200,000
a = 2,000



? ry 上の混合シナプスの追加 ry
表C： 樹状セグメント上でのシナプス混交の追加による誤りの可能性

? この表は、単一 ry の混合が依然として許容できないエラー ry 。
この表は、許容不可なエラーを単一樹状セグメント上のｍ個の異なるパターンに対するシナプスの混交が依然として引起こさないことを実証している。
? ry 認識し、なお５０％のノイズに対してロバストであり得るかを見る ry 。
ｓ ＝ ２ｍθに設定することによって、セグメントがどのようにしてｍ個の独立したパターンを認識し尚 50 % のノイズに対してロバストであり得るか、を我々は見ることができる。
わずかに高いしきい値を使用することによって、より大きいmで非常に高い精度を得ることが可能です。

θ
m               ? メートル
s
誤った一致の可能性

10      2       40      6.3 ラ 10 ^ -12
10      4       80      8.5 ラ 10 ^ -9
10      6       120     4.2 ラ 10 ^ -7
15      6       120     1.7 ラ 10 ^ -12

n = 200,000
a = 2,000


? 19年



高次シーケンス
        HTM     はい
        HMMs    Limited
        LSTM    はい

高次シーケンス構造を発見
        HTM     はい
        HMM     いいえ
        LSTM    はい

? 地域学習 ry
ローカル学習ルール
        HTM     はい
        HMM     いいえ
        LSTM    いいえ *

継続的な学習
        HTM     はい
        HMM     いいえ
        LSTM    いいえ

複数同時予測
        HTM     はい
        HMM     いいえ
        LSTM    いいえ

教師なし学習
        HTM     はい
        HMM     はい
        LSTM    いいえ

堅牢性とフォールトトレランス
        HTM     非常に高い
        HMM     いいえ
        LSTM    はい

神経科学への詳細なマッピング
        HTM     はい
        HMM     いいえ
        LSTM    いいえ

確率モデル
        HTM     いいえ
        HMM     はい
        LSTM    いいえ


S1テーブル、共通シーケンスメモリアルゴリズムの比較
2つの共通シーケンスメモリアルゴリズム（HMMとLSTM）を提案モデル（HTM）と比較した表。
*ウェイト更新ルールはローカルですが、LSTMではグローバルエラー信号を計算してから逆伝播する必要があります。


20



-- 
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )
http://hello.to/seisei/ mailto:seisei@.68..net  tel:081-70-5152-1104
heiwa furiisekkusu 1tu
Fnews-brouse 1.9(20180406) -- by Mizuno, MWE <mwe@ccsf.jp>
GnuPG Key ID = ECC8A735
GnuPG Key fingerprint = 9BE6 B9E9 55A5 A499 CD51 946E 9BDC 7870 ECC8 A735