YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
> 
> 
> 
> 
> dahara1 氏
> Universal Transformerを用いて翻訳を超える
> http://webbigdata.jp/ai/post-1575
>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
> 要約
> 
> 
> 
> 目次
> 
>     * 1. ry まとめ
>     * 2. ry Transformerをより汎用的にしたUniversal Transformer
>     * 3. ry 感想
>     * 4. ry まとめ
> 
> １． ry まとめ
> 
> ・機械翻訳で圧倒的な ry Transformerをより汎用的にしたUniversal Transformer ry
> ・ry 曖昧な単語をより深く調べるように動的に動作を変更する事ができる
> ・Transformerは翻訳以外の作業は不得意だが、Universal Transformerは様々な作業に応用できる
> ２．Transformerをより汎用的にしたUniversal Transformer
> 
> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
> 
> 昨年、我々は既存の機械翻訳や、その他の自然言語を扱う既存 ry よりも顕著な成功 ry 機械学習モデルであるTransformer ry
> 
> Transformer以前のニューラルネットワークに基づく機械翻訳アプローチの大半は、文章の先頭から順番に処理をしていました。
>これはRNN ( ry ) ry 、RNNは文章を先頭から順番に ry 、ある文を翻訳した結果を続く文を翻訳する際にインプットに利用 ry
>、前の段落の文脈を捉え ry 、 RNNは文書のような連続する処理( ry )において非常に強力ですが、 ry
>、長い文章ではより多くの処理ステップと時間 ry 、またそれらの繰り返し構造は人工知能を適切に学習 ry 困難
> 
> ry 対照的に、Transformerでは全ての単語またはシンボルを並列に処理しながら、セルフアテンションメカニズムを使用して、
>離れた位置の文章から文脈を組み込む ry 。並行して全ての単語を処理しつつ、
>複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
> 
> ry 。しかしながら、より小さく構造化された言語を理解する作業、またはもっとシンプルな文字列のコピー（ ry ） ry
>、トランスフォーマはあまりうまく ry 。対照的に、Neural GPUやNeural Turing Machineなどの既存 ry
>は前述のようなシンプルなタスクでは上手く ry が、翻訳のような大規模な言語理解タスクでは上手く動作しません。
> 
> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
> 
> ry 訓練速度を維持するために並列構造を構築、Transformerの異なる変換関数を
>複数の parallel-in-time recurrentな変換関数に置き換えました。(下図のように同じ変換関数が、
>複数の処理ステップにわたって並列に、全てのシンボルに適用され、各ステップの出力が次のステップの入力に
> 
> 重要なことは、RNNがシンボルを順次処理するケースで、Universal Transformerは全てのシンボルを
>(Transformerのように)同時に処理します。しかし同時にUniversal Transformerはセルフアテンションを使用して
>平行に複数回、再帰的に反復処理を行い、 ry 解釈を改善します。このparallel- in-time recurrence ry は、
>RNNで使用されている順次処理する再帰的メカニズムよりも高速であり、 ry 標準的なフィードフォワードTransformerより強力
> 
> Universal Transformerは、セルフアテンションを使用して異なる位置からの情報を結合し、反復遷移関数を適用することによって、
>シーケンスの各位置について一連のベクトル表現（h1〜hmとして示される）を繰り返して品質を向上します。矢印は操作間の依存関係
> 
> 各ステップでは、オリジナルのTransformerと同様に、セルフアテンションを使用して、各シンボル
>(例えば、文中の単語)から他の全てのシンボルに情報が伝達 ry 、この変換 ry (すなわち反復段階の数)は、
>ry ( ry 、固定数または入力長に設定 ry )、またはUniversal Transformer自体によって動的に決定
> 
> 後者の機能を実現するために、各位置に適応計算メカニズム ry
>、あいまいなシンボルやより多くの計算を必要とするシンボルに、より多くの処理ステップを割り当
> 
> ry bankは、「銀行」、「土手」、「堤防」、「岸辺」、「海浜」、「塚」
> :
> 例えば単語「bank」 ry 厳密にするためにより多くの計算ステップ ry 追加的な文脈情報を統合
> 
> ry 単一の関数を繰り返し適用する事が制限のように見えるかも ry
>、特に異なる機能に異なる関数を適用する標準のトランスフォーマーと比較した場合は。しかし、
>1つの関数を繰り返し適用する方法を学ぶことは、アプリケーションの数(処理ステップの数)が可変
> 
> 、Universal T ry がより曖昧なシンボルに多くの計算 ry 以外に、モデルは、 ry 関数アプリケーションの数を増減するか、
>トレーニング中に学習された他の特性に基づいて入力の任意の部分に改良を適用することがよくあります。
>これにより、 ry 、入力のさまざまな部分に異なる変換 ry 効果的に学ぶことができ、理論的な意味でもより強力 ry
>。これは、標準のTransformerでは実行できない ry 。標準のTransformerでは学習済み変換ブロックが1回だけ
> 
> ry 実証的なパフォーマンスにも気をつけています。 ry 文字列のコピーや逆順にソート、整数加算などを
>TransformerやRNNよりはるかに上手に学ぶことができることを確認 ry 。さらに、多様な言語タスクを理解するために、
>ry bAbI linguistic reasoning task とLAMBADA language modeling taskに挑戦し、最新のスコアを達成
> 
> 、同じトレーニングデータで同じ方法で訓練された同じ数のパラメータを持つ従来のTransformerに対して、0.9 BLEUだけ翻訳品質を向上 ry
>、元のTransformerは昨年 ry 従来の機械翻訳モデルより2.0 BLEUのスコア改善 ry 、それに更に約50％の相対的な改善
> 
> Universal T ry は、このように、「実用的なシーケンスモデル(機械翻訳などの大規模な言語理解モデル)」と
>「計算上ユニバーサルなモデル (Neural Turing MachineやNeural GPUなどの勾配降下法を使って
>任意のアルゴリズムを実行することができるモデル)」とのギャップを埋めます。
> 
> 私達は、最近のparallel-in-time sequence modelsを開発して計算量と再帰処理の深さを高める事、及び、
>ここで紹介した基本的なUniversal Transformerにさらなる改良を加えてより強力でよりデータ効率の良い学習アルゴリズムを構築する事、
>それらが、現在の最先端技術を超えた学習アルゴリズムの一般化に繋がる事に情熱を燃やしています。
>ここで紹介する ry さらなる改良が、より多くの学習アルゴリズムを構築するのに役立つことを願っています ry
>、現在の最先端技術を超えて一般化されています。
> 
> 、Universal Transformerの学習と評価に使用されるコードは、オープンソースとしてTensor2Tensorリポジトリ
> 
> 謝辞
> この研究は、Mostafa Dehghani、Stephan Gouws、Oriol Vinyals、Jakob Uszkoreit、および?ukaszKaiserによって行われました。
>実り多いコメントとインスピレーションのため、Ashish Vaswani、Douglas Eck、David Dohanに感謝します。
> ３． ry 感想
> 
> やっている事自体は人間が翻訳時に無意識にやっている事の真似で「曖昧な単語について前後の文脈を見て何度も意味を推測する。
>曖昧でない単語は特に注目せずにさっと翻訳する」だけの話なのですが、それを実現している所が凄いですね。
> 
> 「チューリング完全」である事のインパクトがまだイマイチ飲み込めていませんが、応用範囲が一気に広がりそうだという期待感は凄いです。
> ４． ry まとめ
> 
> 1)ai.googleblog.com
> Moving Beyond Translation with the Universal Transformer
> 
> 2)arxiv.org
> Universal Transformers
> 
> 3)github.com
> universal_transformer.py
> 
> 
> 
> 
>>、Transformerでは全ての単語またはシンボルを並列に処理しながら、 ry 、離れた位置の文章から文脈を組み込む ry 。
>ry 処理しつつ、複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
> :
>>ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
> 
> 
>>145 yamaguti~貸 171005 1350 Mw10xW3l? \>482 yamaguti~貸 170923 1906 gJe8GJca? \>182 yamaguti 180617 0148 GMgC8zpV?
>> :
>> >631 yamaguti~貸 170925 0009 mWACkEZG?
> :
>>>> >482 自然言語解釈
>>>> >>479 >>241 >255
>>>> DeepMind 又カーネギーメロン大が最近達成した
>>>> 3D ゲーム環境内疑似コマンド限定接地の仕組を多重化すれば可能 ( 強力版弱い AI )
>>>>
>>>>DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
> :
>  
>>178 yamaguti 180528 1227 x4HB0Rxw?
>> >>145 メタ
>>>>> DeepMind 又カーネギーメロン大が最近達成した
>>>>> 3D ゲーム環境内疑似コマンド限定接地の仕組を多重化すれば可能 ( 強力版弱い AI )
>>>>>
>>>>>DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
> :
> 
>>183 名前：yamaguti E-mail：1427220599/490sage492 投稿日：2018/06/25(月) 02:58:02.57 ID:wuqwxjPG?2BP(0)
> :
>> >>182 >>178-179 >>114 ( 一形態 : 物理空間融合レンダ 仮想空間融合レンダ 意味空間融合レンダ 人格システム )
>>> DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
>>> 目鼻 → 1 年以内 ? 一まずの変革完了 ( ≒ 曲りなり特異点 ? ) → 1 年以内 ? 接地構造手直し完了 ( ≒ 特異点 ? )
>>
>>> >>178 3D ゲーム環境内疑似コマンド限定接地
>> ↓
>>GQN : 現実 3D 空間対応基盤 (
> :
> 
> 
>>、計算的に様々なタスクに応用できるチューリング完全なUniversal Transformers
> 
> 汎用
> 
> 
> 
>>23 名前：yamaguti E-mail：1531923755sage330 投稿日：2018/07/29(日) 12:06:53.16 ID:xu0GwKe6?-2BP(0)
>> >310 yamaguti 180721 2201 1u89Awcb?
>>> >289 \>>Universal Transformersがタイムステップ＋ポジションで位置情報変化
>> :
>>> >405 オryー 180714 1249 D84wNS6G
>>> :
>>>> 言語の特徴量ベクトルにタイムステップとポジション(時間間隔と位置情報)を付加した上で \>> 1つ１つのシンボルではなく、全てのベクトルを再帰処理に回す手法
>>>
>>>
>>> 再帰効果 ( 上記文脈 ) エミュの究極 ( 完全汎用 AI/AL )
>>> >14
>>>>http://rio2016.2ch.net/test/read.cgi/future/1489922543/152### HPKY gata Hannyou AI/AL \> 機械学習限定論ご遠慮下さ
> 
> 
>>>> 再帰効果 ( 上記文脈 ) エミュの究極 ( 完全汎用 AI/AL )
> 補足
> △ 言語の特徴量ベクトルにタイムステップとポジション(時間間隔と位置情報)を付加 ( 数理発想 )
> ○ タイムステップとポジション ( 時間間隔と位置情報 ) に言語の特徴量ベクトル情報を割付け ( 非数理発想 哲学発想 )
> 
> 
> 
> -- 
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆コストへの御配慮に厚く御礼申上げます
> 三菱 UFJ 銀行 平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224
:



-- 
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )
http://hello.to/seisei/ mailto:seisei@.68..net  tel:081-70-5152-1104
heiwa furiisekkusu 1tu