最終更新日 2016年04月05日

Deep Learning(LSTM型)



LSTM(Long Short Term Memory Neural Network)による記号列の学習と生成


LSTMの構造



LSTMは前の状態の保持や忘却ゲートを持ち時系列間の適切な関係を学習します

あるルールでA〜Jの語で、長さが異なる行を1000行生成させ、これをLSTMに学習させさせます
学習したLSTMがルールを再現できるか、1000行生成し、
学習時と学習後の頻度分布で同じ傾向か確かめます
比較は全文字の分布　Cの文字の次の文字の分布　Cの文字の次次の文字の分布

3層構造 1語に20個のノードを割当て
繰返回数 20回　学習率 0.0002 計算時間　1200sec　活性関数 tanh



学習データ(1部)



LSTM Trainning Character's Histgram

　　　　文字の分布　　　　　　　　　　　　　　　　　　　Cの文字の次の文字の分布　　　　　　　　　　　　　　　　Cの文字の次次の文字の分布


LSTM Generated Character's Histgram after Learning

　　　　文字の分布　　　　　　　　　　　　　　　　　　　Cの文字の次の文字の分布　　　　　　　　　　　　　　　　Cの文字の次次の文字の分布



戻る