Fullstar

Archives

  • December 2025
  • August 2024
  • July 2024
  • February 2024
  • November 2023
  • August 2023
  • July 2023
  • January 2023
  • November 2022
  • October 2022
  • September 2022
  • February 2022
  • January 2022
  • September 2021
  • January 2021
  • December 2020
  • November 2020
  • October 2020
  • September 2020
  • August 2020
  • July 2020

Categories

  • Code
  • Lens
  • Life
0
Fullstar
  • Code

基于RNN的自动文本生成

  • July 22, 2020
  • Brandon
Total
0
Shares
0
0
0

一.基本思路
1.假设有一段文本:the apple is red,首先对在句子中的各个字母用set进行收集,并利用index生成(index, alpha)形式的dict

2.将文本利用dict中的key进行转化,如t对应index值为1,h为2,e为3,则the可转化为1 2 3,因此文本转化为array[1 2 3 …]

3.对每一个数字进行编码转换
方式1:手动进行one-hot编码
假设len(dict)=10,则一个数字转化的vendor长度为10,如2中的1可转化为$[1,0,0…,0]^T$
方式2:利用Embedding层进行自动转换
假设将shape=(1,10)输入Embedding(a,b)层,则将输出shape=(1,10,b),即利用embedding对输入矩阵的每一个值进行向量转化

4.构建模型
(1)建立SimpleRNN层,输入shape=(array_len,dict_len),输出shape=(1,dict_len),其中 array_len 表示文本转化的array的长度,dict_len表示dict的长度,由于输入一个句子输出一个字母,因此输出值shape即一个字母的数值表示,shape=(1,dict_len)
(2)建立Dense层,设置units=dict_len,使用softmax激活函数将输出值进行压缩,并利用 categorical_crossentropy 作为loss function。即将问题转化为classification,利用全连接层进行训练,计算其与label的loss并进行反向传播调整参数,从而完成训练

参考链接:用Keras实现SimpleRNN:生成文本

Total
0
Shares
Share 0
Tweet 0
Pin it 0
Brandon

Previous Article
  • Code

Keras Embedding层

  • July 21, 2020
  • Brandon
View Post
Next Article
  • Code

attention model

  • July 26, 2020
  • Brandon
View Post
You May Also Like
View Post
  • Code

WordPress 后台任务利器:使用 BGRunner 构建可靠的异步处理

  • Brandon
  • December 14, 2025
View Post
  • Code

WordPress image offload

  • Brandon
  • December 14, 2025
View Post
  • Code

ComfyUI应用手册

  • Brandon
  • December 6, 2025
View Post
  • Code

Leetcode Java常用代码

  • Brandon
  • February 17, 2024
View Post
  • Code

Golang入门

  • Brandon
  • February 4, 2024
View Post
  • Code

Setting Up and Maintaining a Ubuntu Environment for My Home Server

  • Brandon
  • November 24, 2023
View Post
  • Code

Swift Learning Log

  • Brandon
  • August 31, 2023
View Post
  • Code

English Learning – Food Related

  • Brandon
  • August 31, 2023

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Fullstar

Input your search keywords and press Enter.