LSTM神经网络输入输出究竟是怎样的？
你说不理解LSTM输入输出问题，我感觉你其实应该是对Recurrent NNs的问题。
之前有发现身边小伙伴确实不太容易理解Recurrent NNs（这里不区分LSTM，GRU）的topology结构，especially the input、output。To this end, I'd like to bridge the gap.
Recurrent NNs，一般看的最多的图是这个：
但是这个图对初学者相当不太友好。个人认为，目前所有的关于描述RecurrentNNs的图都画得不好，不够明确，里面的细节丢失了。（事实上里面一个"A"仅仅表示了一层的变换。）
非常清楚，这是很多初学者不能理解RecurrentNNs的根本原因，即在于Recurrent NNs是在time_step上的拓展的这一特性。MLP好理解，CNN也好理解，但Recurrent NNs，就是无法搞清楚里面的拓扑结构，跟MLP联系不上。
先看看，MLP，很好理解，就是一张网络清楚地显示了张量流向。general MLP是这样的拓扑：
然后CNN也好理解，跟MLP无差若干，只是权重运算由 * 变为 \otimes 。CNN是这样的拓扑：
但RecurrentNNs的拓扑发生了一个很大的改动，即一个MLP会在time_step这个维度上进行延伸，每个时序都会有input。
所以RecurrentNNs的结构图我认为应该这样画，在理解上才会更清晰些，对比MLP，也一目了然。(自己画的为了简约，只画了4个time-steps ）……
看图。每个时序 t 的输入 I_{i}^{t} 我是一次time_step一张input tensor，隐状态 h_{i}^{t} 也就代表了一张MLP的hidden layer的一个cell。输出 o_{i}^{t} 理解无异。注意，红色的箭头指向indicates the tensor's flow at time-sequential order。
再结合一个操作实例说明。如果我有一条长文本，我给句子事先分割好句子，并且进行tokenize, dictionarize,接着再由look up table 查找到embedding，将token由embedding表示，再对应到上图的输入。流程如下：
step1, raw text:
接触LSTM模型不久，简单看了一些相关的论文，还没有动手实现过。然而至今仍然想不通LSTM神经网络究竟是怎么工作的。……
step2, tokenize (中文得分词):
sentence1: 接触 LSTM 模型 不久 ，简单 看了 一些 相关的 论文 ， 还 没有 动手 实现过 。
sentence2: 然而 至今 仍然 想不通 LSTM 神经网络 究竟是 怎么 工作的。
……
step3, dictionarize:
sentence1: 1 34 21 98 10 23 9 23
sentence2: 17 12 21 12 8 10 13 79 31 44 9 23
……
step4, padding every sentence to fixed length:
sentence1: 1 34 21 98 10 23 9 23 0 0 0 0 0
sentence2: 17 12 21 12 8 10 13 79 31 44 9 23 0
……
step5, mapping token to an embeddings:
sentence1:
\left[ \begin{array}{ccc} 0.341 & 0.133 & 0.011 &…\\ 0.435 & 0.081 & 0.501 &…\\ 0.013 & 0.958 & 0.121 &…\\ … & … & … &… \end{array} \right ] ,每一列代表一个词向量，词向量维度自行确定；矩阵列数固定为time_step length。
sentence2:
……
step6, feed into RNNs as input:
假设 一个RNN的time_step 确定为 l ,则padded sentence length(step5中矩阵列数)固定为 l 。一次RNNs的run只处理一条sentence。每个sentence的每个token的embedding对应了每个时序 t 的输入 I_{i}^{t} 。一次RNNs的run，连续地将整个sentence处理完。
step7, get output:
看图，每个time_step都是可以输出当前时序 t 的隐状态 h_{i}^{t} ；但整体RNN的输出 o_{i}^{t} 是在最后一个time_step t=l 时获取，才是完整的最终结果。
step8, further processing with the output:
我们可以将output根据分类任务或回归拟合任务的不同，分别进一步处理。比如，传给cross_entropy&softmax进行分类……或者获取每个time_step对应的隐状态 h_{i}^{t} ，做seq2seq 网络……或者搞创新……
这是基础款RNN的流程。仅仅是基础款哦，高阶的有各种创新，此处不宜展开。
feel better now?
另外，也可查看TensorFlow的RNN的源码可获得identification，即RNN的一次dynamic_run即是，将每个MLP的hidden cell的_call()函数在整个time_step上连续地调用一次，已达到时序传递计算的目的。
至于LSTM、RGU，那就是在MLP的每个hidden cell（一个黄色circle）与下一个time_step 的hidden cell的传值机制的more sophisticated tactics，based on this text 现在应该好理解了。
Willing to be a better bridge.
Hope this help.