Structural-RNN: Deep Learning on Spatio-Temporal Graphs
By Ashesh Jain
CVPR2016 Oral
Overview：
Notes：
目标：用Graph+RNN构建high-level spatio-temporal structure
st-graph经常用于表征high-level spatio-temporal structure，一般结点代表建模单元、连线代表时空interaction。
本文希望用RNN的方式替换传统的st-graph。
结构：st-graph $\mathcal{G} = (\mathcal{V}, \mathcal{\varepsilon}_S, \mathcal{\varepsilon}_T)$ 包括节点、spatial边和temporal边。
主要思想是通过根据semantic相似性把内容中出现的个体归类为不同的nodes，相同类别的个体共享参数，以此解决不同环境中个体数目不同的问题以及使得网络更加compact和信息量丰富。通过对不同类别nodes之间的st edge进行连接，根据node本身的factor和与node有关的edge factor对node的label进行inference。
对于多个相同的edge node的特征，作者的做法是将其相加得到一个edge node的特征 输入进edge RNN，然后不同的edge RNN和节点特征通过concate成为特征再形成一层节点RNN，这种方式与LSTM for Collective activity有点相似。用相加而不用平均仅因为实验得到相加效果好。
