Learning to Compose Neural Networks for Question Answering
来源： NAACL 2016
作者：Jacob Andreas, Marcus Rohrbach, Trevor Darrell, Dan Klein
机构：Department of Electrical Engineering and Computer Sciences, University of California
贡献：提出了一个适用于图像和结构化知识库的QA模型，这个模型使用自然语言字符串从一组可组合的模块中自动组装神经网络（基于注意力的组合的神经网络模块）。
论文提出的模型包含两个部分：
- 第一，是可以自由组合的 neural modules 集合。
- 第二，是一个 network layout predictor，将 modules 组装成为每一个问题定制的深度神经网络。
在问答系统中，一种常见的做法是将问答映射为逻辑表达。而作者基于这种思想，先构建了一系列的神经网络模块，然后训练一个神经网络结构预测器，将每个问题，转化为一系列神经网络模块的组合，并和 world representation（图片，知识库之类的）结合产生答案。
模型
目标是从问题和 world representations 映射到答案。此过程涉及以下变量：
模型实际上是围绕着两个分布构建的：
- layout model：为一句话选择网络布局结构。
- execution model：将构建好的神经网络结构应用到 world representation，得到答案。
Evaluating modules
给定一个布局 z, 我们就可以组合相应的模块形成完整的神经网络，然后应用到 world representation 得到最后的答案。