最近的一年在基于神经网络结构的NER研究上，主要集中在两个方面：一是使用流行的注意力机制来提高模型效果（Attention Mechanism），二是针对少量标注训练数据进行的一些研究。

　　《Attending to Characters in Neural Sequence Labeling Models》该论文还是在RNN-CRF模型结构基础上，重点改进了词向量与字符向量的拼接。使用attention机制将原始的字符向量和词向量拼接改进为了权重求和，使用两层传统神经网络隐层来学习attention的权值，这样就使得模型可以动态地利用词向量和字符向量信息。实验结果表明比原始的拼接方法效果更好。

　　对于深度学习方法，一般需要大量标注数据，但是在一些领域并没有海量的标注数据。所以在基于神经网络结构方法中如何使用少量标注数据进行NER也是最近研究的重点。其中包括了迁移学习《Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks》和半监督学习。这里我提一下最近ACL2017刚录用的一篇论文《Semi-supervised sequence tagging with bidirectional language models》。该论文使用海量无标注语料库训练了一个双向神经网络语言模型，然后使用这个训练好的语言模型来获取当前要标注词的语言模型向量（LM embedding），然后将该向量作为特征加入到原始的双向RNN-CRF模型中。实验结果表明，在少量标注数据上，加入这个语言模型向量能够大幅度提高NER效果，即使在大量的标注训练数据上，加入这个语言模型向量仍能提供原始RNN-CRF模型的效果。整体模型结构如下图：

　　最后进行一下总结，目前将神经网络与CRF模型相结合的NN/CNN/RNN-CRF模型成为了目前NER的主流模型。我认为对于CNN与RNN，并没有谁占据绝对的优势，各自有相应的优点。由于RNN有天然的序列结构，所以RNN-CRF使用更为广泛。基于神经网络结构的NER方法，继承了深度学习方法的优点，无需大量人工特征。只需词向量和字符向量就能达到主流水平，加入高质量的词典特征能够进一步提升效果。对于少量标注训练集问题，迁移学习，半监督学习应该是未来研究的重点。