捕鱼天王:谷歌大脑提出概念激活向量，助力神经网络可解释性研究

    如前所述，可解释性的一般方法应该是根据深度模型所考虑的输入特征来描述其预测结果。一个经典例子就是 logistic 回归分类器，一般会把分类器中的系数权重解释为每个特征的重要性。但大部分深度学习模型在特征层面（如像素值）的运算，无法和人类能轻易理解的高级概念对应。此外，模型的内部值（例如神经激活）似乎是无法理解的。尽管像显著性图（saliency map）这样的技术可以有效测量特定像素区域的重要性，但它们无法和更高级的概念相对应。