keras实现注意力机制（链接）

注意力机制

注意力模型也称资源分配模型，它借鉴了人类的选择注意力机制，其核心思想是对目标数据进行加权变换。

截止到目前，尝试过的注意力机制，要么是

（1）基于时间步的注意力机制

（2）基于维度的注意力机制（大佬魔改）

都是用于多维数据处理的

在一篇论文中，提到了针对一维向量的注意力机制：Attention本质就是给不同特征给予不同的注意程度，也就是权重分配

该文献中，使用的是相关性系数

Feature_Value = corr * Feature_Value

实现权重的重新分配，从而实现给不同的特征给予不同的重视程度

以上，是目前接触到的注意力机制应用方向，包括：

1. 针对多维数据的基于时间步的注意力机制
2. 针对多维数据的基于维度的注意力机制
3. 针对一维数据的注意力机制（权重分配）

以下，是学习过程中使用的一些精品博客，代码基本都运行过

【注意力参考博客】

https://blog.csdn.net/qq_35649669/article/details/103807915

这是这位大佬的实战

https://blog.csdn.net/qq_35649669/article/details/104793484

【注意力项目地址】

这个是大佬参考的大佬代码，但貌似发生了更新，绘图部分程序跑不出来（基于时间步的注意力机制），主要程序没有任何问题

https://github.com/philipperemy/keras-attention-mechanism

这个是大佬的代码（作者进行了改进，实现了 基于维度的注意力机制）

https://github.com/PatientEz/keras-attention-mechani

【keras实现注意力机制】

启蒙博客+项目，程序亲试可以运行，就是改起来相当费劲，针对多维数据

https://www.cnblogs.com/lunge-blog/p/11496287.html

https://github.com/Choco31415/Attention_Network_With_Keras

【注意力其他博客】

https://mlln.cn/2018/09/02/keras%E6%95%99%E7%A8%8B-n-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E7%90%86%E8%AE%BA%E5%92%8C%E5%AE%9E%E7%8E%B0/

https://www.freesion.com/article/6186223004/