有序神经元LSTM：ON-LSTM

分类: 文章 • 2023-12-25 16:40:57

ON-LSTM,指 Ordered Neurons LSTM。
思想是，将神经元经过特定排序是为了将层级结构（树结构）整合到LSTM中去，从而允许LSTM能自动学习到层级结构信息。
有序神经元LSTM：ON-LSTM

有序神经元LSTM：ON-LSTM

有序神经元LSTM：ON-LSTM
层级越高，颗粒度越粗，那么它在句子中的跨度就越大。

参考：
1.苏神 blog