阅读分享:Utilizing BERT Intermediate Layers for ABSA and NLI
Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference
原文地址:https://arxiv.org/pdf/2002.04815.pdf
文中提到,bert的微调都是在bert结构后添加额外的输出层,忽略了中间层包含的语义知识,而每一层都能捕获到不同层次的表示。
设计了LSTM和Attention两种池化策略来整合每层的[CLS]token表示。
Experiment :
在ABSA任务上:
在NLI任务上: