CNERTA论文阅读
date
Apr 8, 2022
slug
cnerta
status
Published
tags
学习
论文
summary
融合声音模态和文本模态做NER
type
Post
摘要
探索一个未知领域？？具有文本和声音的中文多模态NER
构建了一个NER数据集：CNERTA
引入一个语音到文本对齐的辅助任务，捕捉文本模式和声音模式之间的单调对齐
结论：
- 多模态提高了性能
- 在CNERA上产生了SOTA
简介
命名实体识别NER是信息提取的一个基本子任务
NER将非结构化文本中提到的命名实体定位并分类到预定的语义类别
汉语作为表意语言，在书面语中没有词与词之间的分隔符
流畅的声学模式，相邻词之间的停顿，能帮助NER模型发现词的边界
CNERTA数据集额外对嵌套的实体进行注释
引入词典已被证实是在中午NER中纳入单词信息的有效方式
与视觉模态和文本模态的耦合不同，声音模态和文本模态之间有一个单调的排列
相关工作
融合单词信息：
- pipline
- 联合学习CWS和NER
- 借助自动构建的词典
预处理
声学编码器：
- 语音处理层
- 卷积前端
- 基于Transformer的编码器
多模态模型
融合模块：
- 跨模式注意模块CMA
- 多模式交互模块MMI
大致看下来这篇论文就是提出一个数据集，attention融合声音模态和文本模态......