CNERTA论文阅读

date
Apr 8, 2022
slug
cnerta
status
Published
tags
学习
论文
summary
融合声音模态和文本模态做NER
type
Post

摘要

探索一个未知领域??具有文本和声音的中文多模态NER
构建了一个NER数据集:CNERTA
引入一个语音到文本对齐的辅助任务,捕捉文本模式和声音模式之间的单调对齐
结论:
  • 多模态提高了性能
  • 在CNERA上产生了SOTA

简介

命名实体识别NER是信息提取的一个基本子任务
NER将非结构化文本中提到的命名实体定位并分类到预定的语义类别
汉语作为表意语言,在书面语中没有词与词之间的分隔符
流畅的声学模式,相邻词之间的停顿,能帮助NER模型发现词的边界
CNERTA数据集额外对嵌套的实体进行注释
引入词典已被证实是在中午NER中纳入单词信息的有效方式
与视觉模态和文本模态的耦合不同,声音模态和文本模态之间有一个单调的排列

相关工作

融合单词信息:
  • pipline
  • 联合学习CWS和NER
  • 借助自动构建的词典

预处理

声学编码器:
  • 语音处理层
  • 卷积前端
  • 基于Transformer的编码器

多模态模型

融合模块:
  • 跨模式注意模块CMA
  • 多模式交互模块MMI
 
大致看下来这篇论文就是提出一个数据集,attention融合声音模态和文本模态......

© Dino 2021 - 2023