一个英文句子中的单词的词意,要系统自动对应词典的那个条解释,各位做NLP的高人看看有啥解决方案

作者:霍华德链接:***/question/324487162/answer/684540314来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

你说的有点接近实体链接(Entity Linking)任务,但查字典不限于实体,也可以动词、介词、形容词等。

基本的解决框架是:

第一步:词表示上下文表示

第二步: 词条表示

第三步:相似度计算

第四步:选出相关性得分最高的词条

没有训练数据的话,直接无监督,把上下文和词条分词后词向量加起来,复杂点用BERT编码。然后直接用计算余弦相似度。

有训练数据的话,可以把正确的词条当正例,其他词条当负例,然后用文本匹配模型训练一波。深度学习的文本匹配模型有很多,提供一些给你做参考:

  1. DRMM: A Deep Relevance Matching Model for Ad-hoc Retrieval.
  2. MatchPyramid: Text Matching as Image Recognition
  3. ARC-I: Convolutional Neural Network Architectures for Matching Natural Language Sentences
  4. DSSM: Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
  5. CDSSM: Learning Semantic Representations Using Convolutional Neural Networks for Web Search
  6. ARC-II: Convolutional Neural Network Architectures for Matching Natural Language Sentences
  7. MV-LSTM: A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations
  8. aNMM: aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model
  9. DUET: Learning to Match Using Local and Distributed Representations of Text for Web Search
  10. K-NRM: End-to-End Neural Ad-hoc Ranking with Kernel Pooling
  11. CONV-KNRM: Convolutional neural networks for soft-matching n-grams in ad-hoc search

本文来自用户发表,不代表空兰网立场,如若转载,请注明出处:https://www.konglan.com/yulu/26534.html

(0)
上一篇 2023-02-22 10:56
下一篇 2023-02-22 11:09

相关推荐

发表回复

登录后才能评论