学习笔记-自然语言模型

向量在机器学习和自然语言处理的上下文中经常用于将单词或短语表示为数字值。这些向量可以被认为是高维空间中的点，其中每个维度表示单词或短语的不同特征或属性。

例如，BERT模型为输入文本中的每个标记生成向量。然后使用这些向量计算答案分数并找到答案在段落中的起始和结束索引。

为了更好地理解向量，可以将它们视为空间中的箭头，具有方向和大小。向量的方向表示单词或短语与数据集中其他单词或短语之间的关系，而大小表示单词或短语在数据集的上下文中的重要性或相关性。

在自然语言处理的上下文中，可以使用各种技术生成向量，例如词嵌入或神经网络。这些技术旨在以易于机器学习算法处理的方式捕捉单词和短语之间的语义和句法关系。

理解向量后，对Huggingface Transformers进行基础学习和验证

feature-extraction 特征提取：把一段文字用一个向量来表示
fill-mask 填词：把一段文字的某些部分mask住，然后让模型填空
ner 命名实体识别：识别文字中出现的人名地名的命名实体
question-answering 问答：给定一段文本以及针对它的一个问题，从文本中抽取答案
sentiment-analysis 情感分析：一段文本是正面还是负面的情感倾向
summarization 摘要：根据一段长文本中生成简短的摘要
text-generation文本生成：给定一段文本，让模型补充后面的内容
translation 翻译：把一种语言的文字翻译成另一种语言

扯远了。。。还是一边应用一边学习了。这里只是做一些笔记，目前首要任务是跑一个问答模型，将文本收集好，作为学习数据灌到模型里。后面有新的关联知识更新到这里。