intro | wendy’s blog

type

status

date

slug

summary

category

icon

password

input经过函数f变成一个标量数值的任务称为regression，可能是概率？，预测任务

input经过函数进行分类的任务称为classification，分类的定义就是在指定类别中输出一个正确的类别

input经过函数进行分类的任务称为generation？，例如：翻译，根据描述绘制图片

pre-trained model（foundation model）可以具备一些通用的目标知识，但是在特定领域的分类上，并不具备很优秀的表现，例如去分类宝可梦和数码宝贝，或者分类水果，这时候pre-trained model可以经过fine-tune（微调）完成downstream tasks的要求

pre-trained model vs downstream tasks

类似于os与app的关系，app不需要直接与底层接触，os提供一个app与底层交互的平台

optimization

gradient descent

可以随机选择初始权重，根据梯度的正负来决定权重的增减，增减的绝对值由导数和学习率共同决定，其中学习率是超参数，超参数由自己设定

梯度下降的停止条件可以是自己设定的次数，或者满足loss足够小等等。

但是梯度下降的缺点是容易找到局部最优解而不是全局最优解，但是这并不是梯度下降真正的痛点。