机器学习基本概念

第一步：找到一个未知的函数式，已知大量变化的x和大量结果y 第二部：定义一个 Loss from Training Data：用来评估函数好坏的参数，是自己定义的一个函数。可以是计算结果平均差值（MAE），可以是平均平方差值（MSE）。

• 最佳化：Gradient Descent
  • 学习比率：learning rate
  • 局部最优解、全局最优解、

第三步：Optimization

Linear models（线性模型）：$y=b + wx_1$ piecewise Linear Curves（分段线性曲线）：可以用sigmoid函数表示如下：

$$y = c\frac{1}{1 + e^{-(b+wx_1)}} = c*sigmoid(b+wx_1)$$

不同的改变，会有不同的效果

得到分段线性曲线公式

同步转化：

Optimization of new Model

把所有的数据 L 分成多个 Batch，每组 Batch生 成一个 gradient，所有的 Batch 都 update 一次称为一个 epoch（纪元、时代）

Sigmoid->ReLU ReLU：Rectified Linear Unit： $c\; max(0,b+wx_1)$

这个公式有一个统称叫 Activation function

Neuron（神经元），很多 Neuron 就是 Neural Network（神经网络） hidden layer，很多 hidden layer 就是 Deep。最终就是 Deep Learning

overfitting

触发ChatGPT监督学习示例