WEBVTT

1
00:00:00.000 --> 00:00:05.613
大家好，欢迎来到AI生活课第二课，AI怎么学
会东西。

2
00:00:05.613 --> 00:00:14.248
上一课我们认识了AI、机器学习和模型，今天继
续追问：模型的能力从哪里来，为什么看

3
00:00:14.248 --> 00:00:17.702
过一些材料，就可能处理新的问题？

4
00:00:17.702 --> 00:00:22.236
我们用水果照片、煎蛋练习和音响旋钮来解释。

5
00:00:22.236 --> 00:00:30.871
你不用记公式，只要一路分清三件事：学习用的材
料是什么，学习时改变了什么，实际使用

6
00:00:30.871 --> 00:00:32.598
时又发生了什么。

7
00:00:32.598 --> 00:00:39.290
比如厨师练习煎蛋和接单做一份煎蛋，虽然都在厨
房，目的并不相同。

8
00:00:39.290 --> 00:00:46.630
尤其是在聊天里纠正一句话，不要直接理解成整个
模型都被你重新教了一遍。

9
00:00:46.630 --> 00:00:49.652
今天我们把这个常见误会讲透。

10
00:00:50.252 --> 00:00:57.826
这一课先分清数据、训练和运行模型，再认识预训
练、微调、参数与神经网络。

11
00:00:57.826 --> 00:01:06.482
可以先给这些词安排位置：数据集是材料，训练是
利用材料调整模型的过程，参数是训练中

12
00:01:06.482 --> 00:01:08.429
会调整的内部数值。

13
00:01:08.429 --> 00:01:17.085
预训练和微调描述不同阶段的训练，推理在这里指
使用训练好的模型产生输出，神经网络则

14
00:01:17.085 --> 00:01:18.816
是一种模型结构。

15
00:01:18.816 --> 00:01:22.278
它们不是七个互相替代的功能按钮。

16
00:01:22.278 --> 00:01:27.255
看到工具正在回答问题，则先理解为正在运行模型
。

17
00:01:27.255 --> 00:01:34.613
带着材料、调整、使用这条线，后面的几个生活故
事就能连成一件完整的事。

18
00:01:35.213 --> 00:01:38.524
现在准备一套教孩子认水果的照片。

19
00:01:38.524 --> 00:01:42.456
只拍超市里摆得整齐的红苹果，可能不够。

20
00:01:42.456 --> 00:01:50.734
你还会收集果园里的苹果、不同角度和光线下的苹
果，以及容易混淆的其他水果，再按照教

21
00:01:50.734 --> 00:01:51.976
学目的整理。

22
00:01:51.976 --> 00:01:56.115
这套有组织的材料，就是理解数据集的入口。

23
00:01:56.115 --> 00:01:59.426
想一想，整理类别这一步依靠什么？

24
00:01:59.426 --> 00:02:05.635
要依靠对水果的已有认识，贴错类别就可能给后面
的学习带来错误。

25
00:02:05.635 --> 00:02:13.292
另一方面，并不是所有数据都必须由人逐张标注，
具体材料和组织方式取决于任务。

26
00:02:13.292 --> 00:02:19.915
把文件堆在一起还不等于准备好了好材料，数据要
服务于一个明确目的。

27
00:02:20.515 --> 00:02:25.270
数据集，是围绕特定目的收集和组织的一组数据。

28
00:02:25.270 --> 00:02:30.889
这页的顺序是收集样本，整理与划分，再用于学习
或评估。

29
00:02:30.889 --> 00:02:38.238
划分很重要，就像练习题与考试题要分开，才能看
出是否真的能处理新情况。

30
00:02:38.238 --> 00:02:45.802
如果测试题提前混进训练材料，成绩就可能显得特
别好，却不能代表实际能力。

31
00:02:45.802 --> 00:02:48.828
重复、错误和偏向都值得检查。

32
00:02:48.828 --> 00:02:57.474
比如想服务不同年龄的顾客，却只收集某一类顾客
的表达，模型在其他人群上可能表现不好

33
00:02:57.474 --> 00:02:57.690
。

34
00:02:57.690 --> 00:03:02.229
理解检查：样本增加了，是否就能保证更可靠？

35
00:03:02.229 --> 00:03:06.767
不能，还要看质量、覆盖范围和评估是否合理。

36
00:03:07.367 --> 00:03:09.727
接下来用煎蛋理解训练。

37
00:03:09.727 --> 00:03:12.302
第一次火太大，蛋边焦了；

38
00:03:12.302 --> 00:03:17.021
第二次减小火，又发现里面太生，于是调整时间。

39
00:03:17.021 --> 00:03:22.599
你不断尝试，观察结果与目标的差别，再改下一次
的做法。

40
00:03:22.599 --> 00:03:27.747
这里真正重要的不是重复动作，而是根据反馈作调
整。

41
00:03:27.747 --> 00:03:31.180
请想想，哪一步用到了前面的经验？

42
00:03:31.180 --> 00:03:34.398
正是决定下一次怎么调整的时候。

43
00:03:34.398 --> 00:03:42.979
模型训练也有数据、目标、比较和调整，不过它依
靠算法计算，不会像人一样品尝煎蛋，也

44
00:03:42.979 --> 00:03:44.480
不会感到沮丧。

45
00:03:44.480 --> 00:03:48.771
用这个比喻，我们只借用反复调整这条线索。

46
00:03:48.771 --> 00:03:52.632
下一页把实际改变的东西叫作模型参数。

47
00:03:53.232 --> 00:04:00.637
训练，是利用数据和学习算法调整模型参数，使它
更好完成目标任务的过程。

48
00:04:00.637 --> 00:04:09.130
看这页的三个步骤，先有数据与目标，再计算误差
并调整参数，最后得到训练后的模型。

49
00:04:09.130 --> 00:04:17.841
这里的误差可以理解为当前结果与训练目标之间的
差距，不必把它想成每次都由老师逐题批

50
00:04:17.841 --> 00:04:18.276
改。

51
00:04:18.276 --> 00:04:22.414
具体怎样比较和调整，要看所采用的方法。

52
00:04:22.414 --> 00:04:27.858
聊天时模型生成回答，通常是在使用已经训练好的
参数。

53
00:04:27.858 --> 00:04:36.569
你说这句话有错，请改一下，它可以根据当前对话
修改答案，但这与一次正式训练不是同一

54
00:04:36.569 --> 00:04:37.223
件事。

55
00:04:37.223 --> 00:04:44.191
先记住训练会调整内部参数，后面我们还会用推理
这个词描述实际使用。

56
00:04:44.791 --> 00:04:48.607
想学烹饪，可以先练切菜、控火和调味。

57
00:04:48.607 --> 00:04:54.332
有了这些基础，再学川菜或烘焙，会有可以利用的
已有能力。

58
00:04:54.332 --> 00:04:58.148
这里的先打基础，帮助我们理解预训练。

59
00:04:58.148 --> 00:05:04.720
所谓基础并不等于简单，一位厨师掌握的通用技巧
本身就可能很丰富。

60
00:05:04.720 --> 00:05:10.656
请检查这个比喻：会切菜，能不能保证第一次做任
何菜都成功？

61
00:05:10.656 --> 00:05:15.744
不能，新食材、新设备和具体配方仍然可能带来困
难。

62
00:05:15.744 --> 00:05:22.740
同样，模型学习了较广泛的模式，不表示覆盖所有
知识或能解决任何任务。

63
00:05:22.740 --> 00:05:31.220
接下来我们说明，预训练为什么能形成基础能力，
又为什么不能把它当作无所不知的保证。

64
00:05:31.820 --> 00:05:39.802
预训练，是模型在适应具体任务之前，通过较大范
围的数据学习基础模式的训练阶段。

65
00:05:39.802 --> 00:05:44.213
流程是广泛数据、基础训练，再适应具体任务。

66
00:05:44.213 --> 00:05:52.614
以语言为例，训练可以利用文本中的关系来学习语
言模式，并不意味着每一段文字都需要人

67
00:05:52.614 --> 00:05:54.714
工贴好一个答案标签。

68
00:05:54.714 --> 00:06:01.016
这一阶段可能形成很强的能力，所以基础这个词不
是能力弱的意思。

69
00:06:01.016 --> 00:06:09.417
但材料有范围，也有时间与质量限制，不能推导出
它知道所有事实，或者掌握了今天刚发布

70
00:06:09.417 --> 00:06:10.257
的信息。

71
00:06:10.257 --> 00:06:18.659
假如你要它解释一份刚修改的内部规定，更稳妥的
做法是提供当前规定，而不是只相信它接

72
00:06:18.659 --> 00:06:20.129
受过大量训练。

73
00:06:20.129 --> 00:06:26.010
广泛学习之后，还可以围绕特定用途继续训练，这
就引出微调。

74
00:06:26.610 --> 00:06:32.532
一位会做家常菜的厨师来到新餐厅，要学习这里的
出品风格。

75
00:06:32.532 --> 00:06:39.989
比如同一道菜希望少油，摆盘有统一要求，他需要
反复练习并调整原有做法。

76
00:06:39.989 --> 00:06:44.594
这个专项练习与今天给他一张菜单，是两件事。

77
00:06:44.594 --> 00:06:50.516
菜单告诉他这一次做什么，专项练习则试图改变以
后怎么做。

78
00:06:50.516 --> 00:06:59.069
请用这个区别想想，把一份写作范例放进聊天，让
AI照着写，是否就一定完成了微调？

79
00:06:59.069 --> 00:07:05.868
不是，当前材料可以影响这次回答，却不代表模型
内部参数因此改变。

80
00:07:05.868 --> 00:07:12.667
下一页会用是否继续训练、是否调整参数，给微调
划出更清楚的边界。

81
00:07:13.267 --> 00:07:20.274
微调，是在已有模型基础上继续训练，调整参数以
适应特定用途的方法。

82
00:07:20.274 --> 00:07:27.062
这页从已有模型出发，加入专项数据与继续训练，
得到调整后的模型。

83
00:07:27.062 --> 00:07:32.755
重点是训练过程真的发生了，而不是仅仅把要求写
得更长。

84
00:07:32.755 --> 00:07:37.134
微调不是把文件存进一个永远准确的资料柜。

85
00:07:37.134 --> 00:07:45.455
经常变化的产品价格或内部制度，可能更适合在使
用时检索最新材料，再提供给模型。

86
00:07:45.455 --> 00:07:48.959
具体选哪种办法，要看需求和条件。

87
00:07:48.959 --> 00:07:55.966
理解检查：给模型上传最新制度，它读完回答，就
能断定发生了微调吗？

88
00:07:55.966 --> 00:07:59.907
不能，上传材料可能只是加入当前任务。

89
00:08:00.507 --> 00:08:06.789
厨师已经练好了煎蛋，现在收到订单，按学到的方
法做出一份成品。

90
00:08:06.789 --> 00:08:12.861
这一次的目的，是服务眼前这位顾客，而不是专门
改变做菜方法。

91
00:08:12.861 --> 00:08:17.677
我们借这个场景理解训练之后实际使用模型的过程
。

92
00:08:17.677 --> 00:08:23.959
前面练习形成的能力参与了现在的处理，订单又规
定这一次要什么。

93
00:08:23.959 --> 00:08:30.868
假如顾客要求全熟，厨师会结合要求做这份蛋，不
必先重新学习整套烹饪。

94
00:08:30.868 --> 00:08:36.312
模型也是接收新的输入，利用训练得到的参数来计
算输出。

95
00:08:36.312 --> 00:08:44.060
下一页的术语推理，容易让人联想到逻辑证明，我
们要把技术含义与日常词义分开。

96
00:08:44.660 --> 00:08:52.894
机器学习里的推理，英文是inference，
指使用训练好的模型处理输入并产生输出

97
00:08:52.894 --> 00:08:53.100
。

98
00:08:53.100 --> 00:08:57.423
三个步骤是已有模型、接收新输入、计算输出。

99
00:08:57.423 --> 00:09:01.746
它不表示模型这一次一定进行了复杂逻辑推导。

100
00:09:01.746 --> 00:09:09.774
识别照片是不是苹果、生成一句问候、起草一段通
知，都可以属于这个技术意义的推理。

101
00:09:09.774 --> 00:09:18.009
对使用者而言，区分训练和推理有一个实用问题：
这一步是在调整模型参数，还是在用已有

102
00:09:18.009 --> 00:09:19.861
参数处理当前材料？

103
00:09:19.861 --> 00:09:22.126
普通聊天通常属于后者。

104
00:09:22.126 --> 00:09:28.301
多轮对话可以让答案随背景改变，但变化本身不是
重新训练的证据。

105
00:09:28.301 --> 00:09:32.830
接下来我们看，刚才反复提到的参数究竟是什么。

106
00:09:33.430 --> 00:09:37.229
看一套音响，调高低音，声音会更厚重；

107
00:09:37.229 --> 00:09:39.762
调整高音，听感又会变化。

108
00:09:39.762 --> 00:09:44.406
多个旋钮一起作用，最终效果由它们的组合决定。

109
00:09:44.406 --> 00:09:51.160
这个比喻帮助理解，模型内部有许多数值，共同影
响输入怎样变成输出。

110
00:09:51.160 --> 00:09:58.125
请想一想，能不能说一个旋钮专门存着一首歌，另
一个旋钮存着一句歌词？

111
00:09:58.125 --> 00:10:03.824
不能，旋钮影响处理方式，不是分别装着一段内容
的小抽屉。

112
00:10:03.824 --> 00:10:08.046
模型参数也不宜想成一个参数对应一个事实。

113
00:10:08.046 --> 00:10:12.056
我们只借用许多数值共同决定结果这一点。

114
00:10:12.056 --> 00:10:18.810
下一页正式解释参数，并说明为什么参数更多不等
于一切任务都更聪明。

115
00:10:19.410 --> 00:10:25.575
模型参数，是模型内部通过训练学习、用来影响计
算结果的数值。

116
00:10:25.575 --> 00:10:31.528
这页按时间展示初始内部数值、训练时更新、运行
时参与计算。

117
00:10:31.528 --> 00:10:39.181
你可以把它理解为训练改变的一部分内部设置，随
后模型用这些数值处理新输入。

118
00:10:39.181 --> 00:10:47.685
参数不是一个个独立事实，所以不能像翻通讯录那
样，找到某个参数就读出一个人的电话号

119
00:10:47.685 --> 00:10:48.110
码。

120
00:10:48.110 --> 00:10:56.613
参数数量也不能直接当成聪明程度，数据、模型结
构、训练方法以及要做的具体任务都会影

121
00:10:56.613 --> 00:10:57.464
响能力。

122
00:10:57.464 --> 00:11:02.353
请检查：这次回答比上次好，是否说明参数增加了
？

123
00:11:02.353 --> 00:11:07.243
不一定，可能只是提示更清楚、提供的背景更充分
。

124
00:11:07.243 --> 00:11:11.920
接下来我们看看这些数值所参与的一种计算结构。

125
00:11:12.520 --> 00:11:20.539
准备一次聚餐，有人洗菜，有人切菜，有人烹饪和
摆盘，前一步的结果会交给后一步。

126
00:11:20.539 --> 00:11:26.027
整个过程依靠多个环节连接，不能只看最后端出来
的盘子。

127
00:11:26.027 --> 00:11:32.358
这帮助我们想象，信息可以经过许多相连的计算单
元，再得到结果。

128
00:11:32.358 --> 00:11:39.955
理解检查：如果切菜的人处理错了食材，最后摆盘
漂亮，就能消除前面的影响吗？

129
00:11:39.955 --> 00:11:42.488
不一定，流程之间有依赖。

130
00:11:42.488 --> 00:11:50.930
不过，人工神经网络里的计算单元并不是会商量、
会负责的小人，也不一定对应洗菜切菜这

131
00:11:50.930 --> 00:11:52.407
样的明确岗位。

132
00:11:52.407 --> 00:11:57.261
我们只借助协作和传递，理解连接起来的计算结构
。

133
00:11:57.261 --> 00:12:00.427
下一页把这个结构称为神经网络。

134
00:12:01.027 --> 00:12:08.483
神经网络，是由相互连接的计算单元组成、能够通
过训练调整参数的模型结构。

135
00:12:08.483 --> 00:12:13.809
输入进入网络，经过连接的计算单元处理，再输出
结果。

136
00:12:13.809 --> 00:12:21.053
这里每个单元执行数学计算，连接及相关参数共同
影响信息怎样传递和变换。

137
00:12:21.053 --> 00:12:29.575
神经这个名称受到生物的启发，但人工神经网络不
是复制出来的人脑，图里的小圆点也没有

138
00:12:29.575 --> 00:12:31.919
想法、情绪或个人判断。

139
00:12:31.919 --> 00:12:40.441
上一课我们说深度学习使用多层神经网络，现在两
课就连起来了：网络描述结构，训练描述

140
00:12:40.441 --> 00:12:46.406
怎样调整其中的参数，推理描述怎样用训练后的网
络处理输入。

141
00:12:46.406 --> 00:12:54.715
把结构、学习和使用分开，就不会因为名字像人的
大脑，而误以为模型以人的方式思考。

142
00:12:55.315 --> 00:13:03.061
现在请想想，你在聊天里说刚才写错了，请修改，
这是否等于重新训练了模型？

143
00:13:03.061 --> 00:13:10.586
先想清楚，变化发生在当前回答，还是有证据显示
内部参数经过了训练更新。

144
00:13:10.586 --> 00:13:12.577
通常答案是否定的。

145
00:13:12.577 --> 00:13:19.881
模型可以参考你的纠正，把这轮对话当成上下文，
重新生成更合适的内容。

146
00:13:19.881 --> 00:13:25.856
这个过程通常是运行已有模型，不是当场完成一次
重新训练。

147
00:13:25.856 --> 00:13:34.709
即使下次还记得某个偏好，也可能是应用保存了信
息，再提供给模型，不能只凭记得就认定

148
00:13:34.709 --> 00:13:35.815
参数变化。

149
00:13:35.815 --> 00:13:43.561
至于产品是否另有数据使用安排，需要看具体说明
，不能从一次聊天表现推断。

150
00:13:43.561 --> 00:13:51.750
你可以用厨师的例子复述：今天修改订单，与安排
一段专项训练，是两个不同过程。

151
00:13:59.750 --> 00:14:08.272
回顾这一课，数据集提供学习和评估的材料，材料
要看质量与覆盖范围，不能只数多少。

152
00:14:08.272 --> 00:14:12.204
训练利用数据和算法调整模型内部参数；

153
00:14:12.204 --> 00:14:19.633
预训练学习较广泛的基础模式，微调在已有模型上
继续训练，适应特定用途。

154
00:14:19.633 --> 00:14:27.499
推理在技术语境中指运行训练好的模型，简单问候
也算，不必包含复杂逻辑推导。

155
00:14:27.499 --> 00:14:33.617
参数是参与计算的数值，神经网络是连接计算单元
的一种结构。

156
00:14:33.617 --> 00:14:42.357
现在请用一句话检查自己：模型这次回答改变了，
可能因为输入和上下文改变，不能直接说

157
00:14:42.357 --> 00:14:43.887
它重新训练了。

158
00:14:43.887 --> 00:14:51.753
今后遇到模型会学习这样的宣传，先问说的是哪个
过程，就更容易理解真实能力。

159
00:14:51.753 --> 00:14:59.400
下一课回到购物清单和奶茶店，看看怎样把要求、
材料和前后关系交代给AI。