WEBVTT

1
00:00:00.000 --> 00:00:05.074
大家好，欢迎来到第四课，AI怎样看图、听声音
。

2
00:00:05.074 --> 00:00:09.928
假设你旅行时拍下一张菜单，想知道哪道菜不辣；

3
00:00:09.928 --> 00:00:14.120
或者开完会，想把录音变成一份待办清单。

4
00:00:14.120 --> 00:00:21.621
这两个需求看起来都可以直接交给AI，可是它们
中间经过的环节并不一样。

5
00:00:21.621 --> 00:00:30.446
照片里有什么，字写的是什么，这句话是什么意思
，最后应该怎样整理，这是不同的问题。

6
00:00:30.446 --> 00:00:34.859
今天我们沿着这些问题，认识四个常见概念。

7
00:00:34.859 --> 00:00:43.684
你不需要背英文全称，只要能说清楚每个概念负责
哪一步，出现错误时，就更容易知道该检

8
00:00:43.684 --> 00:00:44.566
查哪里。

9
00:00:44.566 --> 00:00:50.964
我们也会练习把任务拆小：先确认输入内容，再要
求解释和总结。

10
00:00:50.964 --> 00:00:59.569
这样做不是为了增加操作，而是为了避免一个小小
的识别错误，被后面的流畅回答放大。

11
00:00:59.569 --> 00:01:07.732
课程结束后，你可以用一张公开通知或一小段允许
录制的语音，亲手检查这条过程。

12
00:01:08.332 --> 00:01:10.743
这一课有两个学习目标。

13
00:01:10.743 --> 00:01:15.346
第一，认识文字、图像与声音分别可以做什么。

14
00:01:15.346 --> 00:01:19.292
第二，分清识别内容和理解、总结内容。

15
00:01:19.292 --> 00:01:28.060
比如，一张通知照片上写着周五下午三点，系统把
这些字转换成可以复制的文本，这是识别

16
00:01:28.060 --> 00:01:28.280
；

17
00:01:28.280 --> 00:01:33.540
再从通知中提取活动时间和报名条件，这是语言处
理；

18
00:01:33.540 --> 00:01:39.678
根据这些条件判断你是否需要报名，又涉及对具体
情境的解释。

19
00:01:39.678 --> 00:01:43.843
前一步正确，并不能保证后一步一定正确。

20
00:01:43.843 --> 00:01:50.200
反过来，后面的解释听起来合理，也不能证明前面
的字都读对了。

21
00:01:50.200 --> 00:01:58.968
屏幕上的多模态、自然语言处理、文字识别、语音
识别，就是这条学习路线上的四个路标。

22
00:01:58.968 --> 00:02:07.736
现在可以先记住一个检查方法：当AI给出结果时
，问自己，原材料是什么，系统把它变成

23
00:02:07.736 --> 00:02:10.586
了什么，我还需要核对什么。

24
00:02:10.586 --> 00:02:17.162
接下来我们先到餐厅，看看不同形式的信息怎样共
同参与一个决定。

25
00:02:17.762 --> 00:02:26.802
你走进一家餐厅，菜单文字写着招牌牛肉，旁边照
片里有红色的配菜，服务员又说，这道菜

26
00:02:26.802 --> 00:02:28.384
可以少放辣椒。

27
00:02:28.384 --> 00:02:34.486
文字告诉你名称，照片提供外观线索，声音补充了
做法信息。

28
00:02:34.486 --> 00:02:38.554
三种信息互相帮助，但也可能发生冲突。

29
00:02:38.554 --> 00:02:41.040
照片红，不一定代表辣；

30
00:02:41.040 --> 00:02:45.108
菜单没写花生，也不表示一定没有花生。

31
00:02:45.108 --> 00:02:54.148
假如把菜单照片交给AI，再输入一句，请找出标
注为素食的菜，它就需要把图像信息和你

32
00:02:54.148 --> 00:02:56.408
的文字要求联系起来。

33
00:02:56.408 --> 00:03:05.222
这里的关键不是看到一张图就能知道全部事实，而
是不同形式的信息可以一起参与处理。

34
00:03:05.222 --> 00:03:11.550
做个小判断：仅凭菜品照片，能否确认这道菜不含
某种过敏原？

35
00:03:11.550 --> 00:03:18.782
答案是不能，照片通常不能提供完整配料和加工信
息，需要向餐厅确认。

36
00:03:18.782 --> 00:03:24.884
这个例子提醒我们，输入形式增加了，证据的边界
仍然存在。

37
00:03:24.884 --> 00:03:28.952
下面给这种处理方式一个名字，多模态。

38
00:03:29.552 --> 00:03:34.862
多模态，是AI处理多种形式信息的能力或设计方
式。

39
00:03:34.862 --> 00:03:41.277
模态可以简单理解为信息的形式，例如文字、图片
、声音或视频。

40
00:03:41.277 --> 00:03:45.481
你上传图片并用文字提问，就是一种组合。

41
00:03:45.481 --> 00:03:54.329
但支持多模态，不等于每次都要把所有形式放进去
，也不等于一个应用同时支持所有输入和

42
00:03:54.329 --> 00:03:54.993
输出。

43
00:03:54.993 --> 00:03:58.533
有的可以接收图片，却只输出文字；

44
00:03:58.533 --> 00:04:01.630
具体范围要看所用模型和应用。

45
00:04:01.630 --> 00:04:10.479
我们可以把菜单任务说得更清楚：请先读出这张照
片里能看清的菜名和价格，再根据菜单上

46
00:04:10.479 --> 00:04:13.355
的辣椒标记列出可能辣的菜；

47
00:04:13.355 --> 00:04:15.567
看不清的地方请说明。

48
00:04:15.567 --> 00:04:19.549
这样就把直接观察和进一步判断分开了。

49
00:04:19.549 --> 00:04:28.398
练习时，可以故意选一张边缘稍微模糊的公开菜单
，检查AI有没有把猜测当成确定信息。

50
00:04:28.398 --> 00:04:37.026
若价格小数点看不清，正确做法是重新拍摄或人工
放大核对，不能因为回答完整就接受。

51
00:04:37.026 --> 00:04:44.547
多模态扩展了可处理的材料，却不会自动消除模糊
、遮挡和细节判断的困难。

52
00:04:44.547 --> 00:04:49.857
接下来，我们把目光从照片转回每天都在使用的语
言。

53
00:04:50.457 --> 00:04:55.124
朋友发来消息，今天路上太堵，我晚十分钟到。

54
00:04:55.124 --> 00:05:01.347
你会抓住迟到和十分钟，也会把它和原来约定的时
间联系起来。

55
00:05:01.347 --> 00:05:07.347
如果你们约的是下午两点，通常可以理解成大约两
点十分到；

56
00:05:07.347 --> 00:05:13.126
但如果没有给出原定时间，就不能凭这句话算出具
体几点。

57
00:05:13.126 --> 00:05:22.016
这就是语言处理里很重要的区别：哪些信息来自原
文，哪些来自上下文，哪些根本没有提供

58
00:05:22.016 --> 00:05:22.238
。

59
00:05:22.238 --> 00:05:31.128
假如请AI把这条消息整理成日程提醒，可以要求
它先提取事件和时间变化，缺失的具体时

60
00:05:31.128 --> 00:05:32.683
间写成未提供。

61
00:05:32.683 --> 00:05:36.017
再看一句话，我可真喜欢堵车啊。

62
00:05:36.017 --> 00:05:39.573
字面上有喜欢，实际可能是在抱怨；

63
00:05:39.573 --> 00:05:43.351
没有语气和背景，判断就不一定可靠。

64
00:05:43.351 --> 00:05:50.908
小练习是问自己，这两句话中的十分钟和喜欢，能
否用同样简单的方式理解？

65
00:05:50.908 --> 00:05:56.464
答案是不能，数字可以直接提取，态度却可能依赖
语境。

66
00:05:56.464 --> 00:06:02.465
让计算机处理这些日常语言的技术领域，就叫自然
语言处理。

67
00:06:03.065 --> 00:06:11.788
自然语言处理，常缩写为NLP，是让计算机分析
、理解和生成日常人类语言的技术领域。

68
00:06:11.788 --> 00:06:19.203
这里的理解，通常指系统能完成某类语言任务，不
表示它拥有人的生活体验。

69
00:06:19.203 --> 00:06:27.926
任务可以是把消息分成咨询和投诉，提取通知里的
时间地点，进行翻译，或者整理一段文字

70
00:06:27.926 --> 00:06:29.235
的主要内容。

71
00:06:29.235 --> 00:06:37.958
大语言模型是完成许多语言任务的一种方法，自然
语言处理的范围更广，并不是所有语言处

72
00:06:37.958 --> 00:06:40.357
理系统都是大语言模型。

73
00:06:40.357 --> 00:06:42.756
我们来做一个具体练习。

74
00:06:42.756 --> 00:06:49.953
原文是，周六上午九点在社区图书室举办旧书交换
，参加者请自带两本书。

75
00:06:49.953 --> 00:06:53.006
要求提取时间、地点和联系人。

76
00:06:53.006 --> 00:06:58.894
时间是周六上午九点，地点是社区图书室，联系人
没有提供。

77
00:06:58.894 --> 00:07:04.564
即使系统觉得活动通常有负责人，也不应该编出一
个姓名。

78
00:07:04.564 --> 00:07:10.234
再进一步，周六是哪一天，还需要通知的发布日期
等背景。

79
00:07:10.234 --> 00:07:15.905
这个练习的价值，在于让我们看见提取与补全之间
的界线。

80
00:07:15.905 --> 00:07:24.628
下一步，如果通知不是一段可复制的文字，而是一
张照片，系统首先还要解决从图像中取出

81
00:07:24.628 --> 00:07:25.936
文字的问题。

82
00:07:26.536 --> 00:07:32.484
你在社区公告栏拍下一张通知，回家想把地址复制
到导航里。

83
00:07:32.484 --> 00:07:37.330
对人来说，可以一边看照片，一边把字敲进手机。

84
00:07:37.330 --> 00:07:41.956
对系统来说，也需要从照片中的字形得到文本。

85
00:07:41.956 --> 00:07:47.683
这一步关注的是写了什么，暂时还不是通知是否适
用于你。

86
00:07:47.683 --> 00:07:56.494
比如纸上写着报名截止日期为十月十八日，如果把
十八识别成十六，后面的提醒即使写得再

87
00:07:56.494 --> 00:07:59.358
体贴，也建立在错误日期上。

88
00:07:59.358 --> 00:08:08.169
又比如表格里左边是项目，右边是金额，把相邻两
行错配，单个数字可能都认识，整体关系

89
00:08:08.169 --> 00:08:09.050
却错了。

90
00:08:09.050 --> 00:08:12.574
试着想一想，拍照时什么最有帮助？

91
00:08:12.574 --> 00:08:20.504
让文字清晰、页面尽量平整、避开反光和遮挡，通
常比反复要求系统更认真有效。

92
00:08:20.504 --> 00:08:29.095
若原图中某个字本来就看不清，合理的结果应该保
留不确定，而不是补出一个顺口的词。

93
00:08:29.095 --> 00:08:33.721
接下来我们就给这种从图像取文字的技术命名。

94
00:08:34.321 --> 00:08:41.097
文字识别常写作OCR，是从图像中识别文字并转
换为文本的技术。

95
00:08:41.097 --> 00:08:48.325
输入可以是照片、扫描件或截图，输出是便于编辑
、搜索和复制的文字。

96
00:08:48.325 --> 00:08:55.552
处理文档时，它还可能和版面识别配合，保留标题
、段落或表格的关系。

97
00:08:55.552 --> 00:08:59.392
但识别出字，不等于已经理解了内容。

98
00:08:59.392 --> 00:09:05.039
把缴费日期抄出来，与判断你是否应缴费，是两项
任务。

99
00:09:05.039 --> 00:09:14.073
实际使用时，我们可以先要求，逐行提取这张公开
通知的文字，看不清的地方标明不确定，

100
00:09:14.073 --> 00:09:15.202
不要补全。

101
00:09:15.202 --> 00:09:23.334
拿到结果后，重点核对日期、金额、人名、单位以
及不、未、免等改变含义的字。

102
00:09:23.334 --> 00:09:32.368
假设原图金额是八十点五零，结果却成了八百五十
，省掉一个点就改变了数额，不能只看句

103
00:09:32.368 --> 00:09:33.723
子通不通顺。

104
00:09:33.723 --> 00:09:38.466
复杂表格还要检查数字属于哪一行、哪个栏目。

105
00:09:38.466 --> 00:09:41.629
核对后的文本才适合继续总结。

106
00:09:41.629 --> 00:09:46.372
遇到手写字或模糊小字时，人工确认仍然重要。

107
00:09:46.372 --> 00:09:52.470
了解了图像到文字，我们再看另一条常见路线，声
音到文字。

108
00:09:53.070 --> 00:09:56.635
会议里有人说，明天上午十点开会。

109
00:09:56.635 --> 00:10:03.989
你把这句话写下来，原先稍纵即逝的声音就变成了
可搜索、可整理的文字。

110
00:10:03.989 --> 00:10:09.782
这个转换非常有用，但耳朵听到的内容并不总是清
清楚楚。

111
00:10:09.782 --> 00:10:18.696
有人离麦克风远，有人同时插话，还有人会在一句
话中改变主意，比如先说十点，接着说不

112
00:10:18.696 --> 00:10:20.478
对，改成十点半。

113
00:10:20.478 --> 00:10:26.272
假如只记录到前半句，文字看起来完整，实际安排
却不对。

114
00:10:26.272 --> 00:10:34.294
我们做个小练习：听到先不要提交，等确认以后再
交，整理成现在提交，可以吗？

115
00:10:34.294 --> 00:10:38.528
当然不可以，否定词和条件正是关键内容。

116
00:10:38.528 --> 00:10:46.773
录音还涉及场景许可和他人信息，练习时应使用允
许录制、不含敏感内容的短语音。

117
00:10:46.773 --> 00:10:54.794
你可以自己读一句包含日期、数字和否定词的话，
再对照转写，观察究竟错在哪。

118
00:10:54.794 --> 00:11:02.148
这个过程不要求专业设备，却能直观说明为什么录
下来和记准确是两件事。

119
00:11:02.748 --> 00:11:09.935
语音识别，是将人类说话的声音转换为文字的技术
，常见缩写是ASR。

120
00:11:09.935 --> 00:11:12.630
它负责声音到文本的转换。

121
00:11:12.630 --> 00:11:21.615
会议工具里看到的区分说话人、总结重点、提取待
办，可能是另外的处理环节，不能因为工

122
00:11:21.615 --> 00:11:26.331
具提供了转写，就默认这些任务全部准确完成。

123
00:11:26.331 --> 00:11:32.171
口音、噪声、多人同时讲话和专业术语，都可能影
响识别。

124
00:11:32.171 --> 00:11:40.481
使用会议录音时，可以先检查涉及人名、数字、日
期和否定词的句子，再整理结论。

125
00:11:40.481 --> 00:11:43.850
尤其要区分建议、决定和待确认。

126
00:11:43.850 --> 00:11:50.139
比如有人说，要不下周上线试试，并不等于会议决
定下周上线；

127
00:11:50.139 --> 00:11:54.856
有人说我回去问一下，也不等于已经获得批准。

128
00:11:54.856 --> 00:12:02.717
转写错误可以回听原音纠正，整理错误则要对照上
下文，必要时向参会者确认。

129
00:12:02.717 --> 00:12:08.781
一个实用请求是，请列出明确决定和待办，并保留
相关原句；

130
00:12:08.781 --> 00:12:12.599
没有明确负责人的事项不要自行分配。

131
00:12:12.599 --> 00:12:15.744
这样可以让你更容易检查依据。

132
00:12:15.744 --> 00:12:21.583
下面的问题，会把识别和总结这两个环节放在一起
考一考。

133
00:12:22.183 --> 00:12:29.007
现在请想一想，把录音转成文字，是否就已经得到
了准确的会议纪要？

134
00:12:29.007 --> 00:12:35.830
你可以先在心里组织两三句话，也可以暂停，用自
己的话解释为什么。

135
00:12:35.830 --> 00:12:38.031
参考答案是，还没有。

136
00:12:38.031 --> 00:12:46.836
转写只是把声音转成文本，既可能出现听错，也没
有自动完成对讨论、决定和待办的区分。

137
00:12:46.836 --> 00:12:51.238
假设原话是，小王先不要采购，等报价确认。

138
00:12:51.238 --> 00:12:56.520
如果转写漏掉不要，总结就可能变成让小王立即采
购。

139
00:12:56.520 --> 00:13:03.784
即使这句话一个字也没错，整理时遗漏等报价确认
，仍然会改变执行条件。

140
00:13:03.784 --> 00:13:10.167
因此要先检查关键转写，再检查总结有没有忠实保
留条件和状态。

141
00:13:10.167 --> 00:13:15.890
对于拿不准的内容，回听对应录音，必要时让相关
人确认。

142
00:13:15.890 --> 00:13:20.072
你若回答了要核对文字，就抓住了第一层；

143
00:13:20.072 --> 00:13:26.675
若还能补上区分建议与决定、确认负责人和时间，
就抓住了第二层。

144
00:13:26.675 --> 00:13:35.480
我们的目的不是得到一份看起来像纪要的文本，而
是让它准确反映这次会议真正说清楚的事

145
00:13:35.480 --> 00:13:35.920
情。

146
00:13:43.920 --> 00:13:45.912
这一课记住四句话。

147
00:13:45.912 --> 00:13:52.553
多模态让系统处理多种形式的信息，但支持哪些形
式需要具体确认。

148
00:13:52.553 --> 00:14:01.406
自然语言处理覆盖提取、分类、翻译、总结和生成
等语言任务，大语言模型是其中一种方法

149
00:14:01.406 --> 00:14:01.628
。

150
00:14:01.628 --> 00:14:10.482
OCR把图片里的文字转换成文本，语音识别把讲
话转换成文本，而文本仍然需要核对和整

151
00:14:10.482 --> 00:14:10.925
理。

152
00:14:10.925 --> 00:14:17.122
把它们串起来看，一张通知可以先提取文字，再整
理时间地点；

153
00:14:17.122 --> 00:14:21.771
一段会议录音可以先转写，再归纳决定和待办。

154
00:14:21.771 --> 00:14:24.870
每一环节都有自己的错误可能。

155
00:14:24.870 --> 00:14:33.723
今天的课后练习很小：选择一张不含个人信息的公
开通知，先让AI抄文字，检查日期和数

156
00:14:33.723 --> 00:14:39.479
字，再请它提取信息，看看有没有补上原文没有说
的内容。

157
00:14:39.479 --> 00:14:48.333
你能指出哪一步是识别、哪一步是语言处理，并说
明为什么需要人工核对，就已经掌握了本

158
00:14:48.333 --> 00:14:49.218
课重点。

159
00:14:49.218 --> 00:14:58.072
下一课，我们会用资料柜和开卷考试，理解知识库
与检索增强生成，看看AI怎样找到可以

160
00:14:58.072 --> 00:14:59.400
参考的资料。