什么是过拟合？

过拟合是指模型在训练数据上表现良好，但在实际数据上表现不佳的现象，通常由于模型过于复杂导致的.

如何避免数学模型的过拟合？

可以通过正则化等方法，限制模型的复杂度，使其更简单和通用.

为什么简单的理论模型更接近真相？

更简单的模型通常假设更少，容易避开复杂性带来的噪声，因此更可能接近真实现象.

找规律题目是否有确定的答案？

通常找规律题目没有唯一的答案，答案的合理性依赖出题人的定义与想法.

如何理解模型的复杂度？

模型的复杂度是指它所能表示的函数的复杂程度，更高的复杂度并不必然意味着更好的预测.

什么是奥卡姆剃刀原理？

奥卡姆剃刀原理提到，在有多个理论解释同一现象时，应该选择假设少且简单的那个.

如何通过数据学习规律？

通过分析已知数据点，建立模型以预测未知数据的值.

复杂模型是否能成功预测未来？

复杂模型可能在历史数据上表现很好，但通常不能有效预测未来，因为它们容易受到噪声影响.

可以用什么方法提高简单模型的准确度？

通过收集更多数据和增加模型的多样性来提高模型的适用性.

【漫士】为什么做的题越多，考试反而越差？

00:14:53

https://www.youtube.com/watch?v=bZeL1IDM4PM

Zusammenfassung

TLDR本视频探讨了寻找数字规律题目的本质，认为这些题目实际上不是真正的数学问题，而是对出题人意图的揣摩。通过介绍正则化的概念，阐释了复杂度对模型预测的影响，强调了理解和应对过拟合的重要性。同时提到奥卡姆剃刀原理，指出在面对多个解释时，应优先选择简单的模型。用实际例子说明过拟合与欠拟合的相对关系，从而展示理论与生活中的深刻连接，鼓励观众接受误差以寻求真理。

Mitbringsel

🧠 理论模型应简单，不必追求复杂性
🔍 找规律题目的答案依赖出题人意图
📉 过拟合指模型对历史数据过分依赖
📈 欠拟合是指模型过于简单，无法捕捉规律
⚖️ 理想的模型应在复杂性与准确性之间平衡
👏 奥卡姆剃刀原则支持选择简单假设
🔎 鼓励接受理论中的误差，以接近真理
📊 数据具有随机性，不能过于精确拟合
🚀 机器学习中正则化帮助避免过拟合
📝 刷题模式容易导致思维定式

Zeitleiste

00:00:00 - 00:05:00
第一段讨论了找规律题目的本质，强调这种题目更多是心理题而非数学题，解答的关键在于揣摩出题人的意图，而非数学思维。文中提到了过拟合的概念，表明解题者过于关注特定类型的题目而忽视了更广泛的理解和思考方式，这往往导致考试成绩的反效果。
00:05:00 - 00:14:53
第二段引入机器学习中的正则化概念，指出过拟合的问题不仅存在于数学题中，也体现在我们的思维与学习方式上。通过简单的解释和理论选择，可以更接近真相。历史上的许多理论经历了由复杂到简单的演变，最终趋向于更简单有效的解释。这一过程揭示了人类对于观察、学习与认知的深层哲学，强调了必要的误差和复杂性并非错误，而是接近真理的必要代价。

Mind Map

Video-Fragen und Antworten

什么是过拟合？
过拟合是指模型在训练数据上表现良好，但在实际数据上表现不佳的现象，通常由于模型过于复杂导致的.
如何避免数学模型的过拟合？
可以通过正则化等方法，限制模型的复杂度，使其更简单和通用.
为什么简单的理论模型更接近真相？
更简单的模型通常假设更少，容易避开复杂性带来的噪声，因此更可能接近真实现象.
找规律题目是否有确定的答案？
通常找规律题目没有唯一的答案，答案的合理性依赖出题人的定义与想法.
如何理解模型的复杂度？
模型的复杂度是指它所能表示的函数的复杂程度，更高的复杂度并不必然意味着更好的预测.
什么是奥卡姆剃刀原理？
奥卡姆剃刀原理提到，在有多个理论解释同一现象时，应该选择假设少且简单的那个.
如何通过数据学习规律？
通过分析已知数据点，建立模型以预测未知数据的值.
复杂模型是否能成功预测未来？
复杂模型可能在历史数据上表现很好，但通常不能有效预测未来，因为它们容易受到噪声影响.
可以用什么方法提高简单模型的准确度？
通过收集更多数据和增加模型的多样性来提高模型的适用性.

Weitere Video-Zusammenfassungen anzeigen

Erhalten Sie sofortigen Zugang zu kostenlosen YouTube-Videozusammenfassungen, die von AI unterstützt werden!

Untertitel

Automatisches Blättern:

00:09:24
因此从数学的本质上来说
00:09:27
找规律这种题目
00:09:28
其实根本不是良定义的
00:09:30
我总可以在后面填任何一个数字
00:09:33
然后构造出一个函数
00:09:34
使得填入的数字满足这个函数的规律
00:09:38
所以要使得答案具有唯一性
00:09:40
出题者应该明确定义
00:09:41
所有函数的复杂程度
00:09:43
然后才能唯一定义
00:09:45
答案是所有满足条件的函数中
00:09:47
复杂度最低最简单的那个
00:09:50
可是怎么定义这个复杂程度呢
00:09:52
答案是没有统一绝对的定义
00:09:54
只能看出题人的心思
00:09:56
他觉得什么是合理的自然的
00:09:58
那就是对的
00:09:59
这道题
00:09:59
出题人就觉得质数出现的很自然
00:10:02
这就是他觉得对的答案
00:10:04
虽然在我看来
00:10:04
质数冒出来的非常没有道理
00:10:07
因此从本质意义上
00:10:08
这种数字找规律题根本不是数学题
00:10:11
而是心理题
00:10:13
其核心是揣摩出题人的意图
00:10:16
你也因此不难理解
00:10:17
为什么他经常出现在某些考试中
00:10:19
因为那些岗位
00:10:20
确实最需要的能力就是这个
00:10:23
只不过
00:10:24
它并不是题目所宣称的数学思维
00:10:27
或者逻辑推理能力罢了
00:10:29
既然过拟合出现的核心原因是
00:10:31
只注重预测误差
00:10:33
而忽略了假设模型的复杂程度
00:10:35
那么是不是
00:10:36
只要让算法更偏爱简单的解释
00:10:39
就好了呢
00:10:40
非常对，你已经领悟了一个重要的
00:10:43
机器学习的方法
00:10:44
正则化regularization
00:10:46
顾名思义
00:10:47
就是让模型变得更regular简单普通
00:10:51
例如在11次多项式这里
00:10:52
我们可以要求所有系数的平方和
00:10:55
都不能超过一个上限c
00:10:57
也就是说
00:10:58
要求这个多项式的系数要简单一些
00:11:01
接着我们把这个c往下压
00:11:02
你就能看到
00:11:03
随着c的减小
00:11:04
这个函数的眼神变得越来越清澈
00:11:07
波浪形状的规律也越来越合理
00:11:10
当然呢你也不能过犹不及
00:11:12
如果c压的太小
00:11:14
那么这个函数
00:11:15
就失去了捕捉这个数据规律的能力
00:11:18
这个时候变成了平平的一条线
00:11:20
就叫做欠拟合了
00:11:22
从这个角度
00:11:23
你也能理解
00:11:24
另一个哲学和逻辑学上著名的原则
00:11:27
奥卡姆剃刀
00:11:28
原理，如无必要勿增实体
00:11:31
当有多个不同的理论
00:11:33
能解释同一个现象时
00:11:35
我们应该选择假设最少最简单的那个
00:11:38
因为往往更简单的那个
00:11:40
会更接近于真相
00:11:42
无独有我们的哲学里
00:11:43
也有大道至简这样的表述
00:11:46
可以说是不谋而合
00:11:47
历史上的例子很多了
00:11:49
比如说
00:11:49
同样是解释天空中星宿的运转
00:11:52
地心说假设了十几个本轮
00:11:55
均轮等等圆上加圆的概念
00:11:57
而日心说
00:11:58
则简单地通过调换运转的中心
00:12:01
近乎完美地解释了这一切
00:12:03
而历史的确证明
00:12:04
更为简洁的日心说
00:12:06
更接近于宇宙的真相
00:12:09
所以最后说回到标题和开头
00:12:11
为什么很多人刷题刷的太多
00:12:13
反而考试考的很差呢
00:12:15
本质上就是他们的解题思维严重
00:12:18
过拟合到了练习题和模拟题上
00:12:21
过拟合说白了呀
00:12:22
就是过分的穿凿
00:12:24
看到一点点相关类似的细节
00:12:27
就脑补了很多复杂的逻辑
00:12:29
使用一套非常复杂的方法
00:12:31
来解决问题和给出答案
00:12:34
这就导致他们在过分的追求
00:12:36
把练习题和模拟题都做全对
00:12:39
在这个硬钻牛角尖的过程当中啊
00:12:41
把很多练习题里不严谨
00:12:44
不合理的那些部分
00:12:45
都当成了
00:12:46
自己解题思维不可分割的一块
00:12:48
这样反而使得他们走火入魔
00:12:52
在现实生活中
00:12:53
也有很多生动的过拟合的例子
00:12:55
比如说星座
00:12:56
你看到那几个点的连线
00:12:57
就脑补出大量复杂的细节
00:12:59
这就是标准的过拟合
00:13:02
再比如说啊
00:13:02
大家喜欢玩这个ikun的梗
00:13:05
看了太多鸽鸽的抽象图片
00:13:07
于是呢你就算看到这么几个点
00:13:13
啊这样两条线或者这个还
00:13:16
有那个脑海里就会开始放BGM了
00:13:19
这本质上其实也是一种过拟合
00:13:21
再比如
00:13:22
我们的视觉系统对于人脸也有过拟合
00:13:25
只要看到的特征稍微有那么些相似
00:13:28
你的大脑就会因为过拟合
00:13:30
强烈的认为这有这是一张脸
00:13:32
有人脸的特征
00:13:34
总而言之
00:13:35
深刻理解了过拟合
00:13:37
在追求理解世界的道路上
00:13:38
你就拥有了一种重要的警惕和张力
00:13:42
不应该苛求完美的解释
00:13:44
所有的数据和历史
00:13:46
因为历史和经验
00:13:47
就是包含了巨大的随机性
00:13:49
如果特朗普没有在那一刻转过头
00:13:52
今天的美国总统和世界局势
00:13:54
可能完全不同
00:13:55
而这是纯粹的随机事件
00:13:58
因此千万不要追求那种所谓的
00:14:01
什么一切都是历史的必然
00:14:03
这样的说法
00:14:04
用一套看似言之凿凿的理论
00:14:06
精准的解释过去的一切
00:14:09
这就像某些人自以为是
00:14:10
自以为理解一切
00:14:12
说一切都在自己的解释之中
00:14:14
的油腻中年人一样
00:14:15
其实都是在用一套过拟合的函数
00:14:18
马后炮的解释过去的数据点而已
00:14:20
而你一旦将这套理论用于预测未来
00:14:23
往往都错得离谱
00:14:25
学而不思
00:14:26
则欠拟合
00:14:27
思而不学
00:14:27
则过拟合
00:14:28
不要迷恋于过分复杂精巧的理论模型
00:14:32
不要苛求完美的解释一切
00:14:34
允许你的理论有些误差
00:14:36
反而是通往真理必要的代价
00:14:39
以上就是这期视频的全部内容
00:14:41
如果你觉得有启发
00:14:43
千万记得点赞关注
00:14:44
不迷路，我是漫士
00:14:46
一名毕业于清华姚班的
00:14:47
人工智能博士生
00:14:48
漫士沉思录
00:14:49
学海引路不辛苦
00:14:50
我们下期再会
00:00:07
你有没有过这样的体验
00:00:08
为了准备考试刷题
00:00:10
刚开始效果很好
00:00:11
可随着题刷的越来越多
00:00:13
考试成绩反而越来越差呢
00:00:15
其实你可能没有意识到
00:00:17
这是一个极为深刻的哲学概念
00:00:19
过拟合，他向我们揭示了
00:00:22
为什么一个完美解释数据的理论
00:00:24
反而毫无用处
00:00:26
理解过拟合
00:00:28
不仅能避免刷题走火入魔
00:00:30
同时能领悟很多深刻的人生哲理
00:00:32
比如为什么这种找规律的题目
00:00:35
在数学本质上没有什么意义
00:00:37
为什么我们常说大道至简
00:00:39
应该选择所有解释当中
00:00:41
最简单的那一个
00:00:43
点赞收藏
00:00:43
跟我一起踏上这趟奇妙的思维之旅
00:00:51
让我们从这幅图说起
00:00:53
假设我们零散的收集了某地
00:00:55
一年不同日期的平均气温
00:00:57
得到了一些数据点
00:00:59
现在我们想要一个模型
00:01:00
可以根据这些数据
00:01:02
理解一年当中温度变化的底层规律
00:01:05
从而对于没有收集数据的日期
00:01:07
也能知道温度大概的范围
00:01:10
该怎么建立起一个预测未来的模型呢
00:01:13
其实我们初中就学过了
00:01:15
那就是最小二乘法
00:01:16
我们可以用一次函数的直线
00:01:19
去刻画输入和输出之间的函数规律
00:01:22
他在每一个有数据记录的时间
00:01:24
都会给出一个温度的预测
00:01:26
这个预测和实际数
00:01:27
据有所偏差
00:01:28
我们呢找到所有的偏差平方和
00:01:31
最小的一条直线就是最小二乘的解了
00:01:35
用平方和而不用直接加和
00:01:37
是为了避免偏差正负抵消
00:01:39
我们可以看看最后的这根直线和
00:01:41
这些点你觉得它描绘的规律对吗
00:01:44
好像不太对
00:01:46
这些点明显有春夏秋冬的起伏
00:01:48
不应该是这样的一根直线
00:01:51
没关系
00:01:51
我们可以把模型弄得复杂一点
00:01:53
比如三次多项式
00:01:55
设出这个三次多项式的系数
00:01:58
我们就可以解除这个优化问题的解
00:02:01
找到一个所有预测误差
00:02:03
最好的一根曲线
00:02:05
我们来画出图看看
00:02:07
确实挺不错的
00:02:08
他基本描绘了
00:02:09
这个波浪的春夏秋冬的规律
00:02:12
我们还可以把次数加的更高一些
00:02:15
比如说四次五次六次等等
00:02:18
随着多项式次数的增加
00:02:20
我们用来表达数据规律的这个模型
00:02:23
就越来越复杂
00:02:24
你也可以看到
00:02:25
这根曲线和数据点越来越贴合
00:02:27
总偏差越来越小
00:02:29
可是次数增加到11次的时候
00:02:32
诡异的事情发生了
00:02:33
这个11次函数
00:02:34
完美通过了所有的数据点
00:02:37
也就是说偏差为0
00:02:38
完美无缺
00:02:40
然而这根完美的曲线却扭曲不堪
00:02:43
完全失去了简洁优美的波浪
00:02:45
函数的形状
00:02:47
实际上严重偏离了真实的底层规律
00:02:50
这种神秘的现象就是过拟合
00:02:53
他深刻的揭示了一个道理
00:02:54
当模型变得越来越复杂时
00:02:57
对以往经验的数据点
00:02:59
解释会越来越准确
00:03:01
可是一旦复杂度超过了某个限度
00:03:04
就会适得其反
00:03:06
你在训练数据上解释的越准
00:03:08
那么实际的偏差却错得越离谱
00:03:12
其实这个曲线拟合
00:03:13
可不仅仅是一个数学游戏
00:03:15
它有着深刻的哲学意义
00:03:18
是各种智能形成的缩影
00:03:20
你想想看
00:03:21
无论是小孩子认识动物
00:03:23
还是学生通过刷题掌握知识点
00:03:25
又抑或是成年人通过人生阅历
00:03:28
理解社会
00:03:28
本质上都是这样一个过程
00:03:31
这些数据点代表已有的经验和情景
00:03:34
标志着在什么样的输入情况下
00:03:36
是什么输出
00:03:37
然后智能需要根据这些数据
00:03:39
理解底层的规律
00:03:41
再利用这个规律
00:03:42
对未知的情景准确预测出结果
00:03:46
所以过拟合在哲学上就意味着
00:03:49
假设有一个极其复杂精巧的理论
00:03:51
可以近乎完美地
00:03:53
精确解释一切过去发生的数据
00:03:56
那么
00:03:56
它极大概率却是一个错到离谱的理论
00:04:00
就像这根完美通过所有数据点
00:04:02
但极其扭曲的线一样
00:04:04
话说回来
00:04:05
为什么在次数等于11次的时候
00:04:07
突然出现了严重的过拟合呢
00:04:10
11有什么特殊的
00:04:11
答案是一年有12个月
00:04:13
这里有12个数据点
00:04:14
它们唯一确定了一个11次的多项式
00:04:17
函数，在数学里
00:04:18
两点确定一条直线
00:04:20
三个点确定二次抛物线
00:04:22
4个点确定一个三次多项式
00:04:23
等等所以
00:04:24
给定n+1个横坐标不同的点
00:04:27
就存在一个唯一的n次多项式
00:04:29
恰好通过它们
00:04:30
这就是数学里的拉格朗日多项式插值
00:04:33
然而刚才的例子告诉我们
00:04:35
从数据中学习规律
00:04:37
并不等同于多项式插值
00:04:39
因为真实数据里
00:04:40
存在着很多随机的噪声
00:04:42
虽然我们数据集里说
00:04:44
这个日期是这个气温
00:04:45
但它并不意味着在每年的这个时候
00:04:48
气温都无比精
00:04:49
确的等于这个数值
00:04:51
实际的气温呢
00:04:52
有一些随机因素
00:04:53
只是说大概在这个数值范围波动
00:04:56
但精确的多项式差值可不管这些
00:04:59
他就只管怎么找到一个高次的多项式
00:05:02
能够无比精准的
00:05:04
拟合到你在这个位置的数据点的数值
00:05:07
那这样做当然要付出代价
00:05:09
我们可以看一看
00:05:10
这个11次多项式的系数
00:05:12
你就能发现端倪
00:05:13
你会相信
00:05:14
一年当中的气温随时间的变化关系
00:05:17
是一个这么复杂
00:05:19
系数动辄上千万的多项式吗
00:05:22
之所以出现这么复杂的系数
00:05:24
就是因为
00:05:25
他想要极其精确的
00:05:27
解释数据集当中的点
00:05:29
这导致模型
00:05:30
过分敏感的受到了数据中噪声的影响
00:05:33
甚至到了魔怔的程度
00:05:35
我们可以非常细小的挪动一下
00:05:38
数据集当中的中间两个点
00:05:40
你就可以看到
00:05:41
为了精确的通过每一个点
00:05:44
整个这个差值
00:05:45
多项式的这个形状啊
00:05:46
变得神经兮兮
00:05:48
这些多项式系数的参数
00:05:50
会非常剧烈的波动
00:05:52
从更深刻的意义来说
00:05:54
过拟合会出现的本质原因
00:05:56
是对于模型的复杂程度一视同仁
00:05:59
我们可以看看这两个11次多项式
00:06:02
它们在数据集上的总偏差都比较小
00:06:05
但是左边这个系数非常的巨大
00:06:07
形状也很扭曲
00:06:09
后者呢则看起来比较简单平常
00:06:12
但我们的拟合算法
00:06:14
他只关注你有没有通过这些数据点
00:06:17
你的这些数据预测的准不准
00:06:19
而完全无视了这个复杂的函数假设
00:06:23
到底系数有多大
00:06:25
所以
00:06:25
这两个函数在算法眼中没什么区别
00:06:28
甚至左边这个的偏差是完美的0
00:06:30
因此算法会毫不犹豫的选择左边这个
00:06:33
他只在乎减小误差
00:06:35
说到假设模型的复杂度
00:06:37
我们就必须提到一类经典的题目
00:06:39
给你一串数字找规律
00:06:41
预测下一个 1357
00:06:44
后面一个应该接什么呢
00:06:46
如果你回答9
00:06:47
那么你注定只是一个凡人
00:06:49
因为强大的先辈
00:06:50
已经注意到了这个超凡绝伦的多项式
00:06:54
他在n等于1234的时候刚好就是1357
00:06:57
但在n等于5的时候等于114514
00:07:01
所以这串数字后面应该接114514
00:07:05
相信弹幕里一定有人说这个答案好臭
00:07:07
荒唐离谱
00:07:09
但请回答我一个问题
00:07:10
凭什么这个函数
00:07:12
就不能是这个多项式呢
00:07:14
等差数列所预测的9
00:07:16
和这个复杂的多项式预测出来的
00:07:19
114514
00:07:20
你凭什么就说9这个答案更正确呢
00:07:24
难道不能是这个多项式吗
00:07:27
深入思考你就会发现
00:07:28
真正的答案应该在于
00:07:30
等差数列相比之下更简单
00:07:33
它的系数是非常简单的2和1
00:07:35
而且是一个简单的一次线性函数
00:07:38
比下面这个
00:07:39
一看就是硬凑出来的四次多项式
00:07:41
看起来简洁多了
00:07:43
我们再来看这个例子
00:07:44
2，4，8，16，31 这是什么规律
00:07:47
下一项应该填什么呢
00:07:49
我们可以用现在最先进的AI
00:07:51
比如说Kimi的K1视觉思考模型
00:07:53
来试一下
00:07:54
你会看到他反复思考
00:07:56
纠结了很久
00:07:57
就是搞不明白
00:07:58
为什么到第五个数字的时候
00:08:00
他突然不是2的幂次了
00:08:02
最终找不出规律
00:08:04
其实这也不怪kimi
00:08:05
GPT-o1也做不出来
00:08:07
这正是因为已有的信息太少了
00:08:09
本质上有无数种可能的解释
00:08:12
而我们没有办法说某一个解释
00:08:14
它显著的更简单更自然
00:08:17
其实这个数列
00:08:18
它的背景啊是在圆周上选n个点
00:08:21
两两连线之后
00:08:22
问你最多能够把圆分成多少个部分
00:08:24
怎么才能让这个规律明晰呢
00:08:26
解决办法是
00:08:27
你可以多给他几项
00:08:28
他就能注意到
00:08:29
这是一个三阶的等差数列
00:08:31
也就是说本质是个四次多项式
00:08:33
并最终给出正确的答案
00:08:36
第九项是163
00:08:37
顺便一提
00:08:38
Kimi的这款模型
00:08:39
不仅拥有类似GPT-o1那样的
00:08:41
多步深入思考的能力
00:08:43
同时支持视觉输入
00:08:45
你可以直接把题目拍照发给他
00:08:47
就能给你答案
00:08:48
比如这种交流电路题
00:08:50
你发给Kimi
00:08:51
他就可以列出方程
00:08:53
并且一步一步解到你想要的答案
00:08:55
非常的正确
00:08:57
再比如说这道微积分的课后习题
00:08:59
我故意选了一个打印的有些不清楚的
00:09:03
Kimi也非常完美的解决了这个问题
00:09:05
这其实
00:09:05
就是清华微积分教材的一道课后习题
00:09:08
可以说这款最新的模型
00:09:09
在数理化推理能力的指标上
00:09:11
正确率完全不输GPT等一众模型
00:09:14
你可以直接拍照回答问题
00:09:16
绝对是期末周的法宝
00:09:22
话说回到刚才的找规律
00:09:24
这些问题
00:09:17
点击评论区链接
00:09:18
登录Kimi网站
00:09:19
认准这个戴眼镜的图标
00:09:21
赶紧去试试吧