深度学习-007-2017.10.27

第5章

5.4 统计,无偏估计,方差。

对于数据训练问题中出现的欠拟合和过拟合问题,可以用偏离+方差来确定,

泛化误差会随着模型容量先减少后增加,而偏离+方差规律一致并吻合,

偏离随着容量增加而减少比较容易理解,比如以多项式拟合,一般来说在数据量充分的前提下,阶数越高,拟合精读越高,因此偏离越少。

但是为何方差会随着容量增加而减少?这个问题还没有很好的理解,需要进一步讨论。

发表在 我爱读书 | 标签为 | 深度学习-007-2017.10.27已关闭评论

Zz中科院院士姚期智:计算机科学正在迎来黄金时代

 

■本报记者 彭科峰

“计算机科学正在迎来一个前所未有的黄金时代。阿尔法狗横扫中韩等国的围棋高手,量子计算机或在近5年内问世,这些新闻无不证明了这一点。”在日前由阿里巴巴集团举办的杭州云栖大会上,中科院院士、清华大学交叉信息研究院院长姚期智向记者表示,计算机科学正在打破边界,带来新变革。而且,当前计算机科学的黄金时代是“前所未有”的,与过去的辉煌时代不同,影响力也更加深远。

姚期智介绍,当前,国内外的众多科技公司正在努力拓展自己的经营范围,比如微软、谷歌、IBM等正在研发量子计算机。2015年,Alphabet成立,谷歌成为全资子公司,旗下的众多子公司也在关注包括生命科学、自动驾驶、风险投资、金融服务等在内的各种领域。

姚期智表示,以制药行业为例,以前制药企业会雇佣一些计算机学家来编写代码、设计算法,“也就是说生理学家雇佣了计算机科学家”。但现在谷歌等科技公司也成立了生命科学部门,如果谷歌也要研发药物的话,那么两者的雇佣关系发生了逆转,变成计算机科学家雇佣医学家。“目前,计算机在药物研发过程中发挥着重要作用。角色逆转趋势在未来可能愈演愈烈。至于未来哪个学科会处于主导地位,这要看哪个学科贡献的价值更高。”

为什么会这样?姚期智认为,主要是3个原因导致了计算机科学黄金时代的到来。第一,计算机科学此前低调地累积了三四十年知识,但很多理论结果没有得到应用,理论准备充足。第二,不同学科的跨界合作越来越普遍,这意味着计算机成果可以跨领域应用,对其他学科、领域产生影响,而不仅仅是一种应用工具。第三就是计算机科学在商业世界得到广泛运用,特别是高新产业领域,这可以看作决定性因素。

“过去,学术圈为了获得认可和职称,一般更加注重理论研究,不太关心成果的应用情况。虽然近三四年在应用上的注意力有所增长,但总体来说仍然和过去相似。但是未来可能会更好,学术界会有更多人思考成果应用,而不是简单地进行理论研究。”姚期智最后表示。

《中国科学报》 (2017-10-25 第4版 综合)
发表在 吱吱喳喳 | Zz中科院院士姚期智:计算机科学正在迎来黄金时代已关闭评论

深度学习-006-2017.10.24

第5章,

5.2对于容量,过拟合,欠拟合这几个概念展开阐述。

对于容量一个直观的例子是多项式的阶数,高则参数多,则容量高。

过欠拟合,要针对数据集选择合适的参数容量,否则会出现训练误差小但是测试误差大。

正则化,引入权重衰减等正则化项,是控制过欠拟合的一种算法,目的是降低泛化误差。非常重要的概念。

5.3 超参数和验证集

比如容量,正则化里的参数都是超参数,这是不能用训练集上的学习来获取的。

训练集获取学习参数,验证集获取超参数。

当数据集不够大时,有k折交叉验证算法来解决(部分的)数据集不够大带来大误差的问题。

发表在 我爱读书 | 标签为 | 深度学习-006-2017.10.24已关闭评论

深度学习-005-2017.10.17

听报告。

新一代人工智能及其挑战

吴飞(浙大杰青)

主要是从国家政策上来看人工智能。

有一句话印象很深:现在的人工智能就像20世纪初的电力一样,会成为未来的基础设施。

发表在 我爱读书 | 标签为 | 深度学习-005-2017.10.17已关闭评论

深度学习-004-2017.10.13

本次讨论数值计算的剩余部分(第4章),以及第5章 机器学习基础开了个头。

发现和《数据挖掘》里面的很多内容有所重叠。

还没有太多让人感觉眼前一亮的天才思想和方法的内容。

作为第一部分的最后一章,第一部分都是做基础准备。

相当于复习,并熟悉语言风格。

《深度学习》 Ian Goodfellow 等著,人民邮电出版社。

发表在 我爱读书 | 标签为 | 深度学习-004-2017.10.13已关闭评论

深度学习-003-2017.10.10

本周主要讨论第3章概率论剩余部分,和第4章数值计算。

梯度优化的算法,有点意思,应该是比较重要的一个算法。

《深度学习》 Ian Goodfellow 等著,人民邮电出版社。

发表在 我爱读书 | 标签为 | 深度学习-003-2017.10.10已关闭评论

引力波LIGO团队终于斩获诺奖!获奖的物理学家有3位,但有一个人同样值得铭记

北京时间 10 月 3 日下午 5 点 45 分,诺贝尔奖委员会宣布,将 2017 年诺贝尔物理学奖授予雷纳·韦斯(Rainer Weiss)、巴里·巴里什(Barry C. Barish)和基普·S·索恩(Kip S. Thorne),表彰他们发起和领导了“激光干涉引力波天文台”(Laser Interferometer Gravitational-Wave Observatory, LIGO)项目,并在将理论及实验物理学应用于宇宙研究领域做出了重大贡献。

2017诺贝尔物理学奖

发表在 吱吱喳喳 | 引力波LIGO团队终于斩获诺奖!获奖的物理学家有3位,但有一个人同样值得铭记已关闭评论

宝宝在幼儿园太调皮的解决方法——一个有效的方法

前阵子,老师每天反应,宝宝实在太调皮了!

老师在讲解的时候,推着小板凳到处跑,呀呀的大叫。

别的小朋友都好好的坐着,宝宝有时候却爬到桌子上蹦蹦跳。

中午不午睡,到各个教室串门,满校园的跑。

老师打她小手,打完也不怕。。。

回家和我们说,就像是做游戏一样。

这事让我们也是很伤神,希望宝宝和别的小朋友差不多,不要太过于活泼,至少不要让老师每天告状,哈哈哈。

这事琢磨了好几天,还是没有一个良好的方法,参考了下文,很有用:

宝宝在幼儿园很调皮,原因及父母该怎么做?

 

然后,一家人商量后,让宝宝也参与讨论,找到一个办法试试看:去学校的时候让宝宝带上两本她喜欢看的书,如果表现棒就让老师奖励她看书。

这个方法还是挺管用,午睡前,老师把书给国宝,她这几天都是自己看了几页就睡着了。

宝宝为了得到这个奖励也是表现的很棒。(对于传统的威严型教育不一定适合部分宝宝。)

今天去接宝宝放学,还没有出校门就和我说:粑粑,今天我表现很棒,能不能奖励我?我说:奖励给你妈妈大大的拥抱好不好?小家伙很高兴,到家就问妈妈要大大的拥抱,还要小小的拥抱。(少用物质奖励)

总结:可以让老师安排一些小事让宝宝做,消耗精力,获得成就感;可以把平时宝宝喜欢的事或者活动作为奖励,用于约束宝宝在学校的行为。宝宝,老师,父母都满意。

无论宝宝在学校出现任何问题,父母的责任不可避免,和老师,和宝宝沟通,这是解决问题的正确打开方式。少抱怨。

发表在 吱吱喳喳 | 宝宝在幼儿园太调皮的解决方法——一个有效的方法已关闭评论

深度学习-002-2017.9.26

本周第2次讨论 Goodfellow 等写的《深度学习》一书。

第3章是复习概率论,没有太多说的,都是传统的概率论的内容。

《深度学习》 Ian Goodfellow 等著,人民邮电出版社。

发表在 我爱读书 | 标签为 | 深度学习-002-2017.9.26已关闭评论

宝宝在幼儿园很调皮,原因及父母该怎么做?

作者:小华思幼教
链接:https://www.zhihu.com/question/20641463/answer/192636624
来源:知乎
著作权归作者所有,转载请联系作者获得授权。

教育是个技术活儿,不能靠蛮力的。 ——题记
似乎每个班都有几个“调皮”一点的孩子,他们表现为:随意走动、说话;或者不听教师的指令;或者爱跑爱闹;或者发脾气爱哭闹,或者其他的表现形式。
总之,是要让教师多操心的孩子。对于此类孩子,教师们头疼,出于责任心或维持班中常规,都想让调皮孩子变得温顺点。 我在一年的教学生活中,经历过被调皮孩子的折磨,在不断的“斗争”中逐渐总结出“对付”他们的方法。
如果将调皮的孩子比作为“洪水”,我想到的方法就可以比作“疏”与“堵”两种。

 方法分为“疏”和“堵”两种不同的思维模式指导下的策略:

“堵”思维模式下的策略,就是教师作为掌控更高权威对孩子的压制,比如:训斥、威胁(送到别的班、不让回家)、控制行动等,这些策略,可能是很多新手教师面对调皮孩子的一种选择,也可以算作动物的本能行为,用强大的力量让幼小的力量顺从。

 说到是动物本能的行为,可以看出这些方法并不是多么的高明,这里就不细细列举这些方法了。我个人认为,这些堵的方法可以适时、少量使用,但不可滥用。

继续阅读

发表在 吱吱喳喳 | 标签为 | 一条评论