零基础学习机器学习(三)模型的评估与选择的数学原理上篇
在具体了解不同的模型及其实战之前,我们还需要建立一个科学的体系去对我们的将来训练出来的模型进行量化的评价,并且这个评价要可以用数学公式表达,只有这样,才可以量化最终模型的效果,并有方向地进行优化。
AHP矩阵的数学原理
AHP(Analytic Hierarchy Process)层次分析法是美国运筹学家T. L. Saaty教授于二十世纪70年代提出的一种实用的多方案或多目标的决策方法,是一种定性与定量相结合的决策分析方法。用决策者的经验判断各衡量目标之间能否实现的标准之间的相对重要程度,并合理地给出每个决策方案的每个标准的权数,利用权数求出各方案的优劣次序,比较有效地应用于那些难以用定量方法解决的课题,具有十分广泛的实用性。
但是为什么AHP是有效的,其数学原理是什么呢?
系统工程概论
第一部分:系统工程基本概念
系统工程,就是全面地分析系统元素之间的关系,要做到全面,就要有一套工具帮我们有理可据地地找到所有的元素,接下来就是找到所有的系统元素之间的联系(耦合),并尽量减少不必要的联系(耦合),权衡互相抵制的元素之间的取舍
零基础学习机器学习(二)机器学习的五个步骤
一个机器学习项目从开始到结束大致分为 5 步,分别是定义问题、收集数据和预处理、选择算法和确定模型、训练拟合模型、评估并优化模型性能。这 5 步是一个循环迭代的过程
零基础学习机器学习(一)机器学习相关概念
数学之美梳理(九)马尔科夫链的扩展——贝叶斯网络
之前我们讲过马尔科夫链,它描述了一种状态序列,其每个状态值取决于前面有限个状态。对很多实际问题,这种模型是一种很粗略的简化。在现实生活中,很多事物的相互关联并不能用一条链来串起来,很可能是交叉的。
数学之美梳理(八)最大熵模型
在信息处理中,我们常常知道各种各样但又不完全准确的信息,我们需要一个统一的模型将这些信息综合起来。如何综合的好,是一门学问
让我们看一个拼音转汉字的简单例子,假设输入的拼音是“wang-xiao-bo”,利用语言模型,根据有限的上下文,我们可以给出两个最常见的名字:“王小波”和“王晓波”,但是要唯一确定哪个名字就难了,即使利用较长的上下文也比较难。当然,我们知道,如果通篇文章是介绍文学的,作家王小波的可能性更大,而在讨论两岸关系时,台湾学者王晓波的可能性更大。
数学之美梳理(七)深度学习与神经网络
我们首先来了解下解深度学习、机器学习与人工智能的定义:
深度学习是机器学习的子集,它基于人工神经网络。 学习过程之所以是深度性的,是因为人工神经网络的结构由多个输入、输出和隐藏层构成。 每个层包含的单元可将输入数据转换为信息,供下一层用于特定的预测任务。 得益于这种结构,机器可以通过自身的数据处理进行学习。深度学习的用例范围一直在不断扩展,但如今最流行的三大技术,当属计算机视觉、语音识别和自然语言处理
机器学习是人工智能的子集,它采用可让机器凭借经验在任务中做出改善的技术(例如深度学习)。 学习过程基于以下步骤:
- 将数据馈送到算法中。 (在此步骤中,可向模型提供更多信息,例如,通过执行特征提取。)
- 使用此数据训练模型。
- 测试并部署模型。
- 使用部署的模型执行自动化预测任务。 (换言之,调用并使用部署的模型来接收模型返回的预测。)
- 人工智能 (AI) 是使机器能够模拟人类智能的技术。 其中包括机器学习。
- 神经网络是机器学习的一种算法,而监督学习,无监督学习,强化学习等属于机器学习的训练方法,都可以应用于神经网络的训练,不同的训练方法适用于不同的机器学习算法,比如监督学习就适用于回归和分类,不同的算法适合解决不同的问题,比如回归问题适合解决拟合出一条曲线的问题,聚类问题适合分类问题
数学之美梳理(六)矩阵运算和文本处理中的两个分类问题
在自然语言处理中,最常见的两个分类问题是:将文本按主题归类(如将所有介绍奥运会的归类到体育类)和将词汇按意思分类(如将各种体育项目的名称归类到体育类)。这两个问题都可以通过矩阵运算来圆满地,一次性解决。