机器学习算法

机器学习算法有很多,大概有,回归算法、基于实例的算法、正则化算法、决策树算法、贝叶斯算法、基于核的算法、聚类算法、关联规则学习、人工神经网络算法、深度学习算法、降低维度算法、集成算法,下面将几个常见的机器学习算法,进行详述:

决策树算法,根据数据的属性采用树状结构建立决策模型$常常用来解决分类和回归问题。
优点:计算量比较简单,解释性强,比较适合处理有缺失属性值的数据样本,能够处理不相关的特征。
缺点:容易过拟合(后续出现了随机森林,减小了过拟合现象)。

贝叶斯算法,基于贝叶斯定理的一类算法,主要用来解决分类和回归问题。 优点:对小规模的数据表现很好,适合多分类任务,适合增量式训练。 缺点:对输入数据的表达形式很敏感,对关联性强的特征表现不好。

朴素贝叶斯分类 https://www.zhihu.com/question/27306416

算法模型

回归算法

    线性回归
    逻辑回归
    多元自适应回归(MARS)
    本地散点平滑估计(LOESS)

基于实例的学习算法

    K-邻近算法(KNN)
    学习矢量化(LVQ)
    自组织映射算法(SOM)
    局部加权学习算法(LWL)

正则化算法

    岭回归(Ridge Regression)
    LASSO(Least Absolute Shrinkage and Selection Operator)
    Elastic Net
    最小角回归(LARS)

决策树算法

    分类和回归树(CART)
    ID3算法(Iterative Dichotomiser 3)
    CHAID(Chi-squared Automatic Interaction Detection
    随机森林(Random Forest)
    多元自适应回归样条(MARS)
    梯度推进机(Gradient Boosting Machine, GBM)

贝叶斯算法

    朴素贝叶斯
    高斯朴素贝叶斯
    多项式朴素贝叶斯
    AODE(Averaged One-Dependence Estimators)
    贝叶斯网络(Bayesian Belief Network)

基于核的算法

    支持向量机(SVM)
    径向基函数(Radial Basis Function ,RBF)
    线性判别分析(Linear Discriminate Analysis ,LDA)

聚类算法

    K-均值
    K-中位数
    EM算法
    分层聚类

关联规则学习

    Apriori算法
    Eclat算法

神经网络

    感知器
    反向传播算法(BP)
    Hopfield网络
    径向基函数网络(RBFN)

深度学习

    深度玻尔兹曼机(DBM)
    卷积神经网络(CNN)
    递归神经网络(RNN、LSTM)
    栈式自编码算法(Stacked Auto-Encoder)

降维算法

    主成分分析法(PCA)
    主成分回归(PCR)
    偏最小二乘回归(PLSR)
    萨蒙映射
    多维尺度分析法(MDS
    投影寻踪法(PP)
    线性判别分析法(LDA)
    混合判别分析法(MDA)
    二次判别分析法(QDA)
    灵活判别分析法(Flexible Discriminant Analysis,FDA

集成算法

    Boosting
    Bagging
    AdaBoost
    堆叠泛化(混合)
    GBM 算法
    GBRT 算法
    随机森林

其他算法

    特征选择算法
    性能评估算法
    自然语言处理
    计算机视觉
    推荐系统
    强化学习
    迁移学习

来源

入门文档

十大经典算法入门