【系列】手动实现机器学习算法

回归(普通最小二乘、lasso、岭回归、逻辑回归),树结构相关(cart回归树、ID3分类树、集成学习),距离相关(knn、kmeans等),SVM,神经网络的bp算法,其他(混淆矩阵、交叉验证、ROC曲线绘制)

ROC曲线的绘制—— 已完成 😚

一、回归

  1. 普通最小二乘—— 已完成 😚
  2. Lasso和岭回归—— 已完成 😚
  3. 逻辑回归—— 已完成 😚

二、树结构的相关算法:

  1. CART 回归树 —— 已完成😚
  2. ID3算法分类树 —— 已完成 😚
  3. Adaboost —— 已完成 😚
  4. GBDT
  5. xgboost 单颗 class xgboost(Tree)->多颗
  6. 剪枝和缺失值处理问题
  7. 随机森林

三、距离的相关算法:

  1. LDA
  2. knn—— 已完成 😚
  3. kmeans

四、感知机

  1. SVM——完全线性可分 😚
  2. SVM——近似线性可分(软间隔)
  3. SVM——线性不可分(核函数问题)
  4. BP算法 —— 已完成 😚

五、贝叶斯

  1. 朴素贝叶斯
  2. 贝叶斯网络

六、隐马尔科夫等