机器学习

  spark-2.0.2 机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。 MLllib目前分为两个代码包： spark.mllib 包含基于RDD的原…

来源商业新知网，原标题：开源鉴黄AI新鲜出炉：代码+预训练模型，还附手把手入门教程 要入门机器学习，一个自己感兴趣又有丰富数据的领域再好不过了。 今天我们就来学习用Keras构建模型，识别NSFW图片，俗称造个鉴黄AI。 资源来自一名印度小哥Praneeth Bedapudi，涉及图像分类和目标检测两个科目。他在GitHub上最新发布了NudeNet项目，包…

来源商业新知网，原标题：推特2200赞：一只AI训练排出180吨二氧化碳，“您的机器学习一点也不环保！”   当你打开这篇文章的时候，你的模型可能正在安静地训练。 模型的身后，有飞速运转的GPU，为它提供训练的动力。 曲线显示，它的学习情况良好，你在一旁露出了“孺子可教”的围笑。 就在此时，有人向你发射了直击灵魂的提问： 你总是关心模型学得好不好，就不关心它…

来源商业新知网，原标题：搜狗开源最新NLP研究成果，打造业内最全机器阅读理解工具包SMRC   上周，搜狗在GitHub低调发布了机器阅读理解工具包 SMRC （Sogou Machine Reading Comprehension）。 这是目前业内最全的TensorFlow版本的阅读理解工具集合，从相关数据集的下载到最后模型的训练和测试，一应俱全。 搜狗此…

运行 TensorFlow打开一个 python 终端: 1 $ python 2 >>> import tensorflow as tf 3 >>> hello = tf.constant(‘Hello, TensorFlow!’) 4 >>> sess = tf.Session() 5 >&gt…

在过去的一年里，我采访了一些在 Expedia Group 担任数据科学职位的人，职位从入门级到高级的都有。我想分享我的经验，这些经验适用于对申请数据科学职位的人。在这篇文章里，我还会给出关于你可能在面试中会遇到的问题的一些提示。 面试候选人帮助我认识了一些有广泛背景和技能的人。从 CS / ECE ，统计 / 数学到土木 / 机械工程，这些领域的人我都接触…

来源商业新知网，原标题：Python 手写机器学习最简单的 kNN 算法   摘要 ：从零开始学习机器学习最简单的 kNN 算法。 今天开始，我打算写写机器学习教程。说实话，相比爬虫，掌握 机器学习更实用竞争力也更强些 。 目前网上大多这类教程对新手都不友好，要么直接调用 Sklearn 包，要么满篇抽象枯燥的算法公式文字，看这些教程你很难入门，而真正适合入…

机器学习模型当中，目前最为先进的也就是xgboost和lightgbm这两个树模型了。那么我们该如何进行调试参数呢？哪些参数是最重要的，需要调整的，哪些参数比较一般，这两个模型又该如何通过代码进行调用呢？下面是一张总结了xgboost，lightbgm，catboost这三个模型调试参数的一些经验，以及每个参数需要的具体数值以及含义，供大家参考：   一.X…

综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。  GBDT中的树是回归树（不是分类树），GBDT用来做…

      XGBClassifier是xgboost的sklearn版本。代码完整的展示了使用xgboost建立模型的过程，并比较xgboost和randomForest的性能。 1 # -*- coding: utf-8 -*- 2 “”” 3 # 作者：wanglei5205 4 # 邮箱：wanglei5205@126.com 5 # 博客：http…