MENU 服务 案例
欧博官网
中文 EN
我们通过拥抱变化创造
360°的品牌价值__
关于
上海市欧博官网督畔信息技术有限公司介绍
上海市欧博官网督畔信息技术有限公司优势
产品标准
知名客户
发展历程
企业资质
工作环境
案例
科研院所
企业集团
学校教育
营销推广
平台门户
大数据
移动端案例
服务 方案

网站建设

企业集团网站建设 平台门户网站建设 政府事业网站制作 业务系统定制开发

小程序

移动互联网

APP开发IOS/安卓 微信小程序介绍 微信小程序开发 H5交互设计制作

网络营销

搜索引擎优化推广 形象视觉基础系统 网站代运维服务 小程序运营服务

VI设计

logo设计 画册设计 海报设计 应用设计
方案
高校集群解决方案
强军网建设解决方案
政府政务解决方案
智慧展会解决方案
科研领域解决方案
智慧景区解决方案
新闻
上海市欧博官网督畔信息技术有限公司动态
网站建设
网站开发
营销推广
网站维护
ICP备案
城市新闻
简体
简体中文 English

上海市欧博官网督畔信息技术有限公司与山东真诺智能设备有限公司签署网站改版合作协议

类型：上海市欧博官网督畔信息技术有限公司动态 了解更多
首页/ 新闻/ 网站建设 /正文

大数据的挖掘“大”在哪里?

来源：曾剑平| 类型：网站百科| 时间：2017-12-11
  以前我们谈论数据挖掘，而大数据时代我们谈论大数据挖掘。那么大数据挖掘“大”在哪里? 本文对此进行了一些归纳，希望能提供一些思考问题的方法。
不足之处请留言发表意见。
 
一、数据量的大
       数据量大到多少? 这是一个很多人在进行大数据挖掘时要问的问题。
从一些实际应用看，一般每天处理的数据量达到T、P级别的，可以考虑部署Hadoop、Spark之类的大数据处理平台，一定量级的数据处理才能突显这些平台的优越性。
      数据量少，数据的读取、搬迁所花费的时间占比太多，反而无法体现大数据处理平台的优势。不少应用只是为了大数据而大数据，几百M也弄个Hadoop。因此，现在一谈大数据就认为是Hadoop、Spark等平台是很有局限性的。
      当然，实际在决定是否使用大数据平台时，可能需要考虑更多的因素，例如：要集成很多的低性能机器、异构软硬件平台间的可移植性、大量的非结构化数据处理等。
 
二、数据类型的多样化
      在数据挖掘时代，我们挖掘的数据主要以关系型数据为主。大数据时代，各种应用产生了各种数据，通常在大数据挖掘中会涉及到多种数据类型。这里所说的数据类型不是程序设计中的普通数据类型，而是更接近于应用的数据表现形式，通常有时间序列数据、轨迹数据、图数据、文本数据等等。
      每天的销售记录、价格是普通数据类型，但是从时间维度将它们按照顺序连接起来，构成的时间序列数据能体现出价格的变化规律，理所当然具有更丰富的含义。
       每个人所处的位置不过是一个（x,y）的普通数据类型，但是按照移动的先后顺序把位置连接起来，就构成了某人的活动轨迹，背后体现的是他的生活、习惯，这些隐藏信息才是大数据应当关注的。
       微博或论坛中每个人是独立存在的，也是普通数据，但是如果把每个人按照粉丝、关注等关系连接起来，就可以构成一张很大的图，即图数据。图中的人群、离群，以及加上群体偏好、群体运动等属性后的高等图数据，就是大数据挖掘的关注点。
 
三、数据处理的噪音
      在数据挖掘时代，数据来源于关系型数据库，都是一些与业务相关、质量比较高的数据，一般拿来就可以直接挖。大数据挖掘肯定就不是这样，大数据思维决定了我们要考虑不同来源的数据的质量、数据结构鱼龙混杂，以增强数据处理的鲁棒性。比如，要进行企业级的客户分析，不同的分公司可能使用不同的客户管理系统，有的系统采用本科/硕士/博士来区分客户的学历，而有的采用本科/研究生来区分，这就要求考虑数据的一致性处理。此外，数据格式、数据完整性等等都是大数据挖掘需要考虑的。
 
四、数据挖掘的多样化
      在数据挖掘时代，一般侧重于单项的数据分析，而大数据挖据可能会更侧重于多项数据挖掘任务同时存在，如业务上同时要求分类、预测、相关性、聚类等。尽管业务需求多了，但是这些分类、预测、相关性、聚类可能在底层上采用的是同一种模型，因此，在大数据挖据时考虑模型、算法与业务的分离是非常重要的，即所谓的大数据处理层次结构。
来源声明：本文章系上海市欧博官网督畔信息技术有限公司中国编辑原创或采编整理，如需转载请注明来自上海市欧博官网督畔信息技术有限公司中国。以上内容部分(包含图片、文字)来源于网络，如有侵权，请及时与本站联系（021-71886699）。
上一篇：H5（手机端）网站建设发展趋势 下一篇：第三方支付开始陆续关闭信用卡充值业务
TAG标签：

建站流程

  • 网站需求

  • 网站策划方案

  • 页面设计风格

  • 确认交付使用

  • 资料录入优化

  • 程序设计开发

  • 后续跟踪服务

  • 联系电话

    021-71886699

热门标签

最新文章

推荐新闻

更多行业
如果您的网站可以增加转化次数并提高客户满意度，该怎么办？
我们可以实现

预约专业咨询顾问沟通！

*上海市欧博官网督畔信息技术有限公司专业顾问将尽快与您联系
城市分站：
Copyright © 2024 欧博官网官网督畔信息技术有限公司 版权所有　|　沪ICP备2024077037号-5 上海市欧博官网督畔信息技术有限公司专注高端网站建设，系统平台开发，微信小程序及APP开发服务

免责声明

非常感谢您访问我们的网站。在您使用本网站之前，请您仔细阅读本声明的所有条款。

1、本站部分内容来源自网络，涉及到的部分文章和图片版权属于原作者，本站转载仅供大家学习和交流，切勿用于任何商业活动。

2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。

3、本声明未涉及的问题参见国家有关法律法规，当本声明与国家法律法规冲突时，以国家法律法规为准。

4、如果侵害了您的合法权益，请您及时与我们,我们会在第一时间删除相关内容!

联系方式：021-71886699
电子邮件：394588593@qq.com

现在就与专业咨询顾问沟通！

  • 全国服务热线

    71886699

  • 上海服务热线

    021-71886699

信息保护中请放心填写
在线咨询

免责声明

非常感谢您访问我们的网站。在您使用本网站之前，请您仔细阅读本声明的所有条款。

1、本站部分内容来源自网络，涉及到的部分文章和图片版权属于原作者，本站转载仅供大家学习和交流，切勿用于任何商业活动。

2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。

3、本声明未涉及的问题参见国家有关法律法规，当本声明与国家法律法规冲突时，以国家法律法规为准。

4、如果侵害了您的合法权益，请您及时与我们,我们会在第一时间删除相关内容!

联系方式：021-71886699
电子邮件：394588593@qq.com