大数据技术有哪些

大数据技术有哪些，想要搞清楚这个问题，一起来看看以下的内容吧。

一、大数据基础阶段大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

二、大数据存储阶段大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。

三、大数据架构设计阶段大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。

四、大数据实时计算阶段大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。

五、大数据数据采集阶段大数据数据采集阶段需掌握的技术有：Python、Scala。

六、大数据商业实战阶段大数据商业实战阶段需掌握的技术有：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。

3、大数据的关键技术

1.分布式存储系统(HDFS)。

2.MapReduce分布式计算框架。

3.YARN资源管理平台。

4.Sqoop数据迁移工具。

5.Mahout数据挖掘算法库。

6.Hbase分布式数据库。

7.Zookeeper分布式协调服务。

8.Hive基于Hadoop的数据仓库。

9.Flume日志收集工具。

这个展望大数据专家委这是做的第四次，从之前2012年底做的2013年的展望，即会做下一年的预测，这个预测是调研方式就是大数据专家委一百多位委员内部进行这样的一个观点征集、汇总，最后进行投票和去年一样，同时邀请中国大数据产业联盟的会员参与到最后的投票环节，今年总共投票的专家是116位，从这116位专家投票中形成了下述的结果。

根据今年大数据专家委列出的2016大数据产业技术发展的十大趋势，从这里面我们简单解读为他出现了这样四个重点的关键字，一个是民生相关的应用，因为应用很多，应用驱动大数据，因此民生相关的大数据可能会得到更快的发展，第二就是多样性和融合性，不管是技术、产业等等各方面会出现多样融合的状况，另外第三个就是政策拉动，第四总是呼吁各个层面出现多样的生态，简单对这十各方面稍微做一个解释。

第一，可视化技术。作为汇总整理的时候这也是给了工作组一个很大的意外，做了这样一个解读，我们认为可视化作为技术形态能够排到第一，其实背后隐藏着大数据的贫民化。普通老百姓和常规的决策者能够更好的理解大数据的效果和价值，所以能够摆在这么重的位置，不仅仅可视化的形态，也包括可视化的分析，这是排在第一的趋势。

第二，多学科融合。大家对学科的发展非常关注，预测排在第二位是多学科融合，大家认为数据科学的雏形已经出现了，从表现形式来看，很多相关的数据，科学的研究院，专门的实验室，也可以看到这样的学科逐渐的完备，可能会逐渐的出现，当然本身确实也是交叉性的学科，是多学科融合的产物，所以从事大数据研究不仅仅是计算机领域的科学家，也包括数学等等方面的科学家参与到整个大数据前沿的研究中。

第三，大数据的安全和隐私持续受到关注。从现在大数据的发展情况来说，应该说针对大数据的威胁和大数据所产生的副作用，以及大数据发展中的障碍会逐渐成为大数据领域所要关注的点。针对大数据的攻击现在没有大规模的报道，但是隐忧已经令大家担忧。隐私大数据所带来的副作用，原来的隐私我们接受的程度，有了大数据之后隐私接受程度发生了很大的变化。由于大家对大数据的安全等等相关的问题的担忧阻碍我们在大数据的发展上的投入，这也是阻碍大数据发展的问题。