常用的大数据工具有哪些?
科技魔方是一个大数据模型平台,是基于服务总线和分布式云计算的数据分析和挖掘的工具平台。它使用分布式文件系统存储数据,支持海量数据的处理。采用多种数据采集技术,支持结构化数据和非结构化数据的采集。通过图形模型构建工具,它支持过程模型配置。通过第三方插件技术,可以很容易地将其他工具和服务集成到平台中。数据分析研判平台是收集海量信息,建立数据模型,挖掘分析数据,最终形成知识服务实战和决策的过程。该平台主要包括数据采集部分、模型配置部分、模型执行部分和成果展示部分。
蜜蜂的网络信息雷达是一款定向采集网络信息的产品,可以采集和更新用户设置的网站数据,实现灵活的网络数据采集目标,为互联网数据分析提供依据。
Untouchi科技泵站是大数据平台的数据抽取工具,实现了从db导入数据到hdfs的功能。借助Hadoop,提供高效的集群分布式并行处理能力,可以通过数据库分区、字段分区、分页等方式并行批量提取db数据到hdfs文件系统,有效解决传统提取大数据工作量过大、提取时间长的问题,为大数据仓库提供传输管道。
科技云计算数据中心以先进的中文数据处理和海量数据支持为基础,辅以各环节的人工服务,使数据中心安全高效运行。我们根据云计算数据中心的不同环节,专门配备了系统管理维护人员、数据处理编译人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析师,满足各个环节的需求。对于用户,我们提供面向政府和面向企业的解决方案。
科技显微镜是一种大数据文本挖掘工具,是指利用计算机处理技术从文本数据中提取有价值的信息和知识。
包括文本分类、文本聚类、信息抽取、实体识别、关键词索引、摘要等。基于Hadoop
MapReduce的文本挖掘软件可以实现对海量文本的挖掘和分析。CKM的一个重要应用领域是智能比较,
广泛应用于专利查新、科技查新、文献复制检索、版权保护、稿件溯源等领域。
尚待发现的科技数据立方体是大数据的可视化关系挖掘工具,其呈现方式包括关系图、时间轴、分析图、列表等多种表达方式,为用户提供全方位的信息呈现方式。