几年前,Tailwind Traders 为其所有运载车辆推出了一款新的 GPS 跟踪系统。 新系统向主数据中心提供实时跟踪数据。 首席技术官 (CTO) 希望你的团队查看几年的跟踪数据,以便确定趋势。 例如,一个重要的趋势可能是假期前后派送量激增,这将需要雇用更多的员工。 通过对已记录的跟踪数据进行深入分析,你的 CTO 设法预测何时需要进行调整,以及主动采取必要的相应措施来应对高峰期。

所收集到的数据是多种多样的。 当我们谈论大数据时,我们指的是大量数据。 在此 Tailwind Traders 方案中,数据是通过 GPS 传感器收集的,其中包括位置信息、来自天气系统的数据以及许多其他数据源生成的大量数据。 如此大量的数据使得理解数据以及围绕其做出决策变得越来越难。 容量巨大,以至于传统形式的处理和分析已不再适用。

随着时间的推移,人们开发出开源群集技术来尝试处理这些大型数据集。 Microsoft Azure 支持广泛的技术和服务,可提供大数据和分析解决方案,包括 Azure Synapse Analytics、Azure HDInsight、Azure Databricks 和 Azure Data Lake Analytics。

Azure Synapse Analytics

Azure Synapse Analytics(前称为 Azure SQL 数据仓库)是一种无限制的分析服务,它将企业数据仓库和大数据分析相结合。 可通过大规模使用无服务器资源或预配资源根据自己的需求查询数据。 通过统一的体验引入、准备、管理和提供数据,以满足即时 BI 和机器学习需求。

Azure HDInsight

Azure HDInsight 是面向企业的完全托管的开放源代码分析服务。 它是一种云服务,可让你更轻松、更快、更经济高效地处理大量数据。 你可运行常用开源框架并创建多种群集类型,例如 Apache SparkApache HadoopApache KafkaApache HBaseApache Storm 和机器学习服务。 HDInsight 还支持多种方案,例如提取、转换和加载 (ETL)、数据仓库、机器学习和 IoT。

Azure Databricks

Azure Databricks 可帮助你从所有数据中获取见解,并能够生成人工智能解决方案。 只需几分钟即可设置好 Apache Spark 环境,然后在交互式工作区中对共享项目进行自动缩放和协作。 Azure Databricks 支持 Python、Scala、R、Java 和 SQL 以及数据科学框架和库(包括 TensorFlow、PyTorch 和 scikit-learn)。

Azure Data Lake Analytics

Azure Data Lake Analytics 是一项按需分析作业服务,用于简化大数据。 无需部署、配置和调整硬件,只需编写查询即可转换数据并提取有价值的见解。 通过将表盘设置为所需值,该分析服务就可以立即处理任何规模的作业。 你只需为运行的作业付费,这让作业变得更为经济高效。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注