翻译：精致码农-王亮
原文：
.NET 5 旨在提供统一的运行时和框架，使其在各平台都有统一的运行时行为和开发体验。微软发布了与 .NET 协作的大数据（.NET for Spark）和机器学习（ML.NET）工具，这些工具共同提供了富有成效的端到端体验。在本文中，我们将介绍 .NET for Spark、大数据、ML.NET 和机器学习的基础知识，我们将研究其 API 和功能，向你展示如何开始构建和消费你自己的 Spark 作业和 ML.NET 模型。
什么是大数据大数据是一个几乎不言自明的行业术语。该术语指的是大型数据集，通常涉及 TB 甚至 PB 级的信息，这些数据集被用作分析的输入，以揭示数据中的模式和趋势。大数据与传统工作负载之间的关键区别在于，大数据往往过于庞大、复杂或多变，传统数据库和应用程序无法处理。一种流行的数据分类方式被称为 "3V"（译注：即3个V，Volume 容量、Velocity 速度、Variety 多样性）。
大数据解决方案是为适应高容量、处理复杂多样的数据结构而定制的，并通过批处理（静态）和流处理（动态）来管理速度。
大多数大数据解决方案都提供了在数据仓库中存储数据的方式，数据仓库通常是一个为快速检索和为并行处理而优化的分布式集群。处理大数据往往涉及多个步骤，如下图所示：
.NET 5 开发人员如果需要基于大型数据集进行分析和洞察，可以使用基于流行的大数据解决方案 Apache Spark 的 .NET 实现：.NET for Spark。
.NET for Spark.NET for Spark 基于 Apache Spark，这是一个用于处理大数据的开源分析引擎。它被设计为在内存中处理大量数据，以提供比其他依赖持久化存储的解决方案更好的性能。它是一个分布式系统，并行处理工作负载。它为加载数据、查询数据、处理数据和输出数据提供支持。
Apache Spark 支持 Java、Scala、Python、R 和 SQL。微软创建了 .NET for Spark 以增加对 .NET 的支持。该解决方案提供了免费、开放、跨平台的工具，用于使用 .NET 所支持的语言（如 C#和 F#）构建大数据应用程序，这样你就可以使用现有的 .NET 库，同时利用 SparkSQL 等 Spark 特性。
以下代码展示了一个小而完整的 .NET for Spark 应用程序，它读取一个文本文件并按降序输出字数。
using Microsoft.Spark.Sql; namespace MySparkApp { class Program { static void Main(string[] args) { // Create a Spark session. SparkSession spark = SparkSession.Builder().AppName("word_count_sample").GetOrCreate(); // Create initial DataFrame. DataFrame dataFrame = spark.Read().Text("input.txt"); // Count words. DataFrame words = dataFrame.Select(Functions.Split(Functions.Col("value"), " ").Alias("words")) .Select(Functions.Explode(Functions .Col("words")) .Alias("word")) .GroupBy("word") .Count() .OrderBy(Functions.Col("count").Desc()); // Show results. words.Show(); // Stop Spark session. spark.Stop(); } } }在开发机器上配置 .NET for Spark 需要安装几个依赖，包括 Java SDK 和 Apache Spark。你可以在这里(https://aka.ms/go-spark-net)查看手把手的入门指南。
Spark for .NET 可在多种环境中运行，并可部署到云中运行。可部署目标包括 Azure HDInsight、Azure Synapse、AWS EMR Spark 和 Databricks 等。如果数据作为项目可用的一部分，你可以将其与其他 project 文件一起提交。
大数据通常与机器学习一起使用，以获得关于数据的洞察。
什么是机器学习首先，我们先来介绍一下人工智能和机器学习的基本知识。
人工智能（AI）是指计算机模仿人类智慧和能力，如推理和寻找意义。典型的人工智能技术通常是从规则或逻辑系统开始的。作为一个简单的例子，想一想这样的场景：你想把某样东西分类为“面包”或“不是面包”。当你开始时，这似乎是一个简单的问题，例如“如果它有眼睛，它就不是面包”。然而，你很快就会开始意识到，有很多不同的特征可以将某物定性为面包与非面包，而且特征越多，一系列的 if 语句就会越长越复杂，如下图所示：
从上图中的例子可以看出，传统的、基于规则的人工智能技术往往难以扩展。这就是机器学习的作用。机器学习（ML）是人工智能的一个子集，它能在过去的数据中找到模式，并从经验中学习，以对新数据采取行动。ML 允许计算机在没有明确的逻辑规则编程的情况下进行预测。因此，当你有一个难以（或不可能）用基于规则的编程解决的问题时，你可以使用 ML。你可以把 ML 看作是 "对不可编程的编程"。