使用 .NET 5 体验大数据和机器学习 (4)

接下来，你可以使用该函数来计算 data frame 中所有单词的 IDF：

var idfPrep = documentFrequency.Select(word.AsColumn(), docFrequency.AsColumn()) .WithColumn(total, Functions.Lit(totalDocs)) .WithColumn(inverseDocFrequency, Functions.CallUDF(nameof(CalculateIdf), docFrequency.AsColumn(), total.AsColumn() ) );

使用文档频率 data frame，增加两列。第一列是文档的单词总数量，第二列是调用你的 UDF 来计算 IDF。还有一个步骤，就是确定“重要词”。重要词是指在所有文档中不经常出现，但在当前文档中经常出现的词，用 TF-IDF 表示，这只是 IDF 和 TF 的产物。考虑“is”的情况，IDF 为 0.002，在文档中的频率为 50，而“wizard”的 IDF 为 1，频率为 10。相比频率为 10 的“wizard”，“is”的 TF-IDF 计算结果为 0.1。这让 Spark 对重要性有了更好的概念，而不仅仅是原始字数。

到目前为止，你已经使用代码来定义 data frame。让我们尝试一下 SparkSQL。为了计算 TF-IDF，你将文档频率 data frame 与反向文档频率 data frame 连接起来，并创建一个名为termFreq_inverseDocFreq的新列。下面是 SparkSQL：

var idfJoin = spark.Sql($"SELECT t.File, d.word, d.{docFrequency}, d.{inverseDocFrequency}, t.count, d.{inverseDocFrequency} * t.count as {termFreq_inverseDocFreq} from {nameof(documentFrequency)} d inner join {nameof(termFrequency)} t on t.word = d.word");

探索代码，看看最后的步骤是如何实现的。这些步骤包括：

到目前为止所描述的所有步骤都为 Spark 提供了一个模板或定义。像 LINQ 查询一样，实际的处理在结果被具体化之前不会发生（比如计算出总文档数时）。最后一步调用 Collect 来处理和返回结果，并将其写入另一个 CSV。然后，你可以使用新文件作为 ML 模型的输入，下图是该文件的一部分：

Spark for .NET 使你能够查询和塑造数据。你在同一个数据源上建立了多个 data frame，然后添加它们以获得关于重要术语、字数和阅读时间的洞察。下一步是应用 ML 来自动生成类别。

预测类别

最后一步是对文档进行分类。DocMLCategorization项目包含了 ML.NET 的Microsoft.ML包。虽然 Spark 使用的是 data frame，但 data view 在 ML.NET 中提供了类似的概念。

这个例子为 ML.NET 使用了一个单独的项目，这样就可以将模型作为一个独立的步骤进行训练。对于许多场景，可以直接从你的.NET for Spark 项目中引用 ML.NET，并将 ML 作为同一工作的一部分来执行。

首先，你必须对类进行标记，以便 ML.NET 知道源数据中的哪些列映射到类中的属性。在FileData 类使用 LoadColumn 注解，就像这样：

[LoadColumn(0)] public string File { get; set; } [LoadColumn(1)] public string Title { get; set; }

然后，你可以为模型创建上下文，并从上一步中生成的文件中加载 data view：

var context = new MLContext(seed: 0); var dataToTrain = context.Data .LoadFromTextFile<FileData>(path: filesHelper.ModelTrainingFile, hasHeader: true, allowQuoting: true, separatorChar: ',');

ML 算法对数字的处理效果最好，所以文档中的文本必须转换为数字向量。ML.NET 为此提供了FeaturizeText方法。在一个步骤中，模型分别：

检测语言

将文本标记为单个单词或标记

规范化文本，以便对单词的变体进行标准化和大小写相似化

将这些术语转换为一致的数值或准备处理的“特征向量”

以下代码将列转换为特征，然后创建一个结合了多个特征的“Features”列。

var pipeline = context.Transforms.Text.FeaturizeText( nameof(FileData.Title).Featurized(), nameof(FileData.Title)).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle1).Featurized(), nameof(FileData.Subtitle1))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle2).Featurized(), nameof(FileData.Subtitle2))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle3).Featurized(), nameof(FileData.Subtitle3))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle4).Featurized(), nameof(FileData.Subtitle4))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Subtitle5).Featurized(), nameof(FileData.Subtitle5))).Append(context.Transforms.Text.FeaturizeText(nameof(FileData.Top20Words).Featurized(), nameof(FileData.Top20Words))).Append(context.Transforms.Concatenate(features, nameof(FileData.Title).Featurized(), nameof(FileData.Subtitle1).Featurized(), nameof(FileData.Subtitle2).Featurized(), nameof(FileData.Subtitle3).Featurized(), nameof(FileData.Subtitle4).Featurized(), nameof(FileData.Subtitle5).Featurized(), nameof(FileData.Top20Words).Featurized()) );