吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入 (3)

 

吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入

(4)上一方法存在的问题是,没有考虑到单词的位置关系,所有在句子“Completely lacking in good taste, good service, and good ambiance.”中由于good非常多,所以最终预测得到一个较高的分数,但实际这句话是差评。所以第二种方法是使用循环神经网络RNN,这将是一个多对一问题,这样可以很好的得到一个情感分析的系统。

吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入

2.10词嵌入除偏

(1)当一个系统Father对应Doctor,Mother对应Nurse时这就是一个偏见的系统。

(2)以消除性别偏差为例,叙述消除偏差的主要步骤。首先第一步是将所以带写别的组(如he,she)做ehe-eshe,egirl-eboy然后将这些结果求和取平均,得到如下的轴:

吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入

(2)第二步是中和步骤,意思就是将应该无偏的词移动到轴上,如下图所示:

吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入

(3)第三步是均衡步,即移动一对词将其关于轴对称(如上图中grandmother与grandfather并没有关于轴对称,所以grandmother与中和步骤之后的babysister距离更近一点),如下图所示

吴恩达《深度学习》第五门课(2)自然语言处理与词嵌入

(5)有一点是,对于性别而言,有明确性别一一的词特别少,用一个二分类器来判断一个词是否是有明确的性别的,然后将所有其他词对这些有明确性别的词做上面的步骤即可解决偏见问题。关于其他偏见同样如此。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwfdxg.html