交叉熵是什么

问题补充说明：谁能解释一下什么是交叉熵啊？不懂！哪能找到这方面的资料，谢谢啦！

　　语言模型的性能通制误病常用交叉熵和复杂度（perplexity）来衡量。交叉熵的来自意义是用该模型对360问答文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。

　　　　复杂度的意义是用该模型表示这一文本平均的分支数，家其倒数可视为每个词似远的平均概率。平滑是指对没观察到的N元组合赋予一个概率雷独值，以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。

　　歧义问题的描述和消计消请言除问题是制约计算语言学发展的瓶颈问题．将交叉熵引入计算语言学消岐领域．采用语句的真实语义作为交叉熵的训练集的先验阿排信息，将机器翻译的语义作为测试维集后验信息。计算排跳优两者的交叉熵，并以交叉熵指导对歧义的辨识和消除．实例表明谈死且，该方法简洁有效．易于计算机白适应实现．交叉熵不失为计算语言学消岐的一种较为有效的工具。

标签：交叉