页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「交叉熵」找到 12 条内容
按专题浏览 →匹配正文：…模型输出概率 \hat{y} = \sigma(z) = \frac{1}{1+e^{-z}}，其中 z = w^Tx + b。 交叉熵损失： \mathcal{L} = -\left[ y\log(\hat{y}) + (1-y)\log(1-\hat{y}) \right] 或等价写成： \mathcal{L} = -\log P(y|x) = \begin{cases} -\log(\hat{y}) & y=1 \\ -\log(1-\hat{y}) & y=0 \en…
匹配正文：…dp=2(p-y)，而 p=σ(z) 时 dL/dz=2(p-y)p(1-p)。不能把对概率和对 logit 的导数混写。 二分类交叉熵为 L=-[y log p+(1-y)log(1-p)]，与 sigmoid 合并后 dL/dz=p-y。多分类 softmax 交叉熵对 logit 的梯度同样是 p-y_onehot。交叉熵的优势不是“从不衰减”，正确且高置信样本的梯度本来就会趋近零；关键是自信错误时不会像 MSE 那样再额外乘一个饱和的 p(1-p)。 语言模型的下一个…
匹配正文：…优化证明 不用死磕 应用岗基本用不到,遇到再查 矩阵微积分 不用死磕 训练侧才需要,应用岗跳过 损失函数数学证明 不用死磕 知道"交叉熵衡量预测分布和真实分布的差距"这一句话够用 判断原则很简单:凡是"用来解释一个已有系统为什么这么设计"的直觉,补;凡是"用来自己从零训一个模型"的推导,先放下,真需要时再回补。 为什么应用岗真的不靠数学 因为应用开发岗每天在做的事,和数学推导几乎不沾边。把一天拆开看就清楚了: 日常工作 需要的能力 需要手推数学吗 文档切块、清洗、构建索引 数…
学习内容与项目面试，在同一条路上。