讨论:熵 (信息论)

标题文本

熵，熵的增加原理 用英文怎么说？

熵的增加原理 应该是热力学的题目吧 ? SDiZ 08:43 2005年7月9日 (UTC)

信息量

使用书写单元越多的文字，每个单元所包含的信息量越大。

这一句... 似乎有问题吧？句子越长，所含的信息量不一定越大。还是我有什么误解？

英文版类似的句子是If all the outcomes (letters in the example above) are equally likely then increasing the number of letters should always increase the entropy.。 这一句是有前设$P_{1}=P_{2}=\cdots =P_{n}$的。 -- SDiZ 08:49 2005年7月9日 (UTC)

即使不等概这结论也是大致成立的，因为可以算平均信息量（也就是熵拉）。比如有几万个汉字的汉语，每个字的信息量要比拼音文字中每个字母的信息量大。--Alexcn 09:11 2005年7月9日 (UTC)

几万个汉字的汉语跟二十数字的英语比较, 当然汉字的信息量比较大。但当然也会有例外……例如 系统1: $S=\left\{\alpha ,\beta \right\}\,P=\left\{{\frac {1}{2}},{\frac {1}{2}}\right\}$ 跟 系统2:$S'=\left\{\alpha ,\beta ,\gamma \right\}\,P'=\left\{{\frac {9998}{10000}},{\frac {1}{10000}},{\frac {1}{10000}}\right\}$…… 符号$\alpha$ 在系统1 中的信息量比较大吧? .... 有错请指正 -- SDiZ 14:20 2005年7月9日 (UTC)

是这样。但是实际的文字系统不会出现S'的情况。而且对于S'完全可以将罕见的字符排除在外，这样S'就只有一个字符了。就像汉字虽然上万，但是常用的3000个字就占到使用频率的99%。另外比较某个特定字符的信息量没什么意义，只有平均信息量，也就是熵才能衡量不同文字系统承载信息的能力。英文每字母的熵大概是1.4bit，汉字大概不低于3bit。--Alexcn 05:36 2005年7月10日 (UTC)

标题

建议条目标题改成信息熵。--Alexcn 09:11 2005年7月9日 (UTC)

同意—以上未签名的留言由104.128.86.127（对话）于2019年3月26日 (二) 12:31 (UTC)加入。

优良条目评选

熵 (信息论)（编辑 | 讨论 | 历史 | 链接 | 监视 | 日志），分类：，提名人：10211who（留言） 2019年8月9日 (五) 14:30 (UTC)

投票期：2019年8月9日 (五) 14:30 (UTC) 至 2019年8月16日 (五) 14:30 (UTC)
下次可提名时间：2019年9月15日 (日) 14:31 (UTC)起
请记得为当选条目撰写简介页面，如此当选条目才有可能出现在首页。

• (＝)中立：提名人票。内容丰富10211who（留言） 2019年8月9日 (五) 14:30 (UTC)
• 不符合优良条目标准：来源明显不足--Z7504非常建议必要时多关注评选（留言） 2019年8月9日 (五) 14:54 (UTC)

---

根据优良条目标准有关“即时不合标准”的条文：“1.与六个优良条目标准的任何一个有较大差距”（条目违反优良条目标准2b：“所有内文引用来自可靠来源，包括直接引用、统计、发表的意见、受到挑战或可能受到质疑的反直觉或有争议的陈述，以及与在世人物有关的有争议的材料”）、“3.它有或需要维护模板，毫无疑问仍然有效”，此条目属于上述情况，我打算快速不通过结案。산모사 ^DC17_{GAN FLN} 2019年8月10日 (六) 11:42 (UTC)

问一下@VulpesVulpes825、Super Wang、Wolfch三位的意见如何，基本可以快速结案，但好像没有此种先例处理过。--Z7504非常建议必要时多关注评选（留言） 2019年8月10日 (六) 12:53 (UTC)

我认为之后有必要就何时快速关闭作出规范。산모사 ^DC17_{GAN FLN} 2019年8月10日 (六) 13:46 (UTC)

应该可以直接按照及时不合标准快速关闭该条目评选。我是希望优良条目标准在未来可以成为方针。-- VulpesVulpes825 (留言) 2019年8月11日 (日) 01:16 (UTC)

既然Wikipedia:优良条目标准中有"即时不合标准"的内容，而此条目符合其中所述，因此赞成快速关闭此条目评选。--Wolfch (留言) 2019年8月13日 (二) 14:40 (UTC)

不合要求，理由见上，故未达标准--Z7504非常建议必要时多关注评选（留言） 2019年8月14日 (三) 03:28 (UTC)