登陆

章鱼彩票电话-信息熵是怎样炼成的 | 留念信息论之父香农

admin 2019-05-24 353人围观 ,发现0个评论

​​撰文 | 丁玖(南密西西比大学数学教授)

留念"信息论之父"香农的最好办法,莫过于重温一下他怎样界说信息熵的数学思维,去了解现代信息论这个根本概念——仅用初等代数即可推导,令人赏心悦目,恋恋不舍!


确认性进程在数学里是习认为常的现象。众所周知,一个函数的迭代进程是确认性的,由于下一个迭代点完全由当时已知的迭代点仅有地确认。比方混沌学中闻名的逻辑斯蒂模型 f(x) = 4x(1-x) ,当x等于0.1时的函数值必为0.36,而不会等于0.35或0.37。相同,一个微分方程初值问题的解也是确认性的:解在任一时间的值是仅有确认的一个数。

可是,和确认性现象相同, 随机现象在天然界也是处处可见的。小孩子们喜爱猜硬币正不和的游戏:将一枚五分钱的平坦硬币在桌上旋转,然后猛地用手把它拍倒按住,猜猜是钱的正面朝上仍是不和朝上。即使旋转过一百次都是正面朝上,榜首百零一次旋转后,硬币正面朝上的或然率仍是同一个概率值:1/2。这便是典型的随机性,它意味着实验效果是不可确认的。假设前史上英国铸币局(牛顿(1643-1727)曾在这儿当了几十年的局长)把钱币成心制成一个圆锥体陀螺形状,那么不管怎样旋转,待它终究停转时总是站在那里,也便是说正面总是朝上,这便是一个确认性的比方——旋转效果是能够猜测的。人们认识到随机性的前史或许比数学史自身还要长,乃至或许就等于人类自己的前史——究竟,孕妈妈肚子里怀的是儿子仍是女儿,自身便是一个不可猜测的随机事情问题。

不确认性作为天然的根本特点,应该怎样用数学的言语去描写呢?“”便是关于不确认性的一个极好的数学描绘。前史上的熵概念起源于热力学。但凡学过热力学、核算物理或物理化学的人对“熵”这一术语都不生疏,可是这一概念开展的初始阶段却跟混沌思维并无章鱼彩票电话-信息熵是怎样炼成的 | 留念信息论之父香农任何前史纠葛。实际上,当熵的名词诞生之时,混沌之祖庞加莱(Henri Poincare, 1854-1912)还仅仅一个年幼无知的少年。当熵的触角从微观的热力学伸展到微观的核算力学之后,才逐步拉近它和混沌概念的间隔。二十世纪中叶的一场信息论革新,无意中在古典熵的旧作坊内又酿造出醇香的新酒。





十九世纪是物理学家大显神通的世纪。假设说十七世纪是微观力学的乐土,十九世纪则是微观力学的会所。热力学和核算力学把眼光由外向里地从机械能转向到内能,熵概念的缓慢演化掩盖了那个世纪后半叶的前三十年。1865年,热力学奠基人之一、德国物理学家和数学家鲁道夫 • 克劳修斯(Rudolf Julius Emanuel Clausius, 1822-1888)榜初次运用了“熵(entropy) ” (从意指“改换容度”的希腊词派生而来)作为热力学的专用名词,并赋予其数学办法。他用 “Sadi” 的榜首个大写字母 S 作为熵的记号,大约是为了留念熵理论前驱者之一、法国工程师萨迪 • 卡诺(Nicholas Leonard Sadi Carnot, 1796-1832)。他写道:“依照希腊词 (trope) 的意思,我将 S 这个量称为体系的熵。我特别取熵这个词是为了让它与能量这个词尽或许相像:这两个词所表达的两个量在物理上如此密切相关,把它们的姓名写得相似完全是入情入理的。” 他的一句名言 “世界之熵趋于无量” 是热力学第二定律在孤立体系中无能量消耗景象下的推论;他的另一句断语 “世界总能量不变” 则是能量守恒定律的浅显说法。




第二年,24岁的玻尔兹曼(Ludwig Boltzmann, 1844-1906)在他关于气体动力学的奠基性论文中,给出了熵的另一办法。十一年后的1877年,他在核算热力学中把熵简略地界说为闻名的“玻尔兹曼常数”乘上与微观状况相容的微观状况的个数之对数。与早先把熵和热量传递绑缚在一同的做法不尽相同,玻尔兹曼把熵当作是无序分子运动紊乱程度的一种衡量。这种新观念,被杨振宁先生(1922-)非常推重的美国物理学家、化学家和数学家威拉德 • 吉布斯(Josiah Willard Gibbs, 1839-1903)精雕细琢,成为核算力学理论开展史上的里程碑之一。1995年夏,在我国厦门大学举行的第十九届世界核算物理大会(东道主学者郝柏林(1934-2018)时任会议主席)上,笔者曾听到与会说话的杨振宁先生主张咱们读读二十世纪初吉布圈养斯那本启迪创意的名著《核算力学的根本原理》(Elementary Principles in Statistical Physics, 1902)。吉布斯于1863年在耶鲁大学取得美国前史上榜首个工程博士学位,并在这所老牌大学度过了他的整个学术生计。他令欣欣向荣的美国扬名天下,惋惜墙内开花墙外香,在科学整体尚欠发达的祖国,吉布斯活着的时分声名未曾显赫,却在逝世前两年被大西洋对岸最强盛时期的英国颁发了伦敦皇家学会的考普利奖(Copley Medal of the Royal Society of London)——诺贝尔奖之前全世界科学界名望最大的奖项。

1. 信息熵


对需求沟通的人类而言,通讯犹如吃饭睡觉相同重要。就像人类不断探究水稻增产相同,不断改进通讯质量与速度的科学研讨一向是全世界方兴未已的作业。1948年,博士结业后就在贝尔实验室里研讨通讯技能的电子工程师克劳德 • 香农(Claude Shannon, 1916-2001)在《贝尔体系技能杂志》(Bell System Technology Journal)上分两期宣布了他终身中或许是最有名的一篇论文:《通讯的数学理论》(A mathematical theory of communications,1948),引入了一条全新的思路,震慑了整个科学技能界,敞开了现代信息论研讨的先河。在这一巨大的奉献中,他引入的“信息熵”之一般概念无足轻重:它在数学上量化了通讯进程中“信息漏失”的核算实质,具有划时代的含义。




克劳德 • 香农(Claude Shannon, 1916-2001)




香农生于美国密歇根州,本科结业于“美国大学之母”密歇根大学。他儿时崇拜的英豪人物是台甫鼎鼎的、谋福全人类的美国大发明家托马斯 • 爱迪生(Thomas Alva Edison, 1847-1931),后来他发现这位英豪是他家的一个远亲。二十岁本科结业时,他拿回了电子工程和数学两张学士文凭。而他在密西根大学修课时接触到英国数学家和哲学家乔治 • 布尔(George Boole, 1815-1864)最有名的作业“布尔代数”,效果了他二十一岁在麻省理工学院完结的章鱼彩票电话-信息熵是怎样炼成的 | 留念信息论之父香农题为《中继及开关电路的符号剖析》(Symbolic analysis of relay and switching circuits,1937)的硕士学位论文。有人说这是二十世纪乃至人类前史上最有价值的硕士论文,由于它用布尔代数的理论初次标明抵挡真假李逵的“符号逻辑”与抵挡电路开关的“0-1数字”具有一致性,然后证明了数字核算机和数字线路的逻辑设计之或许性。

香农开始并没有借用“熵”这个词汇来表达他关于信息传输中的“不确认性”的衡量化。他乃至都不太知晓他所考虑的量与古典热力学熵之间的相似性。他想把它称为“information(信息)”,但又认为这个名词过分大众化,已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty(不确认性)”,但它却更像笼统名词,缺少量化的地步,的确难于确认。总算有一天,他遇见了天才的数学家冯 • 诺依曼(John von Neumann, 1903-1957)。真是找对了人!冯诺依曼立刻通知他:

就叫它熵吧,这有两个好理由。一是你的不确认性函数已在核算物理顶用到过,在那里它就叫熵。第二个理由更重要:没人真实了解熵为何物,这就让你在任何时分都或许进能退,立于不败之地。


香农的信息熵实质上是对咱们习认为常的“不确认现象”的数学化衡量。比方说,假设天气预告说“今日正午下雨的或许性是百分之九十”,咱们就会不谋而合想到出门带伞;假设预告说“有百分之五十的或许性下雨”,咱们就会犹疑是否带伞,由于雨伞无用时确是负担之物。明显,榜首则天气预告中,下雨这件事的不确认性程度较小,而第二则关于下雨的不确认度就大多了。

关于一般的不确认事情,咱们怎样数学地描写它的不确认程度呢?幻想有n个“根本事情”,各自呈现的概率分别为





则它们构成一个样本空间,能够简记为所谓的“概率数组”





样本空间最简略的比方是咱们上面说到的抛硬币游戏,它只需两个根本事情:抛硬币效果是“正面朝上”或“不和朝上”,其间每个事情的概率均为 1/2,其对应的样本空间为 (1/2, 1/2)。假设铸币厂独出机杼地将硬币做成双面不对称,使得抛硬币时正面朝上的概率添加到7/10,而不和朝上的概率削减到3/10,则对应的样本空间便是 (7/10, 3/10)。假设咱们用符号 H(1/2, 1/2) 来表明榜首个样本空间的不确认度,用数 H(7/10, 3/10) 代表第二个样本空间的不确认度,那么直觉立刻通知咱们:数 H(1/2, 1/2) 大于数 H(7/10, 3/10),也便是前者比后者愈加不确认。

更一般地,若用





记样本空间





所对应的不确认度,运用相同的直觉剖析,咱们信任当全部的根本事情时机平等,即都有相同的概率1/n时,其不确认度最大。因此,不确认度函数H应该满意如下的根本不等式:对全部的加起来等于1的非负“概率数”








假设咱们不抛硬币,而像澳门赌场的常客那样掷骰子,每掷一次,小立方骰子的每一个面朝上的概率均为1/6。想一想就知道,某个指定面朝上的不确认度应大于玩硬币时正面或不和朝上的不确认度。将这个直观发现一般化,咱们就有不确认度函数H 应该满意的单调性要求:





假定物理系赵教授、数学系钱教授和孙教授竞赛理学院的一笔科研基金,他们每人请求成功的概率分别为1/2、1/3、1/6。院长为求公正,让每个系得此奖赏的时机平等。若物理系拿到赞助,就到了赵教授的名下。如数学系得到了它,钱教授有2/3的概率拿到,孙教授则有1/3的时机到手。经过剖析“条件概率”,咱们能得出不确认度 H(1/2, 1/3, 1/6) 的数值:这三个教授取得基金的不确认度,等于物理系或数学系拿到这笔基金的不确认度,加上数学系赢得该基金的概率与在数学系拿到基金的条件之下,钱教授或孙教授得到它的不确认度之乘积。换言之,H(1/2, 1/3, 1/6) = H(1/2, 1/2) + H(2/3, 1/3)。推而广之,能够得出不确认度与条件概率有关的“加权和”性质:





已然咱们想用一个美丽的数学公式来表达不确认度这相同本空间概率值函数,咱们天然期望这个函数表达式和简直全部的物理公式相同接连依赖于公式中的全部变元。这样,第四个条件就自可是然地加在了不确认度函数的头上:





香农无需什么深邃的数学,乃至连微积分都可不要,就证明了:任安在全部样本空间上都有界说的函数H,只需它满意以上的“三项根本准则 (2)(3)(4)”,就非如下的表达式莫属:





其间符号 ln 代表以 e 为底的天然对数函数,C 能够是恣意一个常数。并可证明,条件(1)主动满意(有爱好的读者可用初等微积分证之)。当然,熵公式的证明需求的是一种发明的脑筋思维、一手精深的代数技巧、一个奇妙的极限思维。假设C取成玻尔兹曼常数,它就能和当年吉布斯在核算热力学中得到的“吉布斯熵”一模相同。香农取 C = 1,如此得到了非负函数:





依照冯 • 诺依曼的主张,该函数被界说为样本空间 (p1, p2, …, pn) 所对应的信息熵。现在,这个数被广称为“香农熵”,以留念它的发明者、信息论之父——香农。





现在,为了满意读者追根求源的好奇心,咱们在此给出一个高中生也能看懂的简略证明。这是活学活用初等代数的好时机,咱们分三步来证明:










如上证明是我在1989年从我的博士导师李天岩教授于密歇根州立大学所作的大众陈述中听到的。细看一下香农熵的公式,除了负号,它是根本函数 x ln x 的有限个函数值之和。这个函数的图画就像大厨师手中旁边面看过去的长勺子。向上曲折的曲线有几许性质:衔接上面恣意两点的直线段都在这两点之间的曲线段之上。运用初等微分学,读者能够证明,对恣意两个正数a和b,有


a – a ln a ≤ b – a ln b。


这便是现在冠以吉布斯台甫的初等不等式,在全部与熵有关的数学问题中均有上乘体现,比方说咱们鄙人面的第3节就要用到它。

当全部的概率值pi都取为1/n时,吉布斯熵就还原成玻尔兹曼熵,它可当作是最大或许的吉布斯熵。同理,这时的信息熵取值最大,等于 ln n。

2. 柯尔莫果洛夫熵


不到十年,香农熵就在离散动力体系的练武场上大展身手。这首要归功于三十年代就建立了公理化概率论的俄罗斯数学伟人柯尔莫果洛夫(Andrey N. Kolmogorov, 1903-1987)和他在遍历理论范畴的最佳弟子西奈依(Yakov G. Sinai)。五十年代中期,柯尔莫果洛夫在考虑遍历理论的“共轭不变量”这一根本问题时创始了“衡量熵”的理论,而他的门徒西奈依的作业则使得它日臻完美。衡量熵提醒了一般非线性函数迭代终究走向的动态性质,然后和稍迟一点开展的混沌理论交融了起来




柯尔莫果洛夫(Andrey N. Kolmogorov, 1903-1987)


柯尔莫果洛夫可谓俄罗斯民族二十世纪的庞加莱,在世界数学界备受爱崇。他的父亲于沙皇时期投身革新,被圣彼得堡当局驱赶,终究消失在内战之中。因母亲在生产进程中不幸逝世,他随阿姨在赋有的贵族外祖父的庄园中长大,并遭到很好的早期教育。比冯 • 诺依曼大八个月的柯尔莫果洛夫相同是一个前史爱好者。十七岁进入莫斯科大学后,他参加了俄罗斯闻名前史教授的评论班,并写出了他终身中的榜首篇论文,研讨内容不是数学,而是四个世纪前的俄国一个城市的开展史。他较为得意地问教授,该文可否宣布?出乎他预料的答复是:“必定不可!你的论据只需一个,对前史学而言太少了,最少得有五个论据才行。”这位谨慎的教授应该成为国内某些宣布论文心切的人文科学作业者的大榜样。但也正是这位冲击学生决计的前史教授在无意之中把柯尔莫果洛夫面向了另一个五六岁时就萌发的至爱,并令他矢志不渝——由于在数学中定理只需一个证明就够了!

简直在精心研讨俄国前史的一同,年纪轻轻的柯尔莫果洛夫证明了集合论以及三角级数的几个效果。尤其是在1922年,他构造出一个简直处处不收敛的三角级数,一会儿成了令人瞩目的世界数学新星。在那一时间,他立马决议“把全部献给数学”,他的决计就像兵工英豪吴运铎《把全部献给党》相同坚决。在半个世纪的数学生计中,柯尔莫果洛夫大大推进了现代数学的许多分支范畴的开展,如函数论、概率论、直觉主义数理逻辑、泛函剖析、拓扑学、随机进程、经典力学、紊流、遍历理论、核算复杂性等等,被公认为二十世纪全人类最巨大的数学家之一。假设美国数学史家贝尔( Eric Temple Bell, 1883-1960)晚生五十年,或许他那本高文《数学大师:丛芝诺到庞加莱》(Men of Mathematics, 1937)会以柯尔莫果洛夫作为压轴戏,将他称为“终究的万能数学家”,而庞加莱则变成前史上“倒数第二个万能数学家”。

西方物理学界有巨大的导师费米带出了一大批出色的学生,乃至有好几个得了诺贝尔奖,可是西方没有哪个数学家会像柯尔莫果洛夫那样培育或影响一个接一个的天才学生。上世纪六十年代初曾让美国数学新星、1966年菲尔兹奖取得者斯梅尔(Stephen Smale, 1930-)惊羡的“动力体系四大文人”中的阿诺德(Vladimir I. Arnold, 1937-2010)和西奈依便是他的弟子。除此之外,柯尔莫果洛夫效果最光辉、名声最嘹亮的学生是没有上过高中和大学就直接成为其博士生的犹太人伊斯雷 • 盖尔芳德(Israil Moiseevic Gelfand, 1913-2008)。在与其名Israil只需一个字母之差的犹太国度Israel(以色列) ,盖尔芳德和“物理女王”吴健雄(1912-1997)一同站在了榜首届沃尔夫奖的领奖台上,乃至比他的教师还早了两年获此荣誉。依照华东师范大学数学系教授张奠宙 (1933-2019) 在其作品《二十世纪数学经纬》(2002)中所核算的,柯尔莫果洛夫直接辅导过的学生有六十七人之多,可比美孔子“贤弟子七十二”的记载,其间有十四人被选为苏联科学院院士或通讯院士(详细名册可见书本第368页),可谓我国孔圣人的微弱对手。

东方数学界里,在培育学生方面或许能和柯尔莫果洛夫有“最佳迫临”间隔的是我国最巨大的数学家华罗庚(1910-1985)。他门下的数论学家陈景润(1933-1996)证明了离哥德巴赫猜测最近的“1+2”景象,这一传世作业让二十世纪六七十年代的世界数学界再次对我国刮目相看。华罗庚的其他出色弟子,如解析数论的王元(1930-)、多复变函数论的陆启铿(1927-2015)和龚升(1930-2010)、笼统代数学的万哲先(1927-)等,都是在世界上颇有影响的朴实数学家。





让咱们再回到玩硬币的游戏,来阅历一次柯尔莫果洛夫开发衡量熵的思维之旅。可是,这一次咱们不只留意抛一次硬币正面朝上或不和朝上的效果,而是一口气抛上好几回看看有多少种或许性发作。比方接连上抛两次,就有四种或许效果呈现:正正、正反、横竖、反反。由于榜初次抛硬币效果对第2次效果毫无影响,它们是互相独立的,因此四种效果的每一次或许性均为四分之一。

国外硬币的正面通常是本国名人头像,如美国放的便是前史上最巨大的几个总统。





一分硬币(左)上面是亚伯拉罕 • 林肯(Abraham Lincoln, 1809-1865),五分硬币(下)上面马斯 • 杰弗逊(Thomas Jefferson, 1743-1826),一角硬币(上)上面是弗兰克 • 罗斯福(Franklin Delano Roosevelt, 1882-1945),一元硬币(右)上面乔治 • 华盛顿(George Washington, 1732-1799)。


为简化书写,咱们用英文字母H(Head,头)代表正面朝上,T(Tail,尾)代表不和朝上,这样两次抛硬币的全部或许性能够简记成:HH, HT, TH, TT。更一般地,若接连地抛上n次硬币,则有2n个或许效果,每一个效果的概率均为





​每一个效果都是一个根本事情,咱们就有了一个包括2n个根本事情的样本空间





其香农熵的值为 n ln 2。

咱们的直觉是,不管抛了多少次,对下一次的效果咱们依然心中无数。作为一个极点比方,假设抛了一百万次都是头像朝上,榜首百万零一次呢?头像朝上仍是尾巴朝上?尊下打赌的胜率怎么?柯尔莫果洛夫对下面的问题大感爱好:假使已知接连抛了n次硬币的效果,接下来抛第n+1次的效果的不确认度究竟是什么?

让咱们再来一点数学思维吧。数学家爱数字胜于爱符号。正如美国物理学家费恩曼(Richard Feynman, 1918-1988)生前所常常回想到的,他那长于培育孩子好奇心的父亲很早就通知他:知道事物的称号并不重要,重要的是知道其内容。熵在英文里叫entropy,在德文或法文里都是entropie,在俄文里是e。即使认得一百种言语的名词“熵”,却对它的含义知之甚少或一窍不通,乃至不认为然,这只需孔乙己才或许做得到,或培育出孔乙己的私塾先生喜爱这样做。可是现在咱们校园的一些教育办法实质上便是在这么做。





咱们用数字0替代H,数字1替代T。然后接连n次抛硬币的效果可用小数





来代表,其间小数点后边的每个数字非0即1。而这个数实际上可当作是0和1之间的一个数x的“二进制表明”。咱们的双手有十个指头,日常日子中,咱们最喜爱十进制了,它是如此的便利,不明白算术者也可扳扳指头核算。可是,假设一位学过核算机原理的人通知咱们11能够表明“周期三意味着混沌”中的那个数3,咱们或许认为他是瞎说。不,他是对的,由于他用的是核算机中央处理器内运算所用的二进制!二进制最早在莱布尼兹(Gottfried Wilhelm Leibniz, 1646-1716)的作品中呈现,他可称为人类前史上首位核算机科学家!十进制中,咱们“逢十进一”,而在二进制中,就要“逢二进一”了。这样,在二进制中,天然数从小到大摆放的前几个数是 1,10,11,100,101,它们分别是咱们习认为常的十进制数 1,2,3,4,5。咱们从小学的算术熟知,在十进制中小数0.31416能够被展开成“有限项级数”办法:





以此类推,在二进制中小数0.10011有展开式





这样,每一个二进制小数 x = 0.a1a2…an 都能够写成







现在咱们把区间 [0,1] 一分为二:左面的半个区间 [0,1/2) 和右边的半个区间 [1/2,1]。留意,为了叙说严厉起见,这两个子区间前一个是“左闭右开”的,后一个是“双方都闭”的,它们的交集为空集,亦即没有一同的元素。清楚明了,若





则x归于 [0,1/2),若





1,则x坐落 [1/2, 1] 之中。想想看





怎样确认x的方位?

咱们能够借用把 [0,1] 区间映到自身上的一个逐段线性的“加倍函数”来解说接连抛硬币的数学游戏。这个函数的界说是:当x大于或等于0而且小于1/2时函数值为2乘上x,而当x大于或等于1/2而且小于或等于1时函数值为2乘上x再减去1。更简略地说,这个函数便是将自变量加倍,再丢掉效果的整数部分。它的简练表达式便是 f(x) = 2x (mod 1),其函数图画是两条斜率是2、互相平行的斜线段。它是坚持长度的,意思是任何子区间和它在 f 下的逆像都有持平的长度。一个区间在函数下的逆像是函数界说域中全部那些数的整体,这些数的函数值章鱼彩票电话-信息熵是怎样炼成的 | 留念信息论之父香农都落在该区间内,它能够经过函数图画画水平、垂直线得到。这个加倍函数不是处处接连的,在区间的中点1/2处有个跃度为1的跳动性接连,这从图画上一眼就知。用更专业的术语讲,它是一个“勒贝格可测函数”。加倍函数和逻辑斯蒂模型相同,都是混沌学家教育时宠爱的混沌比方。




f(x) = 2x (mod 1),x∈[0,1]





动力体系寻觅的是进程的终极行为。当天然数n走向无量大时,上述不确认度的极限值就被称为函数 f 关于区分 P 的熵。这个熵值依赖于函数界说域区间 [0,1] 的区分。该界说域能够被区分为恣意有限多个互相互不相交的子集之并,而不同的区分一般给出不同的熵值。界说域的全部区分所对应的熵的“最大值”(更严厉地说,是对应于全部的有限区分的熵值之“最小上界”,由于无量个数放在一同或许找不到最大数,比方全部比3小的正数没有最大值,但其最小上界为3)就叫做 f 的柯尔莫果洛夫熵又称为测度熵或衡量熵,由于它用的是勒贝格所创始的一般测度论东西来衡量保测函数迭代终究性态的紊乱程度。

咱们用来描绘硬币游戏的这个加倍函数的衡量熵等于2的天然对数:ln 2 。请留意,这是一个正数。现在动力学家们都已知道,具有正熵的确是混沌动力体系的一个典型性质。同法可知,将自变量添加六倍后再丢掉效果整数部分的“六倍函数”(数学上这个函数可写成 6x(mod 1)的办法,图画是六根斜率为6的平行斜线,其不接连点为 1/6, 1/3, 1/2, 2/3, 5/6),它的测度熵则为 ln 6。六倍函数能够当作是掷六面骰子(有六种平等时机呈现)效果之不确认度。“十倍函数” 10x(mod 1) 的熵是 ln 10,而“百倍函数” 100x(mod 1) 的熵则跳到 ln 100了,顺次类推。倍数越进步,熵值越变大,不确认度就越可观,这便是为安在无线通讯中,工程师们常用高度混沌的“高倍函数”参加信号的传输。




二倍函数f(x) = 2x(mod 1)(左)与十倍函数f(x) = 10x(mod 1)(右)的图画比照。

柯尔莫果洛夫熵是遍历理论中的一个极端有用的共轭不变量,即互相共轭的保测函数同享同一熵值。事实上,早在1943年,人们就现已知道以概率论前驱雅各布 • 伯努利(Jacob Bernoulli, 1654-1705)姓名命名的、界说在0、1两个符号构成的双向序列符号空间上的“(1/2,1/2)-双方移位”和界说在0、1、2三个符号构成的双向序列符号空间上的“(1/3,1/3,1/3)-双方移位”都具有数目和天然数相同多的“勒贝格谱点”,因此它们两兄弟是谱同构的。但数学家们一向弄不清楚它们是否也共轭,即:这两个符号空间之间是否存在一个保测同构,使得一个位移与它的复合运算和它与另一个位移的复合运算效果完全是一码事?1958年,合理遍历理论家们为这个根本的未决问题费尽心机之时,柯尔莫果洛夫刚刚产下了的“熵”立刻派上了大用场:他经过核算发现这两个伯努利双方移位具有不同的熵值,前一个为 ln 2,后一个则为 ln 3,故它们不或许是共轭等价的。

大数学家的手一旦扭转乾坤,共轭难题的一旦处理,熵立刻成了动力体系行家们争相一抱的宠儿。很快,依据紧拓扑空间有限开掩盖概念、用于探究接连函数迭代渐近性态的“拓扑熵”在柯尔莫果洛夫熵的思维指引下由西方数学铺子的三大“铁匠” R. Adler, A. Konhein 和 M. McAndrew 铸造出炉,并和柯尔莫果洛夫依据测度概念的“衡量熵”密切相关,成为研讨拓扑动力体系混沌性质的好东西。只需把紧拓扑空间的有限开掩盖中的每个开子集当作所谓的波雷尔可测集,拓扑熵和柯尔莫果洛夫测度熵的数学推导进程较为相似;文末参考文献[1]给出了一个初等的推导。举一个简略的比方,闻名的混沌映射之一“帽子函数”有拓扑熵 ln 2,它也等于其柯尔莫果洛夫熵。




Hat function

3. 玻尔兹曼熵


玻尔兹曼熵能够当作是离散办法的香农熵在接连办法下的对等物。让咱们回想一下,对应于有限样本空间





​的香农熵为





它看上去像某个被积函数的黎曼和。这引导咱们走向界说一般密度函章鱼彩票电话-信息熵是怎样炼成的 | 留念信息论之父香农数的玻尔兹曼熵。为防止运用深邃的测度论言语,咱们只考虑 [0,1] 区间上的可积函数整体,用符号





表明。这儿的积分应该指的是数学系大三或大四才学的实变函数论里的勒贝格积分,但低年级的大学生能够把它幻想成初等微积分中的黎曼积分;至少对接连的函数,这两种积分是相同的。可积的非负函数而且积分值为1则称为密度函数











1957年,美国物理学家埃德温 • 杰恩斯(Edwin T. Jaynes, 1922-1998)在他分两次宣布、至今已被引证了将近12000次的论文《信息论与核算物理》[2] 中初次提出了“最大熵准则”。这个准则大致是说,当一个不知道的概率密度函数的某些“可实验信息”(例如有限多个的矩量或期望值)已知但却不能仅有地确认该密度函数时,合理选用的不知道密度函数最佳迫临应是具有最大玻尔兹曼熵的那个密度函数,因它最不带有“成见” (least biased)。依据最大熵定理,这个具有最大熵的密度函数不光是存在的,而且它能够经过矩量函数的某个线性组合与指数函数的复合函数,再规范化成一个密度函数来得到,只需这个特别办法的密度函数具有和不知道密度函数一模相同的那些已知矩量值。

这样一来,杰恩斯的最大熵准则效果了数值重获不知道密度函数的一个叫做“最大熵办法”的核算程式。事实上,六十年来,这是数学物理学家和工程师常常选用的一种“密度核算法”。杰恩斯终生在美国圣路易市华盛顿大学任教,1984年,物理系稠密的最大熵气氛熏陶出一位名叫劳伦斯 • 米德(Lawrence R. Mead, 1948-)的博士。退休前他和笔者在同一所大学执教并合写过文章,是个很会教育、取得过两次校级教育奖的物理教授。米德终身中最有名的研讨作业大约便是取得博士学位那年在《数学物理杂志》上宣布的一篇协作论文[3],至今停止每年都有不少人引证。在这篇题为《矩量问题中的最大熵》的文章里,作者证明了最大熵办法的弱收敛性,而这种收敛性关于物理学家考虑的许多问题来说现已是捉襟见肘了。数学家则感到不够劲,所以就有两位加拿大的数学家乔纳森 • 博旺(Jonathan M. Borwein, 1951-)和艾德里安 • 刘易斯(Adrian S. Lewis, 1962-)在九十年代初严厉证明了最大熵办法的强收敛。

在最大熵办法中,传统的做法根本上是用单项式





来核算密度函数的对应矩量,但在核算数学家的眼里,这是价值极大的数值处理,由于算法极不安稳,用数值代数学家的行话说便是“条件数太大了”。难怪物理学家们能用到十来个矩量就感觉不得了了。对孜孜以求数值收敛性的核算数学家们来说,这怎么能过瘾呢。所以,一个新的主意[4]应运而生:把有限元的逐段多项式思维与最大熵准则相结合。这个算法借用了有限元空间基底函数“一的分化”的好性质,榜初次用到与混沌有关的“不变密度函数”的数值核算上,条件数出奇地小,而且用到一百个乃至一千个矩量值也不在话下。

现在,形形色色的熵:信息熵、衡量熵、拓扑熵、玻尔兹曼熵,加上定量描写“对初始条件敏感性”的李亚普洛夫(Alexandre Mikhailovich Liapunov, 1857-1918, 俄国数学家,以微分方程安稳性理论著称于世)指数,再加上遍历性、混合性、可递性等用核算观念看混沌的根本概念,一同组成了混沌、分形范畴里旗开得胜的十八般兵器。

参考文献

[1] “Entropy - an introduction,” Jiu Ding and Tien-Yien Li, NankaiSeries in Pure and Applied Mathematics and Theoretical Physics, Volume 4, WorldScientific, 26-53, 1993.

[2] Information theory and statistical physics, Physics Review 106(4), 620-630, 1957; Information theory and statistical physics, Physics Review 108(2), 171-190, 1957

[3] L.R. Mead and N. Papanicolaou, Maximum entropy in the problem of moments, J. Math. Phys. 25, 2404–2417, 1984.

[4] J. Ding, C. Jin, N. Rhee, and A. Zhou, ``A maximum entropy method based on piecewise linear functions for the recovery of a stationary density of interval mappings,’’ J. Stat. Phys. 145, 1620-1639, 2011.






版权声明:本文由《返朴》原创,欢迎个人转发,禁止任何办法的媒体未经授权转载和摘编。

《返朴》,努力好科普。世界闻名物理学家文小刚与生物学家颜宁联袂担任总编,与几十位学者组成的编委会一同,与你一同求索。重视《返朴》(微信号:fanpu2019)参加更多评论。二次转载或协作请联络fanpu2019@outlook.com。

特别提示:「返朴」正在求贤,有意者请戳“求贤”联络咱们,等你来哦!​​​​

  • 章鱼彩票电话-促进创新和市场竞争是中国经济未来增加的要害
  •   2019年A股上市公司半年报己于8月发表结束。这一窗口期往后,承受组织调研的公司显着增多。据数据计算,刚曩昔的9月上半月(9月1日至17日),264家公司承受组织调研。其间,82家公司被 10家以上(含)组织组团调研章鱼彩票电话-机构上半月“摸底”264家公司 逾七成为中小创。两项数据分别是上月同期的2.49倍和1.49倍。

      其间,

  • 章鱼彩票电话-机构上半月“摸底”264家公司 逾七成为中小创

    2019-09-19
    请关注微信公众号
    微信二维码
    不容错过
    Powered By Z-BlogPHP