彭桓武身上存在着许多相互矛盾的东西，换种说法：在很多人眼中，彭桓武是个怪人。他一方面记性好，一方面忘性大。记性好表现在数学、物理学方面。原子弹、氢弹理论攻关时，他常在小黑板上推导出一长串公式，手里的粉笔从不打绊儿，甚至到80多岁，物理学上那些繁杂得吓人的公式，他都能毫厘不差地背出来，这令他的同事们惊叹称奇。在日常生活中他却是个忘性大的人。时常有这种情况出现：当别人兴致勃勃地讲起他不久前所做的事时，他像第一次听到一个与自己毫不相干的故事，显出同样的兴致勃勃和一脸的无知：“真有这样的事？”他曾试图把忘性大的罪过归咎于62岁那年得的脑膜炎，可马上就有同事站出来替脑膜炎“喊冤”。因为在此之前，就有人问他钱伟长戴不戴眼镜，与钱伟长在清华大学同一小组做实验达4年之久的他，竟回答不出来！

1950年5月19日，中国科学院近代物理研究所成立。彭桓武兼任近代物理研究所研究员、理论组组长，参加建所工作。1952年4月，任中国科学院近代物理研究所副所长。为开展工作，所里动员科学家去城里废品站拾掇一些可供研究用的旧金属。副所长彭桓武穿着一身留学时的旧西装，因为不修边幅，显得不土不洋。一天，他正在天桥废品站集中精力寻找废品，没想到公安人员却怀疑上了他，目光紧盯着他不放。经观察，公安人员认定他“有利可图”，是个可供盘问追查的目标。于是，走到彭桓武跟前：“喂，跟我走。”彭桓武听声放下手中废品，直起了腰，但莫名其妙：“跟你走干什么？”“干什么？你想想你要干什么？”公安反问。“我拾废品。”“快走，别啰唆！”“去哪里？”“派出所。”“我是物理研究所的，与派出所毫不搭界，去派出所干什么？”“快走，去了你就知道了。”

在派出所，憨态可掬的彭桓武又竭力为自己辩白。尽管他能将相对论、量子力学等高深的科学讲得头头是道，说服很多人，可是面对公安人员他竟显得嘴拙，无论他怎么解释，公安人员就认定他是个可疑的坏人，要么是小偷，要么是想干其他破坏活动，说自己拾废品是假装的。最终还是研究所副所长钱三强去做了一番解释，才将这位也是副所长的彭桓武“领”了回来。

彭桓武常称“忙”而谢绝会客，但是他却常蹲在路边看别人下棋，一看就是半天。一回午饭后，见马路边有人在下象棋，他便蹭了过去。看得正专注入神，同样因衣着不整而被一个公安将蹲着的他拉起来。他没在意，用手拂去了公安抓他衣领的手，又蹲下看，可还未蹲稳又被拉了起来。“你跟我走！”一声喝令，使他从棋局里收回神来。他看了看公安说：“我看棋碍你什么事？”“你不碍我的事，可是你碍了别人。”“你这不是白天说瞎话吗？我碍着了谁？分明是你碍了我。”“你不像个真看棋的，倒很像个动机不良的人。”……不由分说，他被冤枉地带到派出所。

有了上回的经验垫底，这回彭桓武可是理直气壮：“我是科学家，在科学院工作。”公安一听便笑，那笑意分明是“说”彭桓武在撒弥天大谎。直至彭桓武让公安给单位打电话，公安才知理屈，忙着道歉。接着，公安送他回单位，并向单位赔不是……

为打破帝国主义的核垄断、核讹诈，1955年初，中央做出了发展核事业的战略决策。同年10月，彭桓武以特派实习生的身份赴苏联学习核反应堆理论，回国后讲授反应堆理论，同时为核工业部新招来的大量工程师补“核工原理”专业基础课，培养核科学技术人才。

1960年，中苏关系破裂，苏联专家撤走，我国核武器研制彻底走上自力更生的探索道路。为集中力量攻克原子弹理论和工程技术难关，1961年初，全国抽调了一批杰出科学家和工程技术人员到北京第九研究所（中国工程物理研究院前身），后被公认为核武器研制“三根台柱”的彭桓武、王淦昌、郭永怀就是其中的杰出代表。当钱三强通知彭桓武“中央决定调你去核武器研究所顶替苏联专家的工作”时，他说：“国家需要我，我去。”

彭桓武作为主管理论部的副所长，组织领导并亲自参与理论研究，加速了原子弹、氢弹理论突破的进程。他大力倡导“粗估”法则，引导大家抓主要矛盾，化繁为简，缩短研究周期。这一法则成为当年理论部研究的重要手段之一，对突破原子弹原理的“九次计算”攻关，起到了重要作用，使原子弹设计工作得以全面展开。同时，他牵头负责中子点火技术委员会，开展平等民主的学术讨论。不论年龄、资历、身份，大家畅所欲言、集智攻关。

通过大量计算和系列理论研究，攻克一道道难关，我国终于掌握了原子弹爆炸过程的基本规律，于1963年完成了原子弹装置初步物理设计方案。彭桓武随即迅速组织力量向突破氢弹理论转移。在他的领导下，重视基础理论研究、发扬学术民主和协同攻关等原子弹突破的成功经验，也成为突破氢弹原理的利器。彭桓武指挥，邓稼先挂帅，周光召、于敏、黄祖洽分头带领科研人员进行多路探索，从氢弹原理、材料、结构等全面展开研究。

1972年11月，彭桓武调至中国科学院高能物理研究所任副所长。1978年6月，他任中国科学院理论物理研究所第一届所长，4年后任理论物理研究所名誉所长。

彭桓武在科学上不断出奇出新，在生活中也不时演绎层出不穷的新鲜事，时常令他身边的人忍俊不禁，开心乐怀。自然，有人笑他“痴”，有人笑他“愚”。“文革”时，多所学校曾贴彭桓武的大字报。别人遇到这类伤心事，都绕道过，可彭桓武却无所畏惧，有时反倒认为是“高兴事”。一天，他去科技大学讲课，听说科大贴了他的大字报，就去看贴了些什么。他瞪大眼睛把“资产阶级学术权威”看了好几遍，一边看一边喜不自禁。以后逢朋友便说：“科大的大字报表扬了我，说我是‘资产阶级学术权威’，这多好哇，没有加‘反动’二字，这不是表扬又是什么？”他憨憨地带着争辩的喜色。