黄克诚是个极有主见、敢讲真话，勇于逆错误潮流而进的领导者。在原则问题上，他始终坚持不苟同，不盲从，不赶浪头，不追时髦，服从真理，刚直不阿，无私无畏。

中共六大后，李立三“左”倾冒险主义一度统治中央。1930年6月，中央政治局通过《新的革命高潮与一省或几省首先胜利》决议案，机械地搬用俄国十月革命的经验，认为只要在产业区域或政治中心突然爆发一个伟大的工人斗争，就可以立即通过武装起义实现一省或几省的首先胜利，建立全国性的革命政权，进而夺取全国所有省区的胜利。为此提出红军的任务“是与主要城市的武装暴动配合，夺取政权，建立全国革命政权”。在许多人为中央关于攻打中心城市的指示摩拳擦掌时，黄克诚的反应却“感到有些不妙”。

他参加过南昌起义和湘南暴动。南昌起义时，我军一路攻坚披锐，结果在汤坑、三河坝遭到失败，三万多人的部队几乎打光了。朱德和陈毅收拢了南昌起义保存下来的八九百人，拉到湘粤交界一带，发动了著名的湘南暴动，近万农军揭竿而起，整个湘南树起了红旗，何等壮烈！但于井冈山会师不久，立足未稳，就把湘南农军派回攻打县城，结果纷纷失败，八千湘南子弟所剩无几。湘南暴动时装备最好、战斗力最强的第二十九团再度远离根据地，向湘南冒进，虽一度占领郴县县城，但很快又招致失败，只剩下约一连人回到井冈山。最后，还是靠毛泽东在井冈山坚持的这块革命根据地保存了革命力量。黄克诚从自己的亲身经历中意识到，靠我们现有的力量去夺取中心城市，无异于以卵击石，并有可能重蹈以往几次失败的覆辙。

基于上述分析，黄克诚致信彭德怀，建议放弃攻打中心城市。在红三军团前委、湖南省委、湘鄂赣特委联席会议上，黄克诚毫不含糊地表明自己反对攻打武汉、长沙的立场，说：现在提出夺取武汉的主张是不现实的，因为目前根本不具备夺取武汉的条件。长沙不是不可以打，但不是暴动夺取长沙，而只能是采取游击军事行动，设法将长沙守敌吸引到野外歼灭之。黄克诚的主张受到会议严厉批评，被指责为严重右倾机会主义。为此，上级撤销了关于提升黄克诚为纵队政委的任命。

1959年7月，在庐山会议上，彭德怀受到错误的批判。起因是7月14日晚，国务院副总理兼国防部部长彭德怀针对当时客观存在的问题，给毛泽东写了一封信，陈述了他对1958年以来“左”倾错误及其经验教训的意见，信中首先肯定1958年“大跃进”的成绩是正确的；接着指出“大跃进”的问题所在，直截了当地指出：“浮夸风、小高炉等等，都不过是表面现象；缺乏民主、个人崇拜，才是这一切弊病的根源。”

总结1958年的经验教训原本是会议的主题，但是毛泽东把彭德怀信中提出的意见与党内党外出现的对“大跃进”和人民公社化运动存在的突出问题批评联系起来，认为这是向党进攻的右倾机会主义。7月16日，毛泽东突然批示将彭德怀的信印发给与会全体同志，随后，会议转入对这封信的讨论。7月23日，毛泽东在大会上讲话，认为彭德怀的信表现了“资产阶级的动摇性”，是向党进攻，是右倾机会主义的纲领。从此，会议转为对彭德怀、黄克诚、张闻天、周小舟等的所谓“右倾机会主义”、“反党集团”问题进行揭发批判。

黄克诚原本是没有与会任务的。彭德怀给毛泽东写信后，7月15日，毛泽东提出要北京再来一些人，参加最后几天的会议。这样，黄克诚、彭真等于7月17日赶到庐山。黄克诚对彭德怀的信的反应令毛泽东大失所望。黄克诚在自述中说：“上山后刚进住房，彭德怀就拿着他写给毛主席的信给我看。我仔仔细细看了一遍，说：这封信提的意见我赞成，但信的写法不好，语言中有的提法有刺激性”。这个看法与中央其他领导人刘少奇、朱德等的意见也比较接近。

经过慎重考虑，黄克诚认为彭德怀给毛泽东信的基本观点是对的，于是，在19日的小组讨论发言中，他又作了比较全面的阐述，支持了彭德怀的意见。这个发言使毛泽东对黄克诚的忠诚产生怀疑，并把黄克诚看成是彭德怀集团的骨干成员。在7月30日的谈话中，毛泽东给黄克诚戴了几顶帽子：一是彭德怀的政治参谋长，二是湖南集团的重要人物，三是“军事俱乐部”的主要成员，指责黄克诚的观点与彭德怀基本一致，并说了“看来我不了解你和彭的关系，也不了解你这个人”这样的重话。

黄克诚逐渐认识到，他已被列入彭德怀的亲信。毛泽东召开一连串的会议，讲路线问题，谈党内有分裂倾向，右倾机会主义向党进攻，谈允许犯错误的同志改正错误，是在教育和争取自己回头。但是，他是一个说不出违心的话、办不出违心的事的人，他与彭德怀的关系堂堂正正，他确实说不出彭德怀的所谓反党问题。因而，屡屡不能过关。有一位中央领导找他谈话，以帮助他解脱的善意劝黄克诚对彭德怀“反戈一击”。黄克诚坚定地说：“落井下石”得有石头，可是我一块石头也没有。我决不做诬陷别人、解脱自己的事。这一态度表现了黄克诚坚持真理的鲜明立场，但他却为此付出了极大的代价。在接着召开的党的八届八中全会上，黄克诚被撤销中共中央书记处书记、中国人民解放军总参谋长的职务。