尼赫鲁执政后期，在政治上遭遇了一连串的棘手问题。1962年2月，印度举行第三届大选。尽管国大党在收复果阿和利用中印边界争端，大肆宣扬民族主义，揽得一部分民心，但大选的结果仍显示国大党在中央和各邦的地位有所削弱，如在人民院减少了10议席。更严重的是，1963年8月22日社会党议员克里帕兰尼利用国大党政府在中印边界战争中惨败，在议会中对尼赫鲁的内外政策进行攻击并提出不信任案。这是独立以来反对党第一次对尼赫鲁的领导地位提出挑战。在内阁中，尼赫鲁一手提拔的亲信国防部长梅农也被迫下台。

国大党内的派系之争此时日益表面化。内政部长潘特和财政部长莫尔拉吉·德赛为首的右翼集团对尼赫鲁的经济政策表示不满。1961年潘特去世，德赛作为国大党元老，以及凭借在党内和政界的资格，接任内政部长本无可厚非，但尼赫鲁对他进行排斥，任用了较为听话的夏斯特里担任这一要职。中印边界战争后，德赛派利用尼赫鲁威望下降，对其政治、经济、外交等方面的政策提出了更多的责难。如1963年5月，由于国大党在补缺选举中的失败，国大党全国委员会80名委员联名要求中央召开特别会议检讨遭受挫折问题，这被称为“罕见的请愿”。党内外的反对声连成了一片。

对于这一不利局势，尼赫鲁决不会无动于衷，他的反击从党内开始。契机是所谓的“卡马拉季计划”。1963年春，马德拉斯邦首席部长卡马拉季建议，为了使国大党焕发活力，重塑形象，要求党的领导人辞去政府职务，将全部时间和精力投入党的工作。5月尼赫鲁批准卡马拉季辞去马德拉斯邦首席部长。8月8日国大党工作委员会通过卡马拉季计划，尼赫鲁率先提出辞呈，但受到再三挽留。在以身作则的标榜下，8月10日担任中央部长和邦首席部长的国大党人几乎全都提出了辞职，由尼赫鲁决定去留。结果共有12人被免职，中央部长和邦首席部长各六人。其中有财政部长德赛、内政部长夏斯特里等。即便在十年后，德赛仍耿耿于怀，认为这是有预谋的别有用心，目的是为英迪拉·甘地接班扫清障碍。

尽管德赛的后话夹杂着诸多个人恩怨，但当时的接班人之争并非空穴来风。在内阁经历了“不流血清洗”后，一向不被看重的国大党主席职位成了新一轮争夺的目标。因为当上党主席者，为继任总理增加了砝码。当时德赛和夏斯特里是最有力的竞争者。1963年10月以卡马拉季为首的五名地方领袖组成的实权派，在安得拉邦提鲁帕帝聚会。由于这五人都是执掌一邦的实权人物，政见相同并且共同进退，报界就借经济学中“辛迪加”一词的概念，称他们为“辛迪加派”。这五人达成一致，力荐夏斯特里为党主席人选，并竭力排斥德赛占据此位。这并非政见不同，而是两人秉性各异，德赛自恃老资格，保守、强横，而夏斯特里谦逊、无争，是一名出色的协调者。辛迪加派认为夏斯特里更易控制。1963年11月，在选举国大党主席时，夏斯特里不愿与德赛公开冲突，拒绝参与竞选。在尼赫鲁的允诺下，辛迪加派出面工作，终使卡马拉季获得通过，当选为国大党主席。但是德赛作为党内右翼反对派，仍在等待时机，原先内部较为稳定的国大党，现在却是暗流涌动。

此时，一贯比较忠诚的军队也产生了一些不同的声音。军官们表示不希望文官干预军事。尼赫鲁则时时担心“军队权力增长的危险”，担忧发生军事政变。政府采取了一些秘密措施，一些高级军官受到监控，中央后备警察的一些特务部队安营在首都附近。甚至还制订了应急计划，一旦情况紧急，就将尼赫鲁转移到安全地方。

在尼赫鲁执政后期，印度的经济一路下滑，陷入了困境。在中印边界战争中，印度支出了巨额费用。战争惨败后，更是走上了大规模扩军备战的道路。军队从战前的51万人，增至1963年的71万人，并在五年内进一步扩至90多万。在1963—1964年度的财政预算中，军费开支占总支出的46%，高达81.6亿卢比。由此造成的财政赤字达45亿卢比，比战前翻了一倍多。为了弥补财政缺口，尼赫鲁政府不得不在国内募集基金、发行国债、增加税收，搞通货膨胀，这转而使人民怨恨，社会不稳。其次，大量进口军火，进口粮食，使本已岌岌可危的外汇危机，濒于崩盘。尼赫鲁政府不得不转向国外乞求“援助”，形成债台高筑。为了从美苏获得更多援助，印度政府不得不向两者靠拢，不结盟名存实亡。

社会危机接踵而至。60年代起，印度民众多次举行集会、罢工，提出反饥饿、反迫害，要求增加工资。政府以战时“全国紧急状态”名义，调集军警，对群众运动进行镇压，多次发生流血冲突。同时，克什米尔局势再度紧张，1963年12月克什米尔爆发群众运动，要求政府释放地方领袖阿卜杜尔，以及建立民主政府。再者，印度教徒与穆斯林的仇杀又在印度境内蔓延，东巴基斯坦与印度交界地区一度造成新的难民迁徙流。

1964年1月8日，尼赫鲁在国大党年会上突然中风，以前若隐若现的接班人之争，此时越来越表面化了。为削弱右翼势力，并在卡马拉季等人的力挺之下，1月21日尼赫鲁宣布夏斯特里重新入阁，任不管部长。同时，顽强的尼赫鲁并不退缩，抱病坚持工作，并且让迅速崛起、已逼近最高权力的女儿英迪拉·甘地在身边处理政府与私人事务。4月22日尼赫鲁坚持出席人民院会议并讲了话。然而他的病情发展很快，5月27日早晨尼赫鲁突然感到腹部疼痛并昏迷过去，下午1时20分与世长辞，享年74岁。5月28日，印度政府为尼赫鲁举行了隆重的国葬，300万印度民众为他送行，全国举哀12天。英迪拉考虑再三，没有完全遵照尼赫鲁的遗嘱，即只进行非宗教的葬礼，而是按传统的印度教习俗为尼赫鲁举行了葬礼，但仍遵从尼赫鲁的遗愿，将他的一部分骨灰撒入三河汇流处的恒河中。