岳飞并不是盲目自大，他的计划部署是有道理的。当时有很多中原遗民从开封跑到建康来，陈述在伪齐掌管下地方的情况。根据这些信息，岳飞知道，伪齐政府离心离德，民众对他们是并不满意的。金人与伪齐政府之间也是貌合神离，事实上，就算是金国的军事实力，在这时也不那么凶猛可怖了。

这正是大举北伐的好时机，当朝廷有意把刘光世的部队并入岳飞军中的时候，岳飞几乎已经看到了胜利的希望。但是万万没想到，朝廷在这时候却中途变卦，又打算让张俊去接管刘光世的部队。岳飞之前所有的希望和信心，一下子全破灭了，宛如一盆凉水从头浇到脚，整个人几乎在瞬间石化。

岳飞不甘心，去找张俊理论，希望他别轻易改变之前的计划，他信心满满地告诉张俊，刘光世的部队一旦拨归他管理，他马上率领这近十万大军，横截伪齐北部汴边界，收复中原。张俊原本也十分看重岳飞，想要收复中原，但现在他想自己接管刘光世的部队，所以就不同意岳飞的提议，否定掉了。

岳飞还是没有放弃，又直接去找赵构，他再次陈述了他的抱负和决心。赵构问他，按他的部署，大概多久可以收复中原地区?岳飞慨然答道，只要三年时间。赵构说，他现在所处的建康，实际上就是靠驻守淮南地区的军事力量作为屏障的，如果真能平定中原，那么他当然愿意把刘光世的部队抽调给他，但倘使事情进展不顺利呢，那到时候丢失了淮甸地区，就连建康也危险了!

赵构显然是心意已决了，岳飞看自己无法说动他，只能默默离开。在回去的路上，岳飞越想越气，他根本毫无私心，只想着要收复中原，为国家效力，但他的抱负却总是实现不了。朝廷的命令言犹在耳，他们却将之视同儿戏，说改就改，岳飞不高兴了，回到庐山时愤愤上书，请求解除兵权，乞归田里。

在这封奏折中，岳飞当然不敢对赵构表示任何不满之意，只说与张俊议事不和，所以打算离开。赵构封还了岳飞的奏折，表示不许他离开。但是岳飞执意要走，既然朝廷不信任他，那么他再留下去也没什么意思。因此他又上书一封，这次他没再说与张俊不和，只说自己要回庐山，给母亲守完余丧。

赵构还是不同意岳飞这么做，让他回到军中，与此同时，又派了岳飞摩下的将官李若虚和王贵等，让他们去劝岳飞。李若虚等一直劝了六天，岳飞也没改主意。最后李若虚等人几乎是在哀求岳飞了，如果他不回去，他们就要受刑而死呀，他们有什么地方对不起岳飞吗?他怎么忍心把他们置之于死地呢?

最后没办法了，为了部下的安危，岳飞只得回到鄂州军营。在这之前，他到行在面见赵构，为自己一怒之下而离开去请罪。赵构说，他没有生气，如果生气，他肯定要处罚他，现在没有处罚他，还让他回到军营任职，可见他的确没有生气。但事实上，赵构根本不是不生气，他是气得要死了，心中对岳飞大为恚怒，岳飞也愤愤不平，他们两人自此开始结下嫌隙，裂痕一直没有弥合。

在与张俊探讨关于刘光世部队的归属问题时，岳飞指出，王德和郦琼能力相近，谁也不服谁，如果把王德的位置提到郦琼之上，势必使他不服。张俊打算派自己的亲信吕祉去管理刘光世的部队，岳飞同样认为这不是一个好主意，答道:“吕尚书不习军旅，恐不足服众。”张俊接着又说了让张俊或杨沂中前去接管刘光世部队，岳飞还是否决了。

后来的事实证明，岳飞的看法是正确的。张俊看不出眼前的形势，硬是把自己的亲信吕祉派去接管了刘光世的部队。吕祉会获得张俊的信赖，主要是因为他纸上谈兵的功夫特别厉害，还曾多次夸口说，给他一支军队，他能打到金人的老家去。张俊是一个主战派，因此对吕祉的抱负十分欣赏。

吕祉其实并不懂得行军作战的事情，他就会胡说八道。到了军中之后，他与刘光世的部下相处得也不融洽。原本刘光世被罢免了军职，部队中动荡和骚乱就没有停止过，诸将领们斗得已经是不可开交了。吕祉过来并没有缓和这一情况，他对部将们不闻不问的冷淡态度，反而加剧了军中的不安情绪。

正如岳飞猜测的那样，朝廷把王德的位置摧升到郦琼之上，将王德封为都统制，郦琼封为副都统制，这之后两人的矛盾就加剧了，开始互相弹劾，完全是一副剑拔弩张的样子。吕祉这时非但没去调和两人的矛盾，反而也去凑这个热闹，派人向朝廷密报郦琼等人的罪状，没想到这一密报被郦琼截获了!

郦琼见此怒不可遏，带着手下四万兵马叛变到伪齐那里去了，还把吕祉也俘虏了过去，并最终将其杀害。赵构得知这一消息之后，心中必定是充满懊悔的，如果当初按原定计划把刘光世的部队拨归岳飞，今天也不会出现这种局面了。不得不说，在处置刘光世部队的这一问题上，朝廷的举措是存在着许许多多的失误的，赵构对此有着重大的责任，张俊同样也负有不可推卸的责任。

岳飞倒是不记前仇，听说郦琼叛变之后，上书给赵构，安慰了他一番。在奏折中，岳飞写道，他听说淮西军中，郦琼等人叛变而去，“然事出仓促，实非士众之心”，事实上半道逃回来的也有不少，可见大部分人的心还是向着朝廷的。伪齐虽然得到了郦琼的数万兵马，但是短期之内，估计不会有什么大的动作。当务之急是整顿淮甸地区的防卫工作，他愿意带兵进驻那里，阻击敌人的进攻。赵构回复岳飞，对他的用心奖谕了一番，但是并未同意他的请求。

刘豫得到郦琼的数万部队之后，实力大增，立即开始筹划着要进攻南宋。他派人请金国出兵，共同南犯。这时候赵构开始慌了，想起了岳飞的好处，知道郦琼和岳飞是同乡，他也历来佩服岳飞，就希望岳飞能把郦琼劝回来。但郦琼已经叛变了，要劝回来是那么容易的吗?就算是岳飞，也办不到这件事。

岳飞敏锐地察觉到了金人与伪齐之间存在着巨大的隔阂，他觉得己方的机会应该在这里。后来，他的部下抓到了一个金国的间谍，岳飞见到之后愣了半晌，忽然间灵感源源不断地涌现出来，他感到眼前之事正是一个绝佳的机会，他可以利用这个间谍实施反间计，离间金国与伪齐。

几乎是一刹那间，所有的计划就在岳飞的脑海里成型了。当军吏带着间谍来到岳飞帐中的时候，他愣了愣，随即便装作醉酒的样子，擦擦眼睛，盯着金人的间谍看了看，然后说道:“你不是那谁谁谁嘛。”显出一副好像和他很熟的样子。周围人见此只觉得莫名其妙，就连那间谍也摸不着头脑。

岳飞把间谍带入私室之中，假意喝问他说，以前派他密送蜡书去伪齐，与之结约，杀掉兀术，怎么他去了之后就没再回来，是不是背叛他了?那间谍这才知道岳飞是认错人了，把别人的错误凭空加到了他身上，但是他为了活命，根本不能辩解，只好一个劲地认罪，求岳飞原谅他，再给他一次机会。

岳飞同意让他戴罪立功，再次写了一封蜡书，内容还是说与伪齐结盟共同对抗金人的事情，然后便把那间谍放走了。那间谍死里逃生，还获得了这样重要的情报，高兴得活蹦乱跳，赶紧回去向兀术邀功。兀术得到了这一假情报，信以为真，对伪齐越发不满了，加快谋划着要把伪齐政府给废除掉。

这时刘豫向金国请兵攻打南宋，金国方面因此也将计就计，同意出兵，将刘麟请去会谈，把他捕获了。刘麟万万没想到金国要抓他，所以完全没有防备，很容易就被俘虏了。在抓刘豫这件事上，金人也没花大力气，他们带着亲兵进宫，忽然拔刀相向，刘豫也就只好束手就擒了。

伪齐被废之后，金人直接控制了这部分地区。之前这里的军民对伪齐政府不满意，但至少这是汉人政权，因此他们还是能够接受的，现在金人接管了，这些地方的军民就感到接受不了了。有几支队伍在这时纷纷叛逃到南宋去了，如时任知临汝军的崔虎、知蔡州的刘永寿、知亳州的宋超，以及一名叫王宗的统制官，都在这一时期投归了南宋，并且纷纷归入驻守鄂州的岳家军中。

在这种情况下，岳飞觉得，趁着对方不稳定，正是打击他们的好时机。他写信给宰相赵鼎说:“近得谍报，知逆豫即废，虏仓卒未能镇备，河洛之民纷纷扰扰。若乘此兴吊伐之师，则克服中原之日可期，真千载一机也。”事实上，岳飞的这一看法在当时的士大夫中是非常普遍的，很多人都认为，现在的确是进兵北伐的好时机，应该趁着这个机会，把那些沦陷的地区全部收复。

之前的宰相张俊因为在处置淮西军上筹措失误，已经被免去了职位，由赵鼎接替他。张俊历来主张北伐，与岳飞的理念是契合的，赵鼎虽然也持这一看法，但是和张俊比起来，他的态度却远不如他坚定。接到岳飞的信件之后，赵鼎也认同岳飞的提议，但是他知道赵构一定不愿意这么做，因此只试探性地对赵构说，如今大家都在提议北伐，认为中原可复，失此机会恐将来被人议论。

赵构果然立即反驳了赵鼎，甚至愿意冒天下之大不韪，随他们怎么去议论，反正自己不会同意北伐。赵构的理由是，什么皇太后啊，宋钦宗啊，都没有回来，如果他在这时候出兵打金人，他们就永远也回不来了，装出一副重情义的样子。其实这全是借口，他根本就是在害怕金人。想当年金人的铁骑纵横驰骋，杀人如麻，给他留下的印象是非常深刻的，这太吓人了，还是别去惹他们。

眼前的大好时机不去把握，要白白错过了，自己却无能为力，岳飞的心里真是充满了愤懑。他知道朝廷心意已决，是不会再改变看法了，但是他仍然不放弃，再次上书给赵构，提出增加他的兵力，以便防备金人有可能的进攻，并且在时机适当的时候大举北伐。上书的结果是显而易见的，赵构没有同意他这么做，由于害怕他拥兵自重，赵构甚至对大臣们说，要缩小岳飞防御的区域。