季孙氏掌握鲁国大权，孔子仕鲁，实际上是仕于季孙氏。所以他与季孙氏的关系决定了他的仕宦生涯。自任中都宰以来，他每次都通过考验，受到季桓子的赏识和提拔。直到升任大司寇，关系更好，“孔子行乎季孙，三月不违”。（《春秋公羊传》定公十二年）三个月中孔子的主张季桓子全部采纳，从无不同意见。而且为了孔子的缘故，任用他的好几位弟子为官。如用子路为家宰，任公西华为出使齐国的使臣，孔子还任原思为自己的家宰。但是好景不长，孔子的目标、理想，与桓子是根本不同的，孔子要维护的是周礼，是天子臣诸侯，诸侯臣卿大夫，……这样一种统治秩序。桓子的目标、理想则是维持卿大夫当权的现状。所以桓子只想解决家臣犯上的问题，而孔子则还要解决三桓犯上的问题。这个矛盾在堕三都过程中实际地暴露出来，正如公敛处父所说，没有成就没有孟孙氏，所以没有三都就没有三桓。从三桓的利益来看，三都的问题本来可以用另一种方法来解决，譬如选用忠实可靠之人任邑宰，对邑宰权力加以适当限制等等都不失为好办法，可是孔子对这些都不考虑，而是利用三桓对邑宰一时的愤怒，从根本上把它们拔去，可见他的矛头是指向三桓的。这样，两人之间的关系就出现裂痕，而且越来越大。

这期间又发生了孔子弟子公伯寮向季桓子告密的事件。

公伯寮是孔子弟子，经常出入孔子官邸与讲学之所，对于孔子的想法、策略以及与子路的重要谈话会有一定了解。这是一个卖师求荣的人，当他看到孔子、子路与季孙的矛盾以后，就向季孙告发子路的问题，希望以此得到季孙氏的赏识，谋得一官半职。他直接告发的人虽然是子路，但是实际上是孔子，因为子路的行动原则上都是孔子的安排。季孙虽然并不感到意外，但还是相当恼火：“这个仲由，我对他多么好，可是他事事听孔丘的，跟我始终是两条心！”从此加速了他冷淡、架空孔子的进程。

孔子弟子中有一位子服景伯，虽是孟孙之后，但对孔子的思想和人品都十分敬重。作为三桓子孙，常在季孙家走动，最近，通过察言观色对公伯寮告密一事已有了解，知道此事非同一般，立即去向孔子报告。

孔子脸色严肃，半天不说一句话。他在想子路的处境，在想公伯寮的阴险。公伯寮平时对孔子对子路都很亲热，发表意见时肉麻地吹捧孔子，把孔子的思想往极端处发挥，对于这些孔子曾不点名地批评过：“巧言令色，鲜矣仁。”（《学而》）就是说，花言巧语，媚态可掬，这种人很少有仁德。但没有估计到他会这样卑鄙地在自己背后捅上一刀。子服景伯见孔子脸色不对，进一步感到问题的严重，悄悄向孔子建议：“先生，我在季孙面前说得上话，我可以向他揭发公伯寮的罪恶，让他陈尸市朝。这样可以避免事态向坏的方向发展。”

孔子说：“你的心意我领了，不过，用不着去动那个公伯寮。大道流行是命定的，大道的废毁也是命定的，公伯寮能把命怎么样呢？”孔子和季氏一样清楚，他们之间的矛盾是两种根本不同政见的矛盾，所以该发生的迟早要发生，不是一个公伯寮所能左右的。

孔子的政绩是无可挑剔的，他的谋划也都是符合周礼的，季氏无法对他治罪，所以只有冷淡他架空他，让他无事可做，不得不辞职或出走。这时恰好齐人给鲁公与季氏送来歌妓舞女，以及披彩绣的马匹等等，鲁定公、季桓子接受之后，只顾享乐，三天不上朝。这在季氏是一箭双雕，既得到了声色之乐，又冷落了孔子。孔子有许多紧要公务要请示季桓子，硬是找不到他，家中鼓乐喧天，门人总说桓子不在。

为了这些女人，就把孔子晾在一边，子路气愤不过，劝孔子赶快出走。孔子觉得目前的职位对自己行道大有好处，不可轻易放弃，但凡能将就着不走还是不走，于是说：“再等等看。鲁国今天要祭天，如果他们把祭肉给我送来，说明他们心里还有我，我还可以不走。”按照周礼，祭天之后，要将祭肉送给大夫，鲁国一向是这样做的。可是这一次祭天之后，并不送祭肉给孔子，孔子于是决定离开鲁国。

孟子说：“孔子为鲁司寇，不用。从而祭，燔肉不至，不税冕而行。不知者以为为肉也；其知者以为为无礼也。乃孔子则欲以微罪行，不欲为苟去。君子之所为，众人固不识也。”（《孟子·告子下》）这个分析相当有说服力。孔子是因为季氏“不用”而出走的，祭肉不至只是一个由头。孔子这样的名人、高官出走，对于鲁公和季氏来说是不光彩的，所以孔子要寻找不分送祭肉这件事，让人看到，自己是为了肉，或为了季氏的无礼，赌气出走的。让人感到，鲁公、季氏固然不对，孔子也过分小气了一点，在大众面前把出走的真正原因掩盖起来。

孔子师徒走到鲁国边境的屯邑住了一夜。第二天，师己赶来送行，他问孔子：“您不是怪罪谁吧？”孔子说：“我来唱一支歌吧——那些女人之口，可以逼人出走；那些女人出现，可以令人死败。我要优哉游哉了，以此安度余年。”师己回去，告诉了季桓子。桓子说：“夫子怪罪我，是为了齐国的美女啊！”（《史记·孔子世家》）孔子走的时候，没有声明出走的原因，人们可以猜测、分析是不送祭肉的缘故，但是桓子想要知道他本人是如何说的，于是派了师己去送行。孔子通过师己告诉季孙的是美女问题，季孙也乐于接受这种说法，这是因为这个说法比不送祭肉深刻一些，可以向一些有头脑的人做解释，但是它又没有把他们之间最深刻的分歧点出来，保住了那条薄薄的面纱。

这是鲁定公十三年的事，这年孔子五十四岁。从此他为实现自己的政治主张在列国间奔走，吃尽苦头，经历了长达十四年的流亡生涯。