语出《论语·季氏》。季孙：此处特指鲁国大夫季康子；忧：忧患。整个成语的意思是忧患来自内部。

孔子曰：“……吾恐季孙之忧，不在颛臾，而在萧墙之内也。”

孔子说：“我担心季康子的忧患，不在于颛臾，而是来自自身啊。”

这里还是在讲同一个故事。春秋时期，鲁国大夫季康子为巩固自己的统治权力，想攻打附近的颛臾国。但拿不定主意，就找孔子的学生冉有和子路商量，而冉有和子路就去请教孔子该如何处理。孔子就说了这样的话：“治理一个国家不能使百姓安居乐业，而使国内处于分崩离析的状态，恐怕要祸起萧墙了。”