刻苦自学的青少年时代
孔子不幸，在他很小的时候，父亲便去世了，具体时间，有人说是刚生不久，有人说在他三岁时，总之很小，以致不知其父的葬处。前面说过，叔梁纥生活是靠公卿给的俸禄，所以他一死，家里的生活就成了问题。也许是为了投靠颜氏亲友，便于谋生，还可能是为了孩子将来的发展，颜征在带着年幼的孔子，离开陬邑，来到鲁城。孔子一生大部分时间住在鲁城，在那里学习，在那里办学，在那里从政，在那里整理古代文献，最后在那里去世。
按照当时的宗法等级制度，孔子四世祖防叔来到鲁国之后便从卿降为士，从那以后直到父亲叔梁纥都是士，他本人当然也应该是士。但是，要做一个合格称职的士，除了必要时拿起干戈上沙场拼杀以外，还需要有一定的知识技能，也就是掌握礼、乐、射、御、书、数，即六艺。颜征在也是士族出身，深明此理，所以在孔子很小的时候就让他接触家族内外的士人，增加他的学习机会。这样天长日久，耳濡目染，幼年孔子对礼仪逐渐有了兴趣，做游戏时，常常“陈俎豆，设礼容”。也就是把家中简陋的礼器拿出来，按规矩摆设好，然后自己按礼来进退周旋，表演行礼的过程。大人们看了都觉得新鲜有趣，谁也没有想到这位未来的周礼专家，正是从这里开始了自己的学业。
颜征在为养家糊口，不免常给鲁城的大户人家做些活计，换得一升半斗，艰难度日。但是这点收入还不够用，所以孔子稍大也跟着母亲一起干活。他后来对弟子们说：“吾少也贱，故多能鄙事。”（《子罕》）就是在他小的时候，家穷地位低，为了生活，干过许多粗活。但是，他究竟在哪里，做过哪些粗活已不可考。
不管条件是多么艰苦，孔子总是坚持学习。他没有机会进入贵族子弟学习的官学，就刻苦自学。他对于什么都有兴趣，都要刨根问底地弄清原委。他没有固定的老师，不论什么人，只要有知识，他便虚心地向他们求教。他终生受用的一句名言是：“三人行，必有我师焉。”（《述而》）对于礼乐等六艺，不仅要知道如何操作运用，而且要弄懂其中道理，了解其源流演变和是非得失等等。他一边学，一边体会，对礼的形式与思想内容——文王、武王和周公所发扬的周道，都有深入的理解，于是便产生了一个强烈的愿望——把研究和弘扬周朝的礼乐文化、典章制度当作自己一生的目标。孔子暮年在总结他一生思想经历时，曾说过，“吾十有五而志于学”（《为政》），说的正是这一点。这里的“志”字说的是行为的目的，而不是行为方式，如是否自觉等等。当时的士人，多数也是在自觉地学习的，但基本上都是志在谷禄，只有很少的人能够有更高远的志向。所以孔子说：“三年学，不志于谷，不易得也。”（《泰伯》）孔子志不在谷禄，不在谋生，而在周文化和周道本身。特别值得注意的是，在许多人懵懂无知的十五岁，孔子已经明确地树立了自己的生活目标。
孔子十六岁时，慈母颜征在离开了人世，这件事给他的打击非常之大。好在他小小年纪已经在社会上锻炼过了，又有了坚定的生活理想，所以能比较快地调整好自己的情绪。母亲的丧葬事宜在他的安排下，办得妥帖恰当，一切都依周礼进行。按礼，父母死后应该合葬，但他不知父亲葬在何处，就无法立即安葬母亲，所以先将她殡于临时墓地——五父之衢，等到访得父亲葬处，才实行合葬。人们从这件事惊讶地看到一个青年人这样有主见，这样懂礼，这样干练。
孔子身材高大魁梧，据说有九尺六寸，折合成现在的度量约为1. 91米左右，被称作“长人”。大概在他十八九岁的时候，个子已经很高， 自视也很高。一次季武子举行宴会招待士人，孔子以为自己应该受到邀请，于是也去参加。在季氏家大门口，家臣阳虎把他拦住，说：“你是什么人？我家家主、鲁国正卿，今天招待的是士，没说要招待你！”坚决不许他进去。这事深深地刺激了孔子，使他知道自己士的地位还未被社会所承认，不努力奋斗是不行的。
孔子年龄渐长，就不在一般的人家干活，而到季氏家里工作了。孟子说：“孔子尝为委吏矣，曰会计当而已矣。尝为乘田矣，曰牛羊茁壮长而已矣。”（《孟子·万章下》）做的虽然还是粗活，但是因为是在鲁国正卿家里当差，所以收入会多些，也更体面一些。孔子有很强的敬业精神，无论干哪一行，都要把它干好。委吏是主管仓库的小吏，孔子做委吏，兢兢业业，细致认真，把仓库管理得井井有条，保管的物品，不失窃不损坏，把货物进出账目搞得清清楚楚。乘田是主管牛羊放牧的小吏，孔子做乘田，早出晚归，栉风沐雨，精心放牧和管理牛羊，使它们茁壮成长，膘肥体壮。
孔子十九岁时，三年之丧已满，可行吉礼，于是结了婚。他的妻子是“宋亓官氏”。据考证，鲁国有亓官氏，“宋”字表明其家祖上为宋国人，后来也和孔家一样从宋来到了鲁。以孔子之贫贱，是不可能到别的国家娶亲的。第二年，亓官氏生了一子。相传鲁公当时送给孔子一条鲤鱼，所以孔子为儿子取名鲤，字伯鱼。当时孔子地位很低，鲁公不可能为祝贺他生子送他鲤鱼，很可能是毫不相干的原因。譬如，鲁公以捕鱼为乐，孔子正好在场为他出了力，鲁公一时高兴，把鱼赏给了他。但是不管是工作也好，结婚也好，生子也好，甚至是在他有了知礼的名气之后，孔子也从来没有放松自己的学业。夏商周三代文化让孔子欣喜、着迷，而兴趣则是最大的学习动力。孔子说过：“知之者不如好之者，好之者不如乐之者。”（《雍也》）这是认知心理学的一条重要原则，孔子首先从他本人的体会中认识了它。
鲁城内有一座太庙，是供奉鲁国始祖的灵位的。大概是伯禽出于谦虚，以周公而不是以他本人为鲁国始祖，所以庙内供奉的是周公。经过历朝的不断废毁、重建，就成为今天的周公庙。当年那里藏有周和鲁的历史文物，各种珍贵的礼器，并且经常举行各种典礼，而且与鲁国宫廷不同，连孔子这样的乘田委吏也可以进来观看，是普通人学习周礼的好地方。孔子一有机会来到太庙就非常谦虚地向旁人请教，对于里面的建筑、陈设、服饰、典礼中的仪式等等，件件都要问个明白，留下了“子入太庙，每事问”（《八佾》）的佳话。当时不少人夸奖他：“陬邑大夫（指叔梁纥）之子真是个好后生，在太庙里什么都要学习。”可是也有人喜欢把人家的优点看作缺点，他们从“每事问”里看到的不是孔子好学，而是孔子无知，于是议论说：“谁说孔丘是知礼的？他在太庙里，什么都要问，明明是无知嘛！”孔子听到这种议论之后，并不为自己的好学、博学进行辩护，只是谦虚地说：“礼的学问广大高深，在它面前要虚怀若谷。在太庙里，难道可以冒充万事通吗？只有每事问才是知礼、尊礼的。”
孔子不但认真学习礼，也认真学习乐。司马迁在《史记》中讲述了一段孔子向鲁国著名乐师师襄子学琴的故事。师襄又名击磬襄，在鲁公府中击磬，但是他也擅长弹琴。
孔子向师襄子学习弹琴，十天时间里老是弹奏一支曲子。
师襄子说：“这曲子你已经学会了，可以学习新的曲子了。”
孔子说：“我对曲子本身是熟悉了，但是还没有了解其道理。”
过了一段时间，师襄子说：“已经掌握了它的道理，可以学习新曲子了。”
孔子说：“不行。我还没有把握它的意向。”
过了一段时间，师襄子说：“已经把握了它的意向，可以学习新曲子了。”
孔子说：“还是不行，我还没有了解作者的为人。”
又过了一段时间，孔子恭敬严肃地在思考着什么，快乐愉悦地在想象着什么。他忽然说：“啊！我了解了他的为人：长得黑黑的，高高的， 目光仰视，好像统治了四方的国家。不是文王，还有谁能作出这支曲子？”
师襄子听了之后，非常激动，在他的音乐生涯中，还没发现有谁能这样深刻地理解这支曲子，于是离开座席，拜了两拜，说道：“我的老师说过，这曲子名叫‘文王操’。”（《史记·孔子世家》）
这个记载可能稍有增饰，譬如孔子从曲中听出作者长得黑而且高，但是整个故事是可信的。孔子学琴曲，不但要会演奏，而且要掌握它的道理；不但要掌握它的道理，还要理解曲子的意向；不但要理解曲子的意向，更要深探曲作者的为人。等到这些都清楚了他才肯学习新的曲目。从这里可以看出，孔子的确是好学深思的人，也可以看出，他由于孜孜不倦地学习、追求、探索，对于音乐这门最抽象的艺术已经有了很深的造诣。
后来，孔子三十五岁的时候来到齐国，与齐国宫廷中的大乐师谈音乐，听他演奏《韶》乐，并跟他学习演奏，痴迷的程度是“三月不知肉味”。而且他从《韶》与《武》的曲调中听出二者的区别，他认为舜的《韶》是尽善尽美的，而武王的《武》尽美但未尽善。齐人因此对孔子大加赞赏。
孔子交游渐渐广阔，学识日益增加，已经可以和那些高级的文化专家在一起探讨问题了。每有外国此类人士来到鲁国，孔子总要设法拜会，相互切磋。昭公十七年（前525年），郯国国君郯子来到鲁国，受到鲁公的款待，在欢迎宴会上他以丰富的历史知识回答了有关郯国古礼的一些问题，如郯国为什么以鸟名官等等。他的答案用今天的话来说，就是郯国的先祖少昊氏（原本都于穷桑即曲阜，其后人被周封于郯，为郯国）以鸟为图腾，当时的各个家支都以鸟命名，如凤鸟氏、青鸟氏等等，而整个少昊的部族分管各方面事务的官员即由这些家支的负责人担任，所以就成了以鸟名官。二十七岁的孔子得知郯子很有学问，便至馆驿拜访，与他交流。谈过后，孔子觉得郯子非常有学问，对别人说：“我听人家说，‘天子的文化官员都跑散了，所以四夷显得更有文化’。这说法还是可信的。”
孔子做学问主张“无征不信”，拿到可靠的证据，方才做出结论，没有证据只可存疑。为了研究三代古礼，他克服经济上的困难，进行过出国考察。譬如，他从传说中得知夏商古礼的情况，为了弄清其真实性，亲自来到夏的后人的封地杞国和商的后人的封地宋国，艰苦跋涉，借阅古代文献，访问有学问的老人，考察得非常认真。他后来说：“夏的礼我能说得出来，但杞国不足以作证。殷商之礼我也能说，但是宋国也不足以作证。是因为那两国的历史文件和贤者不够的缘故，如果够我就可以找到证据了。”
不仅如此，他还到过周的都城洛邑，向当时的大学问家、大思想家，周的守藏史老子问礼。有不少古书如《庄子》、《韩诗外传》、《史记》、《说苑》等都记录了这件事，但是所说的时间、谈话内容都不一致。老子学识渊博，谈礼自是不成问题的，但他是道家的代表人物，对于礼乐文化早已厌倦，抨击的言论颇多，如公开认为，礼是“忠信之薄而乱之首”等等。而孔子却是礼乐文化的崇拜者维护者，所以他和孔子在这方面恐怕不能深谈，要谈也只能谈点资料性、技术性的东西。但老子的人生经验可能对孔子有所启发，老子待孔子如弟子，所以会在这方面给孔子点拨一下。
大概是因为对周礼有意见分歧，老子孔子两人坐在一起，半天没有人开口。后来还是老子先说话，他张开嘴，让孔子看，问道：
“牙还在吗？”
孔子说：“不在了。”
“那么，舌头还在吗？”“还在。”
然后老子便教导孔子：“坚强者死之徒，柔弱者生之徒。牙是硬的，所以老早便掉了，舌是软的，所以至今健在。年轻人，记住啊，柔弱胜刚强！”
《史记·孔子世家》记载：访问结束，老子送孔子出门，临别有一段重要赠言：“聪明深察而近于死者，好议人者也。博辩广大危其身者，发人之恶者也。为人子者毋以有己。为人臣者毋以有己。”这是说，为了自身的安全不要议论人、揭发人的恶，作为君父的臣子，不要突出自己的存在。这些话对于孔子可能会有影响。《庄子》的记载则说，孔子与老子谈后，对老子不受当时政治、意识形态束缚的精神状态大为赞赏，说老子像龙等等。这是孔子访老子的道家版本，过分揄扬道家思想，大概是靠不住的。
除了礼乐之外，孔子在射（射箭）、御（驾车）、书（写字）、数（计算）等方面也都很精通。书、数自不必说，做委吏时已经学得滚瓜烂熟。他身高力大，技艺精纯，在射、御方面也是一把好手。传说他在矍相的园圃射箭，观者像墙一样围得水泄不通。他在与弟子们的谈话中多次说到， 自己可以做执鞭之士。可见他确实是在行的。
由于孔子喜爱古代文化，又能刻苦学习，所以积累了丰富的历史文化知识，又酝酿出礼与仁的思想，他很想把这些知识和思想普及到民众中，造就一大批像他一样的周礼拥护者、仁的信仰者，共同挽救无道的社会，于是他便创办了中国历史上的第一所私人学校，开始聚徒讲学。