严嵩的家族是在北宋末年从福建邵武移居江西袁州，数代后从袁州府移居分宜县。成化十六年正月二十二日，严嵩便出生在分宜县城北十里许的介桥村（今江西分宜县介溪村）。到严嵩高祖严孟衡的时候，严家的族望上升了。严孟衡中了永乐十三年进士，官至四川布政使。从严孟衡开始，读书考科举成了严家的传统。严嵩的从曾祖父严瑛曾到南昌去参加过乡试，但没有考中举人。此后虽然经历了数代没有高级功名的沉寂，但耕读传家的传统仍在。严嵩的父亲严淮年轻时务农习儒，做过塾师，教习蒙馆，在弘治八年严嵩十六岁那年逝世。严淮生前一直希望严嵩能够刻苦读书，考取功名，光耀门庭，而严嵩也不负父亲所望，自小有神童之誉，八岁入县学读书，成了一名小小的秀才。父亲逝世后，严嵩是在祖父严骥和母亲晏氏的抚育下长大成人的。