明代中叶以后，随着徽商财力的增强，炫耀乡里的意识日益浓厚，由于礼制的限制，老百姓的的房子造的不能过于宽阔。明朝洪武二十六年（1393），朝廷有一个制度，规定“庶民庐舍，不过三间五架，不许用斗拱，饰彩色。”间是建筑平面上的最低单位，柱子之中的空间称为间；建筑物的大小就以开成的间之大小而定，一般民宅是三间八根柱子。另外，不论硬山、悬山的屋顶结构，从山墙望去，前后两面坡上的椽子靠着五根桁条承托着，这样上负五根桁和的梁叫做五架梁，俗称五步架。也就是说，徽州民居的只限于三间，超过了就是违背礼制，就要受到惩罚。据说休宁县秀阳乡有一户民居超过了三间，县官不但叫他推倒重建，而且把这户民居罚叫为茅司厅。所谓茅司，就是厕所。可见重建后的房屋不仅小，而且名称龌蹉，予以羞辱。有着丰厚的金钱又不能大建房舍，使得徽商当时住宅不得不在封建贵族宽敞华丽的府邸之外另辟蹊径，走小而精的路子。于是秀丽精美，清新淡雅的三雕就应运而生，并得到蓬勃发展。从明代后期开始直到清代，三雕逐渐向精雕细刻发展，越来越精致。

相传砖雕由明代中期的徽州窑匠鲍四首创，鲍四跟父辈学会了烧窑活计，砖瓦生意虽好，但烧砖要花去不少时间和人力，赚不了几个钱。他看那些会做生意的家乡人，往往都富了回来，大把大把的钱往外掏，眼馋得很，便卖了砖窑到淮安去做生意。鲍四几年生意一做，也赚了不少钱，竟成了淮安的首富。他非常得意，就处处表现自己有钱，在淮安修了鲍四庙，塑了自己的全身像，又揭榜要造一条鲍四街，说自己钱财无数。这时一个手抱长颈瓶，瓶插杨柳枝的中年妇女，来到鲍四面前一个嵇首说：“鲍老板，你别吹牛，世上只有技艺无尽头，哪有什么钱财无限。”鲍四听了涨红了脸，说：“你会什么技艺！”中年妇女说：“我会做莲花。”鲍四不信，凭借自已钱多，提出要打赌，自己一步放一个元宝，对方得跟着放一朵莲花，一决输赢。那妇人满口答应，向前走一步，用手往地上一指，地上便现出一朵莲花，鲍四便跟在后面放上一只元宝。这样一步一放，半里路下来，那妇人的莲花还有，但鲍四的元宝没有。鲍四只好认输，淮安人使用地上的元宝在那放莲花的路面上盖了街房，起名叫“莲花街”。鲍四一下身无分文，只得砸了庙中的自身像，凑了点盘缠，回到家乡，只得又重操旧业——烧窑。有人告诉他那以莲花赌元宝的妇女是观世音，鲍四领悟，“钱财有限，技艺无穷”是神仙教诲，从此一心归门烧砖，由于对莲花印象太深，便烧起莲花砖，渐渐又在砖上刻了花木、虫鱼、人物、楼阁。三年后，鲍四技艺逐渐娴熟，收了几个门人一心研究砖雕。其时，一些徽商发财致富后，纷纷回故乡大兴土木，修词堂，建宅第，往往不惜重金。秀丽精美、清新淡雅的砖雕被广泛应用。

到了清代，砖雕工艺已经发展成为一个独立的工种，由专人制作，制作者称为“雕花匠”。砖雕作为一种独特的壁饰，被广泛运用于徽州建筑的门楼和门罩，以及官邸或宗祠的八字门墙上。徽州民宅的门楼由“楼”和“罩”两部分构成，统称门罩门楼，下方以砖雕图像嵌镶在花边图案的框内。门楼有垂莲花式、字匾式、四柱牌楼式多种，其中最后—种即四柱三间的贴墙牌楼，有三层、五层不等。五层的俗称“五凤楼”，高大轩昂。现存的五凤楼常见于进上等宫宦人家的宅第和祠堂庙宇之上，由于其楼面高，门罩门楼大多雕刻精美，是砖雕大显身手的地方，一般都雕刻有各式山水花卉、鸟兽人物、戏文传说等图案。平整一片白的高大墙面远景，嵌着雕刻细致入微的门楼、门罩近景，形成强烈的疏与密的对比，正像国画大家手笔的“疏能走马，密不透风”那样，疏与密的大反差结合，给人以艺术美的享受。