宜丰霉豆腐的产生与一个吝啬的财主有关。相传明朝初年，宜丰盐步镇（今新昌镇），有一个财主很小气，什么菜也不舍得吃，老留着。某一天他留着的几块豆腐发霉生了毛，还舍不得扔，便洒上点盐、辣椒粉，滴上几点油蒸了蒸吃，想不到这豆腐虽然闻起来有点臭，但吃到嘴里却滑滑的，有一种特别的香味，味道十足。从此以后他买来豆腐，留着让它生了霉菌再吃。慢慢地霉豆腐及其制作方法便传开了。清代乾隆年间著名诗人李调元，十分喜爱霉豆腐，在尝过宜丰友人送他的霉豆腐后，大加赞赏，并赋诗夸赞“才闻香气己先贪，白楮油封四小甑。滑似油膏挑不起，可怜风味似淮南。”