公元前473年，吴王夫差被越王勾践打败，吴国百姓蒙难，吴氏宗室、皇家子弟遭追杀。为避战乱之祸，皇室中延陵季子之孙吴濮婪，率领一船族人，悄悄离开苏州，来到他昔日管理养虎居住过的武山安家定居，并改为濮姓。濮婪定居武山后，其散隐在他处的族人陆续来山隐居，武山遂成村落。至今武山有一突起地面的土阜，曰濮公墩，相传为纪念东山吴氏始祖吴濮婪而筑，是渡桥保存极少的吴越春秋古迹之一。

濮婪的子孙在武山传了40多代后，南宋初期，出了一个名百生的名士，才率众申请返祖并恢复吴姓。吴百生系吴濮婪43世孙，其感叹虽为延陵望族，却历世改为濮姓，祖宗其德被灭，立志要恢复祖姓。他辑《延陵祖德录》，以复正统，启之族人。宋高宗南渡赴临安，百生率族人多次向朝廷叩请，要求恢复吴姓。后宋宁宗下旨，派浙西路勘实后，准濮氏复姓吴，又免其居地地粮，以赏昔日吴氏上祖垦辟之功。濮婪归宗吴氏，不但族内所有濮姓改为吴姓，而且在武山土地上，凡过去涉吴的路名、桥名、店号及祠堂名号，都一一复吴名号。

濮婪定居武山后，以睦族、尚仁、从善为宗旨，造就了一代代吴氏精英。武山吴氏家族通过正途为官的是宋代吴泽。史载吴泽慈祥文雅，尤以诗书开发愚蒙，宋时武山属荒峦地区，山人尤易违法，吴泽常集族人聚至家中，授之以书，明之以理，教育族人遵理守法，勤以学习，故吴氏中出了不少人才。

明清两代，武山吴氏出了吴文之1名进士，还出2名举人：吴钦、吴鏊，有作家、诗人22人。

吴氏是明清“钻天洞庭”商人集团的重要骨干，历史上还出了许多大商人，如吴泰一、吴敏、吴礼门、吴兰生。

明朝崇祯末年，武山出了一位著名的医学家吴有性，他的医学著作《瘟疫论》，刻印传世，后被医学界广为翻印，流传国外。吴有性被誉为明代医圣。

吴氏家族还多义举之士，如吴寿宁出资在武山建先祖延陵季子祠堂，供族人春秋祭祀，又在祠旁建寿宁庵，庵前道旁挖一口寿宁泉，供路人解渴之用。吴天捐资建造具区风月桥（渡水桥）等。

2017年吴氏人口有345人，位居渡桥村姓氏人口之最。