魁星楼（今已废）建于光绪十七年（1891），位于吕四文昌宫南头高大的灵眼树下。那时的魁星楼是一座椭圆形的宝塔，四面环水，巍然耸立。楼边绿茵铺地，环境幽雅。

以往张謇曾到过吕四几次，因忙于公务，从未瞻仰过魁星楼。民国四年（1915）五月的一天，张謇在吕四突然想起了魁星楼，便一人踱步去观楼赏景。他沿着楠木阶梯上了三楼，环顾四周，只见秀景似诗，风韵如画，遂情不自禁地对古镇盛赞不已。

从魁星楼下来，状元公曾几次回首，久久不愿离去。在三元桥上，他谈笑风生，指着楼对众人说：“此乃首屈一指，东疆一绝。”于是“张状元登魁星楼”成了当天《通海新报》的一大新闻。