其一，以祖辈字命氏，源于芈姓。据晋《潘岳家谱》记载:楚成王立长子商臣为太子，后来，商臣借一次战争失利，挑拨楚成王杀了与己有隙的令户斗勃。事后成王明白上了商臣的当，就起了废太子之心。商臣去找老师潘崇商量，潘崇说:“你去得罪一下江芈就可知道消息的真假了。”江芈是成王最宠爱的妹妹。商臣故意对她不恭敬，果然江芈发怒骂道:“你这个畜生!怪不得大王要杀你呢!”商臣告诉潘崇说:“看来是真的了。”潘崇说:“要想免死，只有先下手为强。”于是太子连夜点起东宫卫队包围了成王住的地方，逼成王自杀，商臣登上王位，是为楚穆王，封潘崇为太师，还把太子宫的财物全部赏给了他。从此，潘氏成为楚国最有势力的家族。潘崇子孙以其字命氏，奉潘崇为潘姓始祖。

其二，以国名为姓，出于姬姓，据《广韵》载:“周初四圣”之一的毕公高，他的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为姓，奉季孙为潘姓始祖。