唐广明二年（881），黄巢破潼关，入长安，唐朝在黄巢起义的打击下岌岌可危，时任武卫上将军的席温便举家迁居到东山翠峰坞下，在太湖的湖光山色之间安度晚年，最后以高寿而终。在《洞庭东山席氏世谱》上，席温被尊为洞庭席氏的开山始祖。席温之后，其三子席尚、席常、席当依山麓而居，洞庭东山席氏也因此而分为上席（仁卿公）、中席（义卿公）、下席（礼卿公）三个支派。

席温及其三子定居东山经过约20代的时候（约明代中期），席温次子席常的后代徙居武山，他们是武山席氏之始。明代中期以后，席氏和其他东山家族一样大量外出经商谋生，逐渐向周围地区扩展。经过宋、元两代的沉寂，明代时席氏开始崭露头角，明朝末年，席氏成为继翁氏、许氏之后洞庭东山有名的商人世家，并逐渐成为武山地方乡绅之一，当时居住的地方成为“席家后底”。现西泾村仍聚居了一些席姓家庭，称为席家新村，2017年有席姓38人。