东汉后期，天下又开始动荡，各种势力纷纷抬头。当年被秦始皇迁居各地的越国遗民的后裔和原来的越人土著，以及一些避入山林的汉人，“依山阻险，不纳王租”，被称为“山越”，势力日益强大。在公元169年，也就是汉灵帝建宁二年，丹阳郡就发生了“山越”围攻丹阳太守的事件，《资治通鉴》对这个事件作了记载，这是 “山越”在史籍上的首次亮相，此后，各种文献关于“山越”的记述频频出现。到了东汉末年，魏、蜀、吴三国鼎立。黝、歙二县隶属于丹阳郡，属于东吴的领地。当时，袁术、曹操都曾想利用“山越”作为内应袭击孙吴，“山越”已经成为孙吴政权的心腹之患。

为此，孙吴政权终于下决心，必须铲除这个心腹之患，开始了大规模的征剿“山越”行动。汉献帝建安十三年(公元208年)，吴主孙权派遣威武中郎将贺齐征服黝县和歙县的山越部族。“山越”其实是有组织有领导的，他们的首领叫做“宗帅”，一般以“万户”为单位。当时金奇万户屯于距歙县北面二十里的飞布山，毛甘万戸屯于歙县东南的乌聊山，陈仆、祖山等二万户则屯于黝县的林历山。《三国志·吴志》对这次讨伐作了较详细的记载。在孙吴军队的强大攻势下，当时歙县东面四个乡的“山越”首先投降了。于是贺齐奏请孙权分歙县东乡地建置了始新县，分南乡地置了新定县。

而在黝县林历山，贺齐却遇到了顽强的抵抗。

林历山在黟县西南一百五十里处。山的四面都是悬崖绝壁，高数十丈，山路危狭，仅容一人，武器都无法施展。陈仆、祖山等据守山上，临高下石，贺齐的军队无法进攻。僵持了一段时间，军心开始有些涣散。贺齐不免也有些心焦。但是面对那样的地形，只能智取，不可强攻。于是，贺齐借着夜色亲自出马勘察地形，经过一番谋划后，他秘密挑选一些身轻矫健的勇士，选择山越人不备的隐密地段，携带铁戈，在峭壁岩石上嵌入铁戈形成梯子，趁夜攀登上山，然后再用布带把山下百余名精锐士兵拉上山去，隐蔽在各处。到了约定的时辰，四面同时擂起战鼓吹响号角，发起偷袭。“山越”人突闻其声，以为孙吴军队已经占据山头，惊慌失措，纷纷放弃扼守的山道，逃归大营。贺齐率军随即登上山顶向山越营寨猛攻，终于歼灭了盘踞林历山中的陈仆、祖山部众。这一战，山越人被斩首7000级，贺齐取得了决定性的胜利。闻此战况，歙县的金奇、毛甘率部属投降，黝、歙二县“山越”得以平定。林历山之战，贺齐出奇制胜，成为中国古代战史中出色的山地攻坚战战例之一，为后世用兵提供了借鉴。

黝、歙二县“山越”既平，孙权解了心腹之患，于是又分歙县西乡地置犁阳县（后改为黎阳，在今屯溪一带）和休阳县(今休宁东)，加黝、歙和原来所建的始新、新定共六个县，建新都郡，任命贺齐为新都郡太守。新都郡郡治设在始新（故城在今浙江淳安县西），隶属于扬州。这是徽州地域州郡一级行政设置的开始，从此这里成为相对独立的行政区域。