《新安志》记载：“秦并天下，置黟、歙二县，属鄣郡。”黟、歙二县的建立，是徽州地域最早的行政区划设置。但是这里只记载了朝代，没记具体时间。因此，后来的不少文献就把这个历史事件发生的时间记为公元前221年，也就是秦始皇二十六年。这种记述是不准确的。因为学术界比较一致的看法是，秦始皇二十六年统一全国，分天下为三十六个郡，其中并没有鄣郡，也无黟、歙二县的记载。从地域上看，徽州这一带，当时应该是属于会稽郡。秦始皇二十五年（公元前222年）灭楚，平定江南，设置了会稽郡，郡治所在地在吴县（今江苏苏州市），会稽郡的辖地为原来吴国和越国的属地，包括今天的江苏南部、安徽南部和浙江北部地区。而鄣郡的设置，应当是秦朝后期从会稽郡分设出来的。

究竟是何时分设的呢？我们从被尊为中国地方志的鼻祖，也是国内现存最古的地方志——《越绝书》中找到了线索。《越绝书》至迟成书于东汉，主要记载从春秋末年到战国初期吴越争霸的历史事实，上溯夏禹，下迄两汉，旁及诸侯列国，对这一历史时期吴越地区的政治、经济、军事、天文、地理、历法、语言等等都有所记述。

《越绝书》的第八卷记载了秦王嬴政改号秦始皇帝后，于三十七年作的最后一次“东巡”的过程。这一年，也就是公元前210年，秦始皇东巡到会稽郡，农历正月时抵达原来越国的国都大越（今浙江绍兴）。到了那里，他为了防止越国人反抗复国，就下令把原来越国的国民分散迁走，设置了一些新县，并且把“大越”这个地名也改为“山阴”。这次东巡返回途中，秦始皇就驾崩了。而《越绝书》第二卷里的也记了这事，两处都列举了一些县名。前后对照，多数县名是重复的，只是有一个“伊攻”县，一直没人考出来究竟是哪里。有一个问题恐怕知道的人不多，这里需要特别指出，这就是黟县在宋代以前的文献记载中，多为“黝县”，就是“黑”字旁一个幼小的“幼”字。在《越绝书》第二卷里，秦始皇迁大越民设立的县中记的便是黝县，与歙县并列在一起。

经过分析，我认为，这个“伊攻”县，很可能就是黟县的古名黝县。我们知道，越文化与中原文化有很大的差异。作为当时古越族的聚居地，古越语在今天的徽州方言中还有许多遗存。如《越绝书》里记载越语说船叫“须虑”。而今天的休宁话“船”的发音是“xuan”，音非常接近。古代文献对非中原地区的地名记载往往是记音。这里的“伊攻”也应该就是古越语的记音，快读为“黟”， 缓读即为“黝”。今黟县方言读“黟”为“ye”，音在“黟”、“黝”之间。所以这个地名既可以记作“黟”，也可记作“黝”。后人在注《汉书·地理志》时就说“黝县”也写作“黟县”。同样，我认为歙县县名也应该是取之于古越语发音。所谓歙县的“歙者翕也，谓山水翕聚也”，就是山水聚合的说法；还有黟县是因为县南有墨岭出石墨，又过去曾经向朝廷进贡过柿心木（一种黑芯的木头）所以得名“黑多”的黟县，都是后人的望文生义。

既然如此，根据《越绝书》的记载，徽州最早的行政建制——“黝（黟）”县和“歙”县，准确地说是建置于秦始皇三十七年（公元前210年）的正月，至今已有2225年的历史。而鄣郡很可能也是同时设立的。之所以在官方文献中没有记载，或许与秦始皇划设了鄣郡及其属县后，返程途中就去世了有关。我们知道，当时对秦始皇的驾崩是“秘不发丧”，官方自然也就顾不上记载其它事务，但在地方文献中却记录了下来。

当时的黝、歙二县辖地很广。黝县地包括今天的黟县、祁门、石台和黄山区的一部分。歙县地包括今天的歙县、休宁、屯溪区、徽州区、绩溪、黄山区的一部分、浙江的淳安以及江西婺源的一部分。

秦始皇去世之后，短短三年时间，中国历史上第一个统一的、多民族的、中央集权制国家秦朝就灭亡了。随之而起的是汉王朝。西汉初期，汉高祖刘邦分封藩王，高祖五年(公元前202年)，黝、歙二县属楚国。后相继属荆国、吴国、江都国。汉武帝元狩二年(公元前121年)改鄣郡为丹阳郡，黝、歙二县隶属丹阳郡，郡治在宛陵（今安徽宣城），并在歙县设丹阳郡都尉治，管理军事。汉成帝鸿嘉二年(公元前19年) 立中山宪王弟刘云客为广德王，改黝县为广德王国，广德王城在今黟县城东2.5公里的古城村。歙县属丹阳郡。第二年刘云客去世，无子，废广德王国，复设黝县。汉平帝元始二年(公元2年)再设广德王国，立广川惠王的曾孙刘伦为广德王，后传其子刘赤。王莽篡权，建立新朝，于始建国元年（公元9年）贬刘赤为公。第二年废国，并改黝县县名为愬虏（蔑称，意思是恐惧的俘虏或奴仆），属丹阳郡。东汉光武帝时期才恢复黝县名。