光武帝废郡国军，只留中央军与重要边地的驻屯军。这并不见得是中央集权的政策：一般人早就不要当兵，与其继续维持有名无实的地方军，还不如直接废除为便。但人民既然不愿当兵，中央军也是同样的难以维持；所以到后来只有边疆归化的羌胡兵还勉强可用，甚至大家认为这是当然的事，丝毫不以为怪。并且不只衰乱的末世如此，东汉强盛时最值得纪念的武功胜利，实际亦大半是外族兵的功劳。

窦宪出击北匈奴之时，就曾利用南匈奴和羌胡的军队配合作战，史载窦宪出兵时率“南单于、东乌桓、西戎氐羌侯王君长之群，骁骑三万”（《后汉书·窦宪传》）。东汉末年及三国时期，各军阀利用鲜卑、乌桓、羌族“以胡治胡”和打击敌人更是常态。如军阀韩遂就利用羌族武装进攻州郡，而当时防守韩遂的将领曾建议利用乌桓和鲜卑的力量进行对抗。

郡国军虽然废除，维持各地的治安仍需武力。所以州牧太守一定都要招募士兵。但这是地方官的私军，不属于国家，也不为国家所用。在东汉，各州郡都有独霸一方的豪强地主，这些豪强在他们的庄园中都拥有自己的武装。地主的田庄相对独立，因此往往成为内聚力很强的社会群体，他们拥有的武装实力足可以与政府军对抗。东汉末年，有的豪族武装甚至拒绝地方官入境。

中央军消灭，宦官外戚交互捣乱，天下骚动，拥有私军的地方官尾大不掉，因而形成割据的局面。黄巾军起义后，很多军阀都是依靠地主豪强的武装而割据城池，或者由一个比较有威望的大豪强聚集其他拥有宾客部曲的豪强形成自己的势力。