由刘渊起事到元魏统一中原，中国经过一百三十六年的大乱，就是所谓五胡十六国的时代，最早发动的就是自汉宣帝以下蔓延内地的并州匈奴。所谓大晋一统的虚伪局面被立刻揭开，真正抵抗的能力全告缺乏。

怀帝永嘉三年（309年），刘渊派儿子刘聪两次进攻洛阳。永嘉四年（310年），刘渊死，刘聪继位。这时洛阳周围地区或遭破坏，或为刘聪、石勒占领，洛阳饥困日甚。掌权的东海王越，眼看洛阳难守，遂以出讨石勒为名，率领仅有的一些军队和满朝文武公卿离开洛阳，东屯项。永嘉五年（311年）三月，司马越病死。石勒率骑追司马越军，在苦县宁平城（今安徽鹿南郸城东）大败晋兵，“从骑围而射之，将士十余万人相践如山，无一人得免者”（《资治通鉴》卷八七晋怀帝永嘉五年）。同年五月，刘聪攻陷洛阳，晋王公百官及百姓死者三万多人。怀帝被掳到平阳。

但这些外族大半都受过中国文化的影响，占领中原之后就极力汉化，甚至忌讳“胡”字。后赵王朝的建立者石勒，本是入塞的羯族人。他在襄国（今河北邢台）登基做皇帝后，对自己国家的人称呼羯族人为胡人大为恼火。石勒制定了一条法令：无论说话写文章，一律严禁出现“胡”字，违者问斩不赦。可见此前中国对他们的虐待是防止他们汉化的最大原因。但“非我族类”，种族间的冲突难免。外族多年的怨气至此方得任意发泄。胡人对汉人往往故意侮辱或大规模的屠杀，汉人只好忍受。史书记载羯族军队行军作战从不携带粮草，而是掳掠汉族女子作为军粮，羯族称之为“双脚羊”，意思是用两只脚走路像绵羊一样驱赶的奴隶和牲畜。

但胡人最少有一次得了临时报复的机会。公元349年，羯赵皇帝石虎死后，其子十余人互相残杀。公元350年正月，冉闵杀死羯赵皇帝石鉴，同时杀死石虎的三十八个孙子，尽灭石氏。其后冉闵即皇帝位，年号永兴，国号魏，史称冉魏。冉闵建魏后，便颁下《杀胡令》：“凡内外六夷胡人，敢持兵仗者斩，汉人斩一胡人首级送凤阳门者，文官进位三等，武职悉拜东门。”冉闵亲自带兵击杀邺城周围的胡人，三日内斩首二十余万，尸横遍野，同时冉闵还扬言要六胡退出中原，“各还本土”，否则就将其统统杀绝。