秦子嬰元年（前206年），秦始皇帝陵遭遇了第一次也可能是最大的一次劫難。據《史記·高祖本紀》《漢書·卷一·高帝紀第一上》《漢書·卷三十六·楚元王傳第六》記載，西楚霸王項羽帶兵攻入關中後，大規模破壞秦始皇陵，地麵建築毀於一旦，並下令挖掘了帝陵，兵馬俑在這場浩劫中也損毀嚴重。

    根據後來的專家考古發掘情況表明，一號俑坑和二號俑坑有黑色木炭遺跡，說明一、二號俑坑的塌陷都是因為被火焚燒後造成的。

    劉邦擊敗項羽後，定都長安，建立西漢。為了籠絡天下人心，於漢高祖十二年（前195年），下令對秦始皇陵妥為保護，並著令20戶人家住在秦陵附近，作為守陵人看管秦始皇陵。此後，各朝各代的統治者對秦代帝王陵墓，都下令保護。

    但即使如此，秦陵也未得安穩。《漢書·劉向傳》記載，有一小孩在秦陵附近放羊，結果有一隻羊掉入地洞中，小孩子打著火把到地洞中去尋找，不料竟然走進了秦陵地宮，引發了一場大火，將秦始皇的棺槨燒掉了。對《漢書》所記，《水經注·渭水》也作了補充：“牧羊人尋羊燒之，火延九十日不滅。”

    新莽末年，赤眉軍盜掘秦始皇陵，將發掘出的葬具、銅槨熔化掉，以取銅材。

    魏晉時期，後趙統治者石虎又悍然盜掘秦陵。

    唐代末年，黃巢攻入關中，秦始皇陵經曆了一次大規模的破壞。黃巢盜秦陵一事曆代都有傳說，明人都穆《驪山記》雲：“始皇陵內城周五，舊有四門，外城周二十，其址俱存，自南登之，二邱並峙，人日：此南門也。右門石樞猶露土中，陵高可四丈，項羽、黃巢皆嚐發之。老人雲：始皇葬山中，此特其虛塚耳。”都穆《驪山記》中所記黃巢盜秦陵的事情，在新、舊《唐書》均不見記載，所以，不少學者對其真實性提出了質疑，此種說法尚待專家考證。

    五代時，軍閥溫濤以籌集軍餉為名，再次大規模組織盜掘秦始皇陵。

    宋太祖開寶三年（970年），下令臨潼縣保護和修整秦始皇陵。