然而，常书鸿做梦也不曾料到，命运之神给他安排的磨难将接二连三地袭来。

先是妻子陈芝秀的出走，家庭的破裂。

陈芝秀是搞立体艺术的，据说很有才气，为了丈夫孩子的关系，放弃了舒适的巴黎和自己喜爱的专业，回到了战火纷飞的国内。云贵路上，她和孩子沙娜九死一生，险些被日机炸成碎片。常书鸿到敦煌后，打算扎根于斯，借回重庆办展览之际，接来了母子三人。莫高窟寂寞的中寺里，洋溢着一股家庭的温馨。但是，这仅仅是外人观感，危机已从这个小家庭中慢慢地聚生。虽然都是搞艺术的，但对待生活的态度不一，从常书鸿而言，重责在身，义不容辞，办好敦煌研究所是当务之急，所以工作上想得多，家里事务考虑得少。从陈芝秀而言，一个巴黎艺术沙龙的雕塑家，从生活氛围到宗教信仰，都已习惯于西方文明，为了支持丈夫的事业，随夫走南闯西，放弃专业，作出了很大牺牲。但苦海无边，越走越远，最后竟然要和子女在沙海中的孤岛敦煌定居，这是她所不敢想象的，也是她脆弱性格所难以接受的。这就产生了夫妇间最可怕的隔阂。这种消极因素，是感情抵触的烈性炸药，只要有一个火星，顷刻间就会爆炸。恰恰这个火星，由于常书鸿的疏忽，竟很快就产生了。

1945年初，一个姓赵的国民党军队复员军人经常书鸿朋友介绍来到了所里。这人三十多岁，又是浙江诸暨人，恰巧与陈芝秀同乡同里，刚好所里管总务的缺人，他就被留了下来，专管总务。常书鸿夫妇都认为不错。特别是陈芝秀，荒漠里掉下来个小同乡，人又能干，又听话，自然在感情上更近一层。谁知这一近，近出了事来。在短短几个月里，感情的天平完全倾斜，陈芝秀失去了对常书鸿，对敦煌的寄念。当常书鸿发现事情不妙，将小诸暨“驱逐”之后，陈芝秀的心也就飞离了莫高窟大佛脚下的这片净土。她一封信连一封信地倾诉心中的苦衷，请莫高窟上寺的徐喇嘛代发出去，可信件最终落到了常书鸿手里。常书鸿这才明白，妻子借口去兰州治病多日未有音信意味着什么。

悲怆欲绝的常书鸿骑上所里的那匹枣红马，连夜向安西方向赶去，他想也许陈芝秀还未走远。赶到安西，却扑了个空，于是又继续朝玉门追。由于急火攻心，结果在玉门道上从马上摔下，昏迷过去，后被玉门油矿野外工作人员救获。

陈芝秀一到兰州，立即登报声明和常书鸿离婚。

如果认为陈芝秀出走完全是因为不堪敦煌的苦日子和虚荣心所致，抑或是因为第三者的原因，如常书鸿自我分析的那样，问题就太简单了。其实，常陈二人虽为夫妻，生有孩子，但彼此性格、爱好乃至理想，差别很大，各有各的生活哲学。双方都想让对方跟着自己转，服从自己的需要。在常书鸿这方面尤其表现突出，陈芝秀在法和常书鸿结合时，常还是一个不问政治的美术工作者。及至接受国内聘请而归，陈芝秀和孩子尚留法国未一同回来，就已经说明了他们之间的裂痕。这条裂痕随着常到敦煌而加大，终于导致了不可挽回的离异，这就不足为怪了。“我自己一心沉在工作中，也没有时间照顾家庭、照顾妻子，工作不顺心时，在家庭中与妻子也时常发生口角甚至是争吵。”常书鸿在回忆录中的反省其实并没有触及问题的实质。

陈芝秀离开了常书鸿，并未争得幸福，社会不接纳她，其结局终也离不开“凄苦”二字。这里，不妨抄录当年在研究所工作的李浴回忆：“事态暴发之后，我和董希文参与了调解工作，个中细节无需细说，总之是那个第三者在被辞下山走了之后，这位夫人闹个不休，坚决要与所长离婚，当时所看到的是一个面色苍白、蓬头散发、 目射怒火的‘繁漪’形象，完全失去了往日的靓妆丽影色彩，我们用尽了使其回心转意的方法也都无济于事，所长无奈只好允许她进城休息些时日以期能有所醒悟，岂知正中其计，二人即在城中暗约偕逃了。消息传来，所长大怒，急忙追至酒泉也不见踪影，河西司令陶峙岳下了一道通缉令也未奏效。悲剧之产生自然使常先生受到打击，而私奔的下场则更惨，并不比托尔斯泰笔下的安娜·卡列尼娜的结局好到哪里，所以真正的悲剧人物则是这位夫人了。”

婚变给常书鸿造成了很大打击，两个孩子常沙娜和常嘉陵一下子成了没娘的娃，这是对常书鸿的严重的考验。如果不想在敦煌呆下去，正是离身而去的好机会，谁也不会说什么。常书鸿却选择了敦煌，这是令一般人惊叹的。时至今日，人们对常书鸿的选择都表示了同情和赞赏，对他献身敦煌艺术的精神表示钦佩。而这种为保护敦煌艺术的执著之情，恰恰是常书鸿一生中最大的功劳和成绩。