在1817年这一年，拉·卡色首先用计离开了圣赫勒拿岛。然后，奥默阿拉大夫也因哈德森·洛爵士的阴谋报复而被解职后离去了。

拿破仑的随员继续在皇帝面前为了争夺宠信而相互不和，使事态更加复杂化。在一片浩渺大洋中的孤岛上，蒙托隆成功地排挤了中心人物贝特朗，成为拿破仑的参谋长和最重要的心腹之人，这当然使得一头雾水的贝特朗、歇斯底里的古尔戈以及愤愤不平的拉斯加斯心怀嫉妒。蒙托隆的夫人嫉妒贝特朗的夫人在龙坞宫之外有自己单独的住宅，而她和自己的丈夫以及他们的孩子却要在拿破仑的屋檐下栖身。

古尔戈与蒙托隆、贝特朗等人的争斗甚至从登上英国人战舰那一天就开始了。最初，贝特朗夫人是矛盾的焦点。这个自命不凡，带有英国血统的高个子女人有时使拿破仑也备感难堪，因此，一搬进龙坞宫，贝特朗一家就与这个小朝廷呈现出明显的不协调。

由于贝特朗一家并没有住进龙坞宫，贝特朗也无意过多地在这个小朝廷里争风吃醋，因而矛盾的焦点又转向了古尔戈。自从拉·卡色走后，古尔戈受到贝特朗和蒙托隆更猛烈的攻击，他现在常常喃喃自语“走了，走吧”。这个敏感的年轻人长期因嫉妒而苦恼。他生性慷慨，但自视甚高，一旦遭到或自以为遭到冷遇，便满怀抑郁，于是，他的日记成了连篇哀叹。

只要拿破仑对蒙托隆夫妇稍表关心，就会惹得“戈戈”大动肝火或彻夜不眠，就算第二天拿破仑加以抚慰，邀他下棋或玩纸牌，或帮助整理滑铁卢战役的手稿，都难以消除他的怨气。拿破仑再三试图向他讲明蒙托隆夫妇的地位理应比他优先，但怎么也没有用。

龙坞宫的环境还因为那里长期阴雨、多风的阴霾气候所致。拿破仑经常对这寒冷、死气沉沉的天气反应过度。因为这只会加重他的孤独感，让他与詹姆斯敦甚至岛上的居民愈来愈疏远。自从拿破仑命令他的全体随员同英国人保持距离后，在自我封闭环境下的每个人都备感神经紧张。

有一天，危机终于爆发了。蒙托隆又拿古尔戈曾在布里埃纳救过拿破仑之事对他进行揶揄取笑。自从这位将军在布里埃纳保驾，使拿破仑免遭哥萨克骑兵的长矛刺杀，至今已有4年多了，想起这件事，目前的“屈辱”就无法忍受。他向蒙托隆挑战，要进行决斗，但拿破仑严加禁止，并批评了古尔戈，却没有批评蒙托隆，这使他更感屈辱。

现在拿破仑训告他说：“总之，我只喜欢那些对我有用，能用多久就用多久的人，我可不管他们心里想些什么！我只对他们向我说的话感兴趣，如果他们背叛我，他们所做的，也不过如许多其他的人已经对我做过的勾当一样罢了。”

当古尔戈抱怨说他没有一个女人，而蒙托隆和贝特朗都有妻子在身边的时候，拿破仑就说：“什么女人！没有女人，世界一样完整存在。当你不去想她们的时候，你就不需要什么女人，就像我一样。”但是古尔戈并不认为他的皇帝没有女人，他认为阿尔贝·德·蒙托隆就是拿破仑的情妇——他有足够的证据证明这一点。古尔戈在日记里，做了如下记录：

有一次，他偶然发觉阿尔贝去看拿破仑，令他吃惊的是，当时拿破仑还在寝室里没穿衣服。当古尔戈把这个发现告诉她丈夫的时候，不料蒙托隆却喃喃地说：“我不知道，我也不说没有。”另一次，拿破仑正在洗澡，适逢阿尔贝来访，在场的蒙托隆便被支使出去了。于是古尔戈便对他说：“妙得很，她一进去，你就被赶出来了。”拿破仑跟这个逗人的、圆滑的阿尔贝的关系，把妒忌不平的古尔戈激怒了。“如果皇帝高兴，就让他跟这个婆娘去混吧。不过，我可不想在他们面前受侮辱。”古尔戈又对阿尔贝的丈夫道，“可怜的蒙托隆呀！你正在扮演一个什么样的角色啊！”

1818年2月初，拿破仑有事找古尔戈，发现他正跟贝特朗在弹子房中下国际象棋。“你到底想干什么？”拿破仑问道。古尔戈回答说，他觉得自己越来越受人虐待，因此打算告辞了。拿破仑说，他想怎样对待蒙托隆就怎样对待蒙托隆，还说：“如果我想跟她在一起睡觉，又怎么样呢？”古尔戈说，他已经估计到“皇帝陛下的胃口并未丧失”。于是拿破仑便叫他滚蛋。

2月13日，古尔戈离开了龙坞宫，在总督官邸附近的一间农舍里待了几个星期，等下一艘船到来。拿破仑拒绝支付他按理应该给的钱，使古尔戈身无分文、窘迫万分，直到总督洛自掏腰包给了他100英镑……不过，在他离开海岛之前，他并没有向那几位外国监督官报告拿破仑随时都想逃跑的企图，只是说拿破仑宁愿在这里受监禁，也不愿意到自由的美洲去。但他在给他母亲的信件中将岛上的生活说得很好，说哈德森·洛给他们的待遇十分慷慨。其中的一些信件落入巴黎官员手中，这些描述和此前拿破仑对岛上的描写截然不同，引起哗然。

拉·卡色走了，古尔戈又走了，跟随拿破仑来圣赫勒拿岛的4名官员中只剩下了贝特朗和蒙托隆。

不久，阿尔贝夫人也提出要离开他了。她的离开给人们留下了许多猜不透的谜：她是不是拿破仑的情妇？她那个在岛上出生的女儿拿破里奥尼是不是拿破仑皇帝的孩子？那位经常到龙坞宫来看望她、后来又在布鲁塞尔跟她相会的年轻的英国官员巴西尔·杰克逊是她的情人，还是哈德森·洛的间谍？或者两者兼而有之，或者两者都不是？但有一点似乎已经得到公认，那就是阿尔贝正与拿破仑共享床席之乐的说法，不仅在圣赫勒拿岛传得相当广泛，而且也见诸那些外国监督官给他们的政府所作的报告中。奥国的斯特默尔男爵报告说：“蒙托隆夫人能够战胜她的敌手并爬上这位皇帝的龙床。”

不管阿尔贝是不是拿破仑的情妇，可以肯定的是，这里确实有过快乐的日子。现在，阿尔贝以及她的孩子们的离开，自然而然地使本来就慢悠悠的日子变得更加空虚漫长了。她要丈夫和她一起走，可是蒙托隆拒绝了。当她离去时，拿破仑通过一扇百叶窗，目送着阿尔贝离开龙坞宫。当他转身离开窗边的时候，几乎一脚踩在一只老鼠身上。他对贝特朗说，阿尔贝不过是一个“只要有几张数目可观的支票就心满意足的私通者”。而这位沉默寡言的、忠实的工兵军官贝特朗，虽然他与拿破仑已经相处多年，这时也已经愁眉苦脸地议论起离开圣赫勒拿岛的计划来了。

这时候，又发生了一件很意外的事：

拿破仑的科西嘉男管家西伯里阿尼（他实际上是拿破仑的间谍军官），这个从未得过感冒的身体强壮的人在1818年2月24日突然全身发冷，腹痛难忍、呕吐。48小时后，他死了。医生们都很困惑，但事实就是这样——这个可怜人被埋在了附近。龙坞宫对其死因提出了质疑，命令做尸体解剖，但尸体不见了。数周后，另一位年轻女仆也死了，死的症状相同，接着另一佣人的孩子也是如此。在西伯里阿尼死后的一段日子里，拿破仑显得非常沮丧。

现在，仆人们也一个一个离开了：去年已经走掉了13人，其中包括厨师勒巴兹，也找了一个借口回老家。剩下来的人也正在寻找各种借口，只要可能便设法离开。

最令拿破仑难受的是巴尔坎一家的离去。哈德森·洛总督自从与拿破仑的矛盾公开化后就一直处心积虑想找到各种口实，把任何一个与拿破仑接近的人驱逐出圣赫勒拿岛。

3月的一天，贝特西·巴尔坎正跟拿破仑一起在龙坞宫的花园里散步。时近黄昏，拿破仑手指着那片灰色的海面——它就夹在那些山巅耸立着英国大炮的朦胧的山峰之间，面带“病态的笑容”，说道：“你很快就要渡海回英国去了，留下我死在这个悲惨的石头荒岛上。你看那些死寂的石头，它们就是我的牢房的墙壁。你很快就会听到拿破仑皇帝死亡的消息。”贝特西禁不住泪如泉涌。她伸手去掏手帕，可是她把手帕忘掉在马鞍的袋子里了。拿破仑摸出他的手帕，擦掉她的眼泪。他叫她把手帕收下，就作为他们分别的纪念品。晚餐过后，巴尔坎一家准备告别了。拿破仑问贝特西喜欢得到什么可以使她记起他来的纪念品。贝特西答道：“我希望得到你的一绺头发，这比其他任何礼物都更有价值。”于是他派人去把马尔尚找来。他要马尔尚找来一把剪刀，亲自从头上剪下四绺头发：一绺送给贝特西的爸爸，一绺送给她妈妈，一绺送给她姐姐，还有一绺送给贝特西自己。对拿破仑来说，失去威廉·巴尔坎，就等于失去了他与外部世界进行联系的最有价值的渠道；而失去巴尔坎家庭，则是使他失去了在这个英国殖民地圣赫勒拿岛上结交的仅有的几位最值得信赖的朋友。这是拿破仑在1818年年初所受的一连串打击中的最后和最严重的一次。

在龙坞宫的臣民中，自始至终，只有路易·马尔尚——拿破仑的侍从长对他一直是殷勤的、毫无怨言的：不管是过去拿破仑得意的时候，还是今天他落魄的时候，都是以同样的献身精神侍候着他。这个漂亮的精力旺盛的年轻人，甚至当他的主子阻挠他与一位当地妇女结婚（虽然拿破仑答应其他的仆人在当地结婚）的情况下，他也没有抱怨。那个女人已经生下了一个孩子，可能是拿破仑的，也可能是马尔尚的。马尔尚和蒙托隆，一个是侍从，一个是贵族，这两个人已日益变成拿破仑的得力的忠实伙伴，拿破仑总是单独跟两人中的一个消磨着日子：早上他可能跟蒙托隆在花园里散步；下午则向马尔尚口授他的历史，让马尔尚记录；晚上，或是在许多难眠的深夜里，这两个人总有一个会被他唤去给他大声读书。在这个早已倾败的流放宫廷中，已不再举行什么帝国晚宴了，拿破仑不是单独用餐，就是跟蒙托隆一起进膳。贝特朗每天都会到龙坞宫来，不过因为他住在这座建筑物的外围，并且受到他那位美丽的、有点厉害的妻子的管制，因此，当拿破仑需要他时，他总无法及时应命。于是，拿破仑与他这位交情最久的伙伴之间的距离，也越来越扩大了。

现在龙坞宫的小朝廷已不可避免地解体了，但远在罗马的波拿巴家族还是及时派来了一只小小的分队。

费舍舅舅送三个科西嘉人来到圣赫勒拿岛——两个牧师和一位医生安托马奇，但这也不能改善龙坞宫的凝重沉闷的气氛。他们带来了波拿巴家族的一些情况：

波拿巴家族成员在滑铁卢战后，大多居住在罗马。太夫人和她的兄弟——即红衣主教费舍一同住在斯特拉达·吉里亚宫中。主教收藏的大量的法兰德斯和意大利的名画，也存放在这座宫中。那位奢侈、淫荡的波利娜也住在罗马。她嫁给了波格斯王子，但是本性难移，常跟一群情人混着日子。路易丝和吕西安有时也来罗马走走，而太夫人则定期地跟她其余的儿女保持着通信联系。

金发女郎贝特朗夫人法妮愈来愈迫切地想离开这个孤岛，特别是得知于1817年就已去世的消息后就更想逃离该岛。1820年初，当她最后打算带儿子女儿离开时，贝特朗宣布他将在同一年内回国与自己的妻儿团聚。但拿破仑不允许，愤怒的法妮扔下她的行李，最终留了下来。

生活变得更加单调压抑，更令人无法忍受了。拿破仑又开始思考一些宗教问题。早在20年前，在远征埃及的船上，他便表达了对宗教一种十分含混的看法。他认为，世界上只有人是不可战胜的。他只相信人——特别是像他这样的超人的意志和力量，从不听天由命。然而在更深刻的心理层次上，他像许多政治强人一样，对那冥冥之中的永恒宿命有着一种难以言说的恐惧，因而当蒙日等科学家们大谈无神论时，他大声说：“那么先生们，请问，宇宙的一切都是谁安排的呢？”

在圣赫勒拿岛的最初岁月里，他曾向古尔戈谈论起宗教问题。

拿破仑说，物质无所不在，寓于一切事物；生命、思想和灵魂本身都只不过是物质的属性，人死则一切完结。当古尔戈用宇宙的宏伟安排来证明有造物主的时候，拿破仑承认他相信“超凡之灵”。他断言，如果基督教是最原始的普遍信仰的话，他是会信奉的。

但看起来，他仍习惯于从政治功能的角度来评论宗教。他说，可是伊斯兰教徒“信奉的宗教比我们的更朴素，更适合于他们的道德”。他们的创始人，十年之间就征服了半个世界，而基督教则搞了300年才做到这一点。此外，他还提到，拉普拉斯、蒙日、贝托莱和拉格朗热都是无神论者，虽然他们没有公开宣称；至于他自己，他觉得上帝这个概念是很自然的，向来存在于一切时代和一切民族的精神之中。有一次，他问马尔尚：“你说上帝到底是什么？”根本不懂宗教的马尔尚笑着说：“上帝就是让人说话吃饭的神。”是啊，人类只有一点是真实的，那就是呼吸吃饭，实实在在地活着。拿破仑最后说：“上帝是什么，上帝是人内心的欲望。”顿悟后的拿破仑又感慨地说：“虚荣本是虚幻。”