于是，密特朗顿时从一个受害者、“英雄”变成了一个政治骗子，不仅成为政敌攻击的目标，甚至许多朋友也嗤之以鼻，纷纷离他而去。在此之前，密特朗由于其政治主张一直与戴高乐相对立，而与戴高乐势不两立。所以，在1959年1月戴高乐就任第五共和国总统之后，密特朗的政治生涯转入低谷。不仅丢掉了在前七年间历任不同部长的优势，而且还在国民议会选举中丢掉了连选连任11年的议员席位，不得不重操律师旧业。即使在1959年4月当选为参议员，但其政治影响显著变小。在这个时期出现“天文台事件’丑闻，无异于雪上加霜，密特朗几乎被逼得走投无路了。

戴高乐的首任总理米歇尔·德勃雷并不肯就此罢手，借此机会，给已被打在地的密特朗身上踩上一只脚，向参议院建议取消密特朗的议员豁免权。11月25日，参议院就此案进行讨论时，密特朗指责政府是这桩丑事的主谋或帮凶。他援引前总理布尔热一莫努里的类似事件为自己辩护。一个月前，也是这个佩斯凯，曾经恐吓过布尔热一莫努里，后者报告了国家安全局长，佩斯凯才停止纠缠。而这次密特朗的遭遇同希尔热一莫努尔一模一样，使用的是同一手法。最终，参议院仍以175对27票通过了暂停密特朗议员豁免权的议案。这无疑加重了对密特朗的政治上和道义上的打击。

密特朗枪击案之谜：

这起离奇古怪的天文台公园枪击案，迄今一直是个没有解开的谜。密特朗认为：“有人即便不想置我于死地，至少是想使我的名誉扫地。”1996年密特朗逝世后，密特朗夫人回忆说：“人们本想把他从肉体上消灭，结果，他在精神上被击垮了。”佩凯斯的口气也变来变去，他于1959年11月4日，被指控参加议会爆炸案遭逮捕后几年，坦白天文台事件的幕后策划者是戴高乐派头面人物。1975年1月8日，他又说出了两个人的名字：“当年的总理米歇尔·德勃雷和克里斯蒂昂·德拉马莱纳。”

1995年，在佩斯凯就此案编写的书中，佩斯凯又一次点了德勃雷的名。不过，他没拿出真凭实据，一般人都不相信他的说法。一般认为，此案是戴高乐派的情报部门操纵的，目的在于从政治上消灭第四共和国时期留下来的最危险的对手。当然，密特朗就是其中之一。这件案子尽管到现在还存有不少迷惑，但却足以说明政坛波涛的险恶。但是，坚强的密特朗并没有向逆境妥协，经过奋斗，终于又登上了总统宝座，而且一干就是十四年。