1931年冬天，“胶带匪帮”的大多数成员悉数落网，吉利斯也被判处终身监禁，发往伊利诺伊州的监狱服刑。但次年2月，在引渡到惠顿（Wheaton）为另一起银行劫案受审时，他居然顺利逃狱，并）结识了约翰•切斯（John Paul Chase）等人，重新组织起了自己的犯罪团伙，并和“全民公敌”迪林格搭上了关系；而迪林格策划的“木枪越狱”，据说也有他的幕后支援。于是，BOI把他和迪林格一样列入了全国通缉的名单，极力展开了追捕。

失败的追捕

1934年4月20日，机会竟然自己送上门来了，吉利斯、迪林格等一拨团伙成员，各自带着家属一起来到了位于威斯康辛州北部一个叫做“小波西米亚”（Little Bohemia）的别墅度假。周五晚上，度假村的主人无意中看到了迪林格藏在口袋里的手枪，又联想到了BOI的通缉令，对他们的身份产生了怀疑，第二天早上外出时便悄悄报警。BOI很快收到了消息，22日深夜，30多名探员匆忙分批飞抵芝加哥，由当地警官带路，浩浩荡荡的朝着小波西米亚出发了。

在探员们的心中，也许认为这次任务是手到擒来的事。然而，事情并不顺利：刚接近度假村，周围的狗就开始吠叫起来。探员们慌忙下车，朝屋子里包抄过去。这时，一辆车恰好堵在了门口往外开，探员们亮明身份，让对方立即熄火下车，但也许是引擎声盖过了喊话声（当时天气寒冷，车窗都紧闭着），车上的人没有反应。探员们仓促开火，将驾驶人当场击毙——而事后才发现他们和匪徒毫无瓜葛，纯粹是路过度假村的普通游客而已。枪声却惊动了屋里的人，迪林格、范•米特等人立即丢下女伴仓促逃走，探员们只得分头追赶。

吉利斯跑向了和迪林格他们相反的方向，劫持了一辆汽车逃走。但那辆车开得很慢，他不得不重新去劫持一辆车。然而，还没进屋呢，屋子主人就看到了他们，打电话报警说有一辆可疑的汽车路过。于是，当吉利斯挟持了房主等数名人质准备出发时，探员们也尾随而至。

追来的探员和警察万万没有想到，自己却从追踪者变成了猎物：车刚停下还没来得及打开车门，吉利斯就突然出现在车窗旁边，用枪逼着他们下车。开车的探员只得走了出来，吉利斯却突然开火了。他手中的0.38口径柯尔特手枪经过地下枪匠雷曼的改造，像冲锋枪一样可以连发，一连串火热的子弹猛然喷射出来，一名探员波姆当场殉职，另外两人也身受重伤，吉利斯则抢过了探员们的汽车，成功逃脱。而度假村里的三位女眷，包括吉利斯的妻子海伦，则被裁定犯有包庇罪，但都获得了假释。

事后，BOI也曾调查过，为何三人没有开枪还击。实际上，探员的手枪已经打开了保险，可惜还是慢了一点点。而这次枪杀探员的犯罪，让BOI和胡佛局长倍受舆论指责，也让吉利斯迅速成为BOI的死对头。不久之后，迪林格和“小帅哥弗洛伊德”（"Pretty Boy" Floyd）相继被BOI击毙，吉利斯随即取代了他们的位子，成为了BOI公布的头号全民公敌。

头号公敌

10月份之后，吉利斯带着妻子海伦一起四处流窜，其间还曾与BOI探员的追捕擦肩而过，日子过的很是仓惶。11月27日，决战时刻终于来临了。这天，BOI的探员在威斯康辛州与吉利斯一伙遭遇，吉利斯与探员们在公路上你追我赶，不时还来个U形急转弯，像战斗机一样绕到对方后面，咬住车尾猛烈射击。其间，还有一辆运牛奶的大卡车迎面开来，探员们不得不努力稳控制住方向盘，一边还得腾出手来开枪。最终，探员们的车子报废，吉利斯带伤勉强逃离了现场；另一队探员则继续追踪，终于在伊利诺伊州芝加哥附近的巴林顿（Barrington）追上了他。

两名探员vs纳尔逊和切斯。

此时，BOI一方有两名探员：山姆•考利（Sam P Cowley）和赫尔曼•霍利斯（Herman “Ed” Hollis），两人都带有重武器，并且身强力壮、经验丰富，霍利斯还是击毙迪林格、佛洛依德的英雄之一。吉利斯一方则是有他自己和约翰•切斯，带有手枪。

之前的交火中，吉利斯的福特汽车被打坏了水箱散热器，不久之后就抛锚了。于是，他们在巴林顿北部公园的入口处（现西北14号公路）弃车而逃，尾随而来的探员们还没停稳就遭到了他们的枪击，随即下车，在距离30米左右开枪还击。晚上8点钟左右，四个男人之间的枪战猛烈爆发，周围不少人目睹了整个过程。

枪声一响，吉利斯的妻子海伦立刻跑向了一条水沟并趴在里头，这是吉利斯特别交代她的，因而没有受伤。最先得分的是考利探员，他的6发冲锋枪子弹分别命中了吉利斯的胸口和腹部；但吉利斯没有倒下，反而迅速转身回击，一连串手枪弹将考利击倒。随即，霍利斯从汽车后冲出，用霰弹枪打伤了吉利斯的腿部，10发小铅弹打进了他的腿里。霍利斯自己也受了伤，挪动到一个电线杆后，抽出手枪准备继续战斗，不料吉利斯居然拖着伤腿赶了上来，一枪将其射杀。枪声平静下来，浑身是血的吉利斯在霍利斯的遗体旁边伫立片刻，在同伙的帮助下爬上了车，只对海伦说了一句：“完事儿了”（I'm done for）。

遇难探员的证件。

随后，霍利斯探员被宣布当场死亡；考利探员被送医抢救，并对当时的情况作了简短汇报，但终因伤势过重宣告不治。次日，吉利斯的遗体在一处公墓附近被发现，身上裹着毯子，时年26岁。

胡佛局长随即下达死命令，要求立即将海伦•吉利斯抓捕归案。7天后，海伦被捕，当被问及为何要给吉利斯的遗体裹上毯子时，海伦回答说：“他一向都很怕冷……”。海伦坐牢1年，1987年去世，葬于伊利诺伊州圣约瑟夫（Saint Joseph）公墓，与吉利斯葬在一起。

BOI尽管最终获胜，却付出了3名探员牺牲的惨重代价。结合此前的一次失利，BOI清醒地认识到了自身的不足，如缺乏与其他执法机构协作、探员的武器不够强、近战训练不足等问题。这促使后来的FBI在探员的战斗训练、行动组织和装备保障上都作出了许多改革，并建立了专长于近战的HRT（人质援救小组），让FBI不仅拥有了聪慧的大脑，也有了强健的手臂，在打击犯罪上更加得心应手。