不过，马上刘迁就为刘安惹来另一场危机。刘迁好武，自幼习剑，总认为天下已经没有敌手。恰巧刘安的宾客中有一位天下闻名的剑客名为雷被。刘迁技痒难耐，总想跟雷被一较高下。但雷被深明官场之道，所以总是拒绝刘迁的比武。他明白，赢了输了都不好，赢了的话，以刘迁的小心眼，日后肯定会与自己为难；输了的话，自己从此在淮南王府将无法立足。但刘迁死缠烂打，无奈之下，雷被只好同意比试。

刀剑无眼，雷被一不小心，就刺了刘迁一剑。大失面子的刘迁从此就把雷被记在心里了。

雷被知道自己的处境，于是总想找机会离开淮南。正逢武帝征召天下勇士抗击匈奴，雷被于是向刘安请辞，说要北上参军。害怕谋反的消息漏出去的刘安当然不同意，不光如此，他还封锁整个淮南国，不许任何人离开。

雷被害怕了，于是不顾一切出逃，来到长安，向武帝告状。雷被告的不是刘安，而是刘迁，他告的也不是刘安谋反，而是刘迁阻止自己投军报国——他认为刘安拒绝自己都是刘迁在背后搞鬼。

武帝于是叫人将刘迁拘捕到长安来审讯。消息下达到地方，寿春县县丞却上书武帝，说交通不便，不如在当地提审刘迁。这县丞大概是被刘安收买了。可是朝廷派给刘安的淮南国相却不肯睁一只眼闭一只眼，他坚持要把刘迁送入长安。刘安哪里肯同意！于是搜罗罪证，一纸状书将国相告到朝廷。武帝使廷尉将国相拘到长安受审。到了廷尉署的国相，首先就报告了刘安造反的诸多迹象。

其实，武帝这时候早已零星收到刘安造反的消息，不过现在的淮南并不是景帝时的吴国，刘安根本搅不出多大动静来，武帝看在亲戚情分上，也就由他去了。这时候事情都摆在台面了，武帝于是派了一个“中尉宏”去淮南巡查。

刘安早就收到消息，等到来到淮南，他立马好酒好菜地伺候着，于是中尉宏随随便便地在淮南逛了一圈，转身就回长安复命去了。

事情好像已经得到了解决，但是实情远远比这要复杂得多。朝上百官认定了刘安造反，想要把他法办。武帝就算有心袒护，但也不好太过违拗百官的意思，于是下诏削掉刘安的两个封县。

这下彻底刺激了刘安，他立马决定造反。不过造反也是需要军师的，刘安为自己选的军师就是伍子胥的后人伍被，他曾参与《淮南子》的编着，是个文武全才。伍被根本就不同意刘安造反，因为在他看来，如今海内承平，武帝威望一日高过一日，想凭借着小小的淮南来造反，根本是以卵击石。

刘安这时候根本听不进任何善意的劝解，他把伍被的父母关了起来，强迫伍被一起造反。伍被不得已，只好答应为他出谋划策，但是他仍没放弃劝解刘安的努力，他问刘安，您和当年的吴王刘濞相比，谁更有钱，谁的军力更强大？刘安不说话，他心知肚明自己比不上刘濞。又问，当今天子如今行大有为之政，朝堂之上，要文有文，要武有武，人才济济，请问在这方面，您与当今天子相比如何？刘安看了一眼关在囚牢里的伍被，转身走了。这时候，刘安或许有所醒悟，可是他的孙子却把他造反的消息告到了朝廷。

这个孙子名叫刘建，是刘安长子也是庶子的刘不害所生。世子刘迁是嫡子，深得刘安的