秦王想杀掉相国吕不韦，但因他侍奉先王有很大功劳，还有很多宾客辩士为他说情，所以秦王不忍心处罚吕不韦。

公元前237年（秦王政十年）十月，免去了吕不韦的相邦职务。等到齐人茅焦劝说秦王，秦王这才到雍地迎接赵太后，使她又回归咸阳，但把吕不韦遣出京城，前往河南的封地。

又过了一年多，各诸侯国的宾客使者络绎不绝，前来问候吕不韦。

秦王恐怕他发动叛乱，就写信给吕不韦说：“你对秦国有何功劳？秦国封你在河南，食邑十万户。

你对秦王有什么血缘关系？而号称仲父。你与家属都一概迁到蜀地去居住！”吕不韦一想到自己已经逐渐被逼迫，害怕日后被杀，就喝下酖酒自杀而死。

秦王所痛恨的吕不韦、嫪毐都已死去，就让迁徙到蜀地的嫪毐门客都回到了京城。

吕不韦给秦始皇带来的这种名不正言不顺的身份危机，乃在于吕不韦与其母亲关系的复杂性。

吕不韦从邯郸买回来众多擅长歌舞的女子与其日夜相居住在一起，不久这位女子就有了身孕。

子楚到吕不韦家中做客看上了这位能歌善舞的女子，便向吕不韦讨要。

吕不韦虽然生气，但考虑到已经在子楚身上投入了大量心思，于是就把这女子送给子楚。

也就是秦王嬴政的母亲夏姬妾。

夏姬隐瞒身孕跟着子楚，不久就生下了嬴政。

夏姬和吕不韦在嬴政年少时，时常在宫中相通，无所顾忌。

随着秦始皇年纪逐渐长大，吕不韦自己逐渐都开始感到不安。于是产生了与夏姬断绝通奸的关系，找来后来的嫪毐进献给夏太后。

后人有这种秦始皇并非秦氏子弟，乃是吕不韦与夏姬苟合生下的孩子。