没过多久,鱼朝恩把冲撞了儿子鱼令徽的官员贬到了岭南。此时,唐代宗李豫意识到,鱼朝恩的权势已经快要到“只知道有朝恩,不知道有天子”的地步了。因此,李豫对鱼朝恩产生了强烈的厌恶之情,虽然竭力掩饰,但有时候还是会表现出来。宰相元载发现唐代宗李豫对鱼朝恩心生恶感,便奏请将其除掉。李豫一时下不了决心,因为毕竟鱼朝恩军权在握、党羽众多,一旦事情没办成,后果将是难以预料的。元载却胸有成足地安慰李豫说:“陛下,您只要将此事全权交给我办理,一定能办妥。”于是李豫同意了,嘱咐元载一定要多加小心。
元载的心机很深,鱼朝恩每次上朝,都会有一百多人进行护卫,还让陕州节度使皇甫温握兵在外作为支援。元载就用重金收买了鱼朝恩的心腹,以便掌握他的动向。李豫让凤翔节度使李抱玉改任山南西道节度使,让皇甫温当凤翔节度使,表面上看是投鱼朝恩所好,其实加重了其亲信的地位,为了麻痹他。鱼朝恩还蒙在鼓里,不知道大祸将至。但是鱼朝恩在宫中的党羽觉察到唐代宗李豫的异样,就密报给鱼朝恩,鱼朝恩将信将疑,试探李豫,看他和平时一样对自己恩宠有加,就放下心来。