没过多久，鱼朝恩把冲撞了儿子鱼令徽的官员贬到了岭南。此时，唐代宗李豫意识到，鱼朝恩的权势已经快要到“只知道有朝恩，不知道有天子”的地步了。因此，李豫对鱼朝恩产生了强烈的厌恶之情，虽然竭力掩饰，但有时候还是会表现出来。宰相元载发现唐代宗李豫对鱼朝恩心生恶感，便奏请将其除掉。李豫一时下不了决心，因为毕竟鱼朝恩军权在握、党羽众多，一旦事情没办成，后果将是难以预料的。元载却胸有成足地安慰李豫说：“陛下，您只要将此事全权交给我办理，一定能办妥。”于是李豫同意了，嘱咐元载一定要多加小心。
元载的心机很深，鱼朝恩每次上朝，都会有一百多人进行护卫，还让陕州节度使皇甫温握兵在外作为支援。元载就用重金收买了鱼朝恩的心腹，以便掌握他的动向。李豫让凤翔节度使李抱玉改任山南西道节度使，让皇甫温当凤翔节度使，表面上看是投鱼朝恩所好，其实加重了其亲信的地位，为了麻痹他。鱼朝恩还蒙在鼓里，不知道大祸将至。但是鱼朝恩在宫中的党羽觉察到唐代宗李豫的异样，就密报给鱼朝恩，鱼朝恩将信将疑，试探李豫，看他和平时一样对自己恩宠有加，就放下心来。