منصور دوانیقى خالد برمکى را از کارهاى دیوان برکنار نمود، ابوایوب را بجاى وى گمارد و خالد را بولایت فارس ماءموریت داد و دو سال خدمتش در آنجا بطول انجامید.ابوایوب که از مراتب فضل و دانش خالد آگاهى داشت همواره نگران بود از اینکه مبادا منصور دوباره امر دیوان را بخالد محول کند و او را از این منصب بزرگ معزول نماید. براى حفظ مقام و قدرت خود بفکر افتاد علیه خالد دسیسه کند، او را از نظر خلیفه بیندازد، و از هر راهى که ممکن است به شخصیت وى آسیب برساند.
تحریکات پنهانى و نقشه هاى غیرانسانى ابوایوب مؤ ثر افتاد، منصور دوانیقى بخالد بدبین شد، او را از ولایت فارس عزل نمود، و با مطالبه سه هزار هزار درهم (سه میلیون ) وى را مورد تعقیب قرار داد. خالد به اطلاع خلیفه رساند که تمام موجودیش از هفتصد هزار درهم تجاوز نمیکند اما منصور گفته اش را نپذیرفت و دستور داد همچنان سه میلیون درهم را از او طلب کنند.
((صالح )) صاحب مصلى پنجاه هزار دینار و ((مبارک ترکى )) یک هزار هزار درهم به او کمک کردند، ((خیزران )) به خاطر هم شیرى ((فضل )) پسر خالد با ((هارون )) پسر خود یک قطعه جواهر به ارزش یکهزار هزار و دویست هزار درهم براى خالد فرستاد. چون خبر به منصور رسید و از صحت گفته خالد در مبلغ نقدى که داشت مطمئن شد از مطالبه پول دست کشید.
این امر بر ابوایوب گران آمد، یکى از صرافان را که مسیحى بود طلبید، پولى به او داد و از وى خواست اعتراف کند که آن پول به (خالد) تعلق داشته است و سپس بمنصور خبر داد که (خالد) نزد چه کسى پول دارد. خلیفه صراف را احضار نمود و راجع به پول از وى پرسش کرد. جواب داد فلان مبلغ پول از آن (خالد) نزد من است . آنگاه خالد را به حضور خواند و از آن پول سؤ ال کرد. خالد قسم یاد نمود که پولى پس اندازه نکرده و آن صراف را نمیشناسد. منصور، خالد را نزد خود نگاهداشت و دستور داد صراف نصرانى را بمجلسش آوردند. به او گفت : اگر خالد را ببینى میشناسى ؟ گفت آرى یا امیرالمؤ منین اگر او را ببینم مى شناسم . منصور بخالد رو کرد و گفت خداوند برائت تو را ساخت ، سپس بمرد نصرانى گفت این مرد که در اینجا نشسته خالد است پس چگونه او را نشناختى ؟ صراف گفت یا امیرالمؤ منین امان میخواهم تا حقیقت را بگویم . امانش داد، او تمام مطالب را بیان نمود. از آن پس منصور دوانیقى نسبت به ابوایوب بدبین شد و به اظهارات او ترتیب اثرنمیداد.