وكان أبناء يحيى : الفضل وجعفر ومحمد وموسى ، هم المتصرفون في شؤون الدولة ، فلا تمر صغيرة ولا كبيرة إلا من تحت أيديهم حيى أن الرشيد قلد الفضل المشرق كله ، من النهروان إلى أقصى بلاد الترك ، وقلد جعفراً المغرب كله من الأنبار إلى أفريقية ، بالإضافة إلى منصبه وزيراً للرشيد ، فأقام جعفر في بغداد ملاصقاً للرشيد ، وأناب عنه من أدار هذه البقاع الشاسعة، كما عهد إلى الفضل بتربية ابنه الأمين ، وإلى جعفر بتربية ابنه المأمون .
عقائد البرامكة
كل هذا النفوذ العريض ، دفع الرشيد إلى خشيتهم ، والتخوف من نواياهم ، وفي نظام كالنظام العباسي يأخذ بالشبهة ، كان للهمسات واللمزات وقعها الأثير في سمع الخلفاء ، فأذاع البعض أن البرامكة ملاحدة وثنيون ، يحنون إلى ديانتهم القديمة ، وأنهم يؤيدون العلويين سراً، ويعملون على نقل الخلافة إليهم ، بل ويدبرون لكي يصلوا هم إلى عرش الخلافة . ولقد قيل كلام كثير حول عقائد البرامكة ، وحنينهم إلى الماضي ، وإلى مجد آبائهم الأقدمين . من ذلك أن المنصور لما هم بهدم إيوان كسرى ، استشار خالد بن برمك ، فنصحه بعدم الهدم فقال له المنصور : أبيت إلى ميلا ً إلى العجمية ! ومن ذلك ، أن يحيى بن خالد لما حج مع الرشيد ، أشار عليه بإضاءة الكعبة ، ولكن الرشيد فطن إلى هذه البدعة ، التي تكشف عن حنين البرامكة إلى عبادة النار . وظل الأصمعي يتقرب إلى البرامكة ، ويمدحهم ، فلما نكبوا قال فيهم :
إذا ذكر الشرك في مجلس ... ... أضاءت وجوه بنمي برمك
وإن تليت عندهم آية ... ... أتوا بالأحاديث عن مزدك