يعتبر كتاب الأغاني لأبي فرج الأصفهاني كتاب أدب وسمر وغناء ومجون وليس كتاب علم وتاريخ وفقه وله طنين ورنين في آذان أهل الأدب والتاريخ ولقد تحدث العلماء فيه قديماً فقالوا :

قال الخطيب البغدادي : كان أبو الفرج الأصفهاني أكذب الناس كان يشتري شيئاً كثيراً من الصحف ، ثم تكون كل رواياته منها .

قال ابن الجوزي : ... ومثله لا يوثق بروايته ، يصّح فيه كتبه بما يوجب عليه الفسق ، ويهوّن شرب الخمر ، وربما حكى ذلك عن نفسه ، ومن تأمَّل كتاب الأغاني ، رأى كل قبيح ومنكر(1) .

قال الذهبي : رأيت شيخنا تقيّ الدين ابن تيمية يضعّفه ويتهمه في نقله ، ويستهْول ما يأتي به(2) .

وقد تحدث عنه بعض المعاصرين فقالوا :

قال الأستاذ شوقي أبو خليل مقوماً مصادر فيليب حتَّى في كتابه تاريخ العرب المطوّل ما نصه : واعتمد حتى كتاب الأغاني للأصفهاني ، وهو ليس كتاب تاريخ يعتمد أيضاً ، إنّه كتاب أدب ، وهذا لا يعني مطلقاً أن كل كتاب أدب لا يؤخذ به ، بل يعتمد إن كان صاحبه ثقة ، معروفاً عنه الأمانة في النقل والرِّواية . إن كتاب الأغاني الذي جعله حتَّى مرجعاً تاريخياً معتمداً ، صاحبه متَّهم في أمانته الأدبيَّة والتاريخية ، جاء في ميزان الاعتدال في نقد الرّجال : أن الأصفهاني في كتابه الأغاني كان يأتي بالأعاجيب بحدثنا وأخبرنا . ومن يقرأ الأغاني يرى حياة العباسيين لهواً ومجوناً وغناء وشراباً .. وهذا يناسب المؤلِّف وخياله وحياته ، ومن يرجع إلى كتب التاريخ الصحيحة يجد صورة أخرى فيها علم وجهاد وأدب ، فكتاب الأغاني ليس كتاب تاريخ يحتج به(3) .