حفظ في صغره كتب أبي زيد وأبي عبيدة والأصمعي ثم تتبع ما فيها فامتحن بها الأعراب الوافدين أصبهان وكانوا يفدون على محمد بن يحيى بن أبان فيضربون خيمهم بفناء داره في باح سلم بن عود ويقصدهم أبو علي كل يوم فيلقي عليهم مسائل شكوكه من كتب اللغة وثبت تلك الأوصاف عن ألفاظهم في الكتاب الذي سماه كتاب النوادر
ثم لم يكن له في اخر أيامه نظير بالعراق
قال وكتاب النوادر هذا كتاب كبير يقوم بإزاء كل ما خرج إلى الناس من كتب أبي زيد في النوادر
وله من الكتب الصغار كتاب الصفات كتاب خلق الإنسان كتاب خلق الفرس وكتب أخر كثيرة من صغار الكتب وله ردود على علماء اللغة وعلى رواة الشعر والشعراء قد جمعناها نحن في كتاب وأنفذناه إلى أبي إسحاق الزجاج رحمه الله
قال محمد بن إسحاق النديم وله من التصانيف كتاب الرد على الشعراء نقضه عليه أبو حنيفة الدينوري كتاب النطق كتاب الرد على أبي عبيد في غريب الحديث كتاب علل النحو كتاب مختصر في النحو كتاب الهشاشة والبشاشة كتاب التسمية كتاب شرح معاني الباهلي كتاب نقض علل النحو كتاب الرد على ابن قتيبة في غريب الحديث
وأفرد حمزة الأصبهاني في كتاب أصبهان أشعارا للغدة منها
( ذهب الرجال المقتدى بفعالهم % والمنكرون لكل أمر منكر )
( وبقيت في خلف يزين بعضهم % بعضا ليستر معور عن معور )
( ما أقرب الأشياء حين يسوقها % قدر وأبعدها إذا لم تقدر )