孟子确实出生于一个没落贵族家庭。他的祖先是鲁国的贵族孟孙氏，但随着时间的推移，孟孙氏逐渐衰落。在孟子出生时，他们的家族已经不再拥有昔日的贵族地位和光环。孟子的父亲在他很小的时候就去世了，孟子主要是由他的母亲抚养和教育。
具体来说，孟子是鲁国三桓之一孟孙氏的后裔，但到了孟子这一代，家族已经式微，他们被迫从鲁国迁至邹国，并且生活较为贫困。孟子的母亲是一位有学识的女性，以“孟母教子”的故事闻名于世，她通过自己的教育和言传身教，对孟子的成长产生了深远的影响。
因此，孟子可以被认为是出生于一个没落贵族家庭，尽管他的家庭已经不再享有过去的荣耀，但他的贵族血统和早期教育为他的未来成就奠定了基础。