过交往，先贤荣子祺就是孔子72贤徒中的第59名。北宋进士荣湮是荣氏兄弟的第一世近祖，曾任广东转运使，后来迁居现今的湖北武昌。到第十四世荣清时，因为他好学善问且脾性清廉，喜欢过无拘无束、闲云野鹤般的生活，而不愿入仕途。当他经过金陵来到无锡时，便被这里的绮丽风光所吸引，于是选定在惠山的南麓长清里安居。从此荣家人就在这块富饶美丽的土地上耕作捕捞，繁衍生息。到19世纪初，这块由荣姓宗族聚居的地区，已发展成为无锡城郊一个重要的集镇。
到了荣区兄弟的祖父时期，家世就开始清贫了。祖父荣锡畴是个小商贩，经常摇着小木船往返于锡沪之间，贩卖各种商品。他留给后代的家产只有两间旧瓦房和十来亩土地。父亲荣锡泰在四兄弟中排行第二，小时候念过几年私塾。太平天国以后，因为家里贫穷念不起书，便到铁铺去当学徒，以维持家计。他为人忠厚，办事勤勉，深得店主赏识。后来为了重振家业，他远出谋生，1883年随太湖水师提督王青山到广东做了账人，直到1896年1月中旬才因为患病回到无锡。在广东的十余年中，他积下了一笔积蓄，据说有现洋6000元，这也是日后荣氏兄弟创办实业时原始资本的一个重要来源。荣氏兄弟的母亲石氏，是无锡山北