宋楚瑜于1942年出生在湖南省湘潭县,1949年随父到了台湾。其父宋达曾任台湾“国防部”人事局长、联合勤务副总司令等职,与蒋经国私人关系密切,1975年8月病逝。
少年时期,宋楚瑜家境贫寒。他穿的衣服都是用爸爸的军衣改的,连袜子也是把黄色的军袜染后再穿的,有时候洗多了,颜色褪了,还得再染,接着穿。当时,宋达的身体不太好,宋楚瑜的母亲往往会打个鸡蛋,煮点麦片,给丈夫补补。但宋达每次都留一点,给6个孩子中最乖的吃。直到现在,宋楚瑜也忘不了麦片的甜美滋味。
小时候的宋楚瑜是个木讷内向的孩子,学习成绩也不好,数学经常考三十几分。1959年高中毕业后,他遵从父亲的意愿参加理工科大学联考,但只考了200多分,黯然落榜。他对父亲说:“我的志向不在理工,盖林肯纪念堂的是学理工的人,可是坐在中间受人纪念的,却是学政治的。”宋达深受触动,于是同意他学文。第二年,宋楚瑜以400多分的高分考入台湾政治大学外交系。
进入大学后,宋楚瑜还是那么拘谨害羞,一点也不出色,大学4年,很多同学都没听说过有他这个人,因为他既不参加活动,平常也很少讲话。不过,宋楚瑜非常爱读书,由于念的是外交系,他不但勤练英文,还相当注意穿着和谈吐。