1938年，开始参加抗日救亡文艺活动。1940年，参军并在参加新四军后成为文艺战士；同年，进入淮海军政干部学校学习。1942年，加入中国共产党，曾任新四军文工团戏剧教员、第三野战军第三十军文工团团长等职。1950年，在表演艺术研究所（北京电影学院前身）当了3年教员。
1953年，担任电影局演员剧团常务副团长。1956年，调入北京电影制片厂。1959年，担任剧情电影《林家铺子》的助理导演。1959年，独立执导个人第一部电影《无名岛》。1960年，担任剧情电影《红旗谱》的助理导演。
1961年，执导由于洋、高保成等共同主演的革命电影《暴风骤雨》。1963年，执导剧情电影《早春二月》，该片获得第12届葡萄牙菲格拉达福兹国际电影节评委会奖。1964年，由其执导的剧情电影《千万不要忘记》上映。
1970年，执导戏曲电影《智取威虎山》，该片由李仲林、纪玉良、童祥苓联合主演。1971年，谢铁骊被下放到北京二七机车车辆厂接受工人阶级再教育。1972年，与谢晋联合执导戏曲电影《海港》；同年，执导由李炳淑、李元华共同主演的戏曲电影《龙江颂》。1974年，执导戏曲电影《杜鹃山》。
1975年，担任剧情电影《海霞》的编剧，影片根据黎汝清的小说《海岛女民兵》改编。1978年，与陈怀皑合作执导剧情电影《大河奔流》（上下集）。1980年，执导由李秀明、唐国强合作主演的战争电影《今夜星光灿烂》，他凭借该片入围第1届中国电影金鸡奖最佳导演奖。
1981年，与陈怀皑、巴鸿联合执导的剧情电影《知音》上映。1983年，执导由管宗祥、刘昌伟等共同主演的剧情电影《包氏父子》。1984年，由其执导的剧情电影《清水湾，淡水湾》上映，该片根据姜滇的同名小说改编。
1988年，执导古装剧《红楼梦》，他凭借该剧获得第10届中国电影金鸡奖最佳导演奖。1991年，执导由邢岷山、傅艺伟、周迅联袂主演的奇幻电影《古墓荒斋》。1994年，执导反腐倡廉题材电影《天网》。2000年，与杜民联合执导由沙溢、席与立共同主演的惊悚电影《聊斋-席方平》。
2005年，获得第25届中国电影金鸡奖终身成就奖。2007年，客串由云文耀执导的剧情电影《旋律》。2011年，获得第2届中国电影导演协会杰出贡献奖。
