1924年2月1日，于彦夫出生于辽宁丹东。1942年，考入“满映”演员科，之后转为正式演员。1945年8月15日，日本投降后，于彦夫积极参加中共地下党领导的护厂斗争；10月，东北电影公司成立，于彦夫任资料科科长。
1947年，于彦夫在木偶片《皇帝梦》中担任导演助理。1948年，讽刺蒋介石的动画短片《瓮中捉鳖》上映，于彦夫担任了该片的导演助理。
1949年，于彦夫担任了苏联战争片《伟大的转折》的译制导演，从此开始其导演生涯。1950年1月，于彦夫加入了中国共产党；同年，于彦夫担任剧情片《高歌猛进》的副导演。
1952年，由王家乙执导的黑白剧情片《葡萄熟了的时候》上映，于彦夫在该片中担任了副导演一职。1954年，担任故事片《沙家店粮站》的副导演。
1955年春节前，时任长春电影制片厂导演的于彦夫将话剧《新局长到来之前》改编成电影文学剧本；同年，执导了剧情电影《夏天的故事》，该片由赵联、李松筠、李萌主演。
1956年，在北京电影学院的导演专修班学习；同年，由于彦夫担任编剧、吕班执导的新中国首部讽刺喜剧片《新局长到来之前》上映，该电影由李景波、浦克、陈光廷、苏剑峰联袂主演；此外，于彦夫还执导了由李亚林、浦克、张圆主演的故事片《徐秋影案件》。
1957年，其执导的剧情片《芦笙恋歌》上映，该片由汪杰、宋雪娟主演。1958年，由于彦夫执导的故事片《水库上的歌声》首映。1959年，执导了由张圆主演的剧情电影《笑逐颜开》。
1961年，担任故事片《万木春》的导演。1963年，执导了剧情电影《自有后来人》。1964年，于彦夫执导了戏曲片《节振国》，该片改编自同名的现代京剧《节振国》。
1966年，由于彦夫执导的戏曲片《天天向上》播出。1974年，于彦夫执导了电影《创业》，这是第一部以大庆为题材反映中国石油工业历史的彩色故事片。
1975年2月，《创业》被江青批判；4月，四人帮以文化部党组名义给《创业》扣上“十大罪状”，勒令该电影主创人员到北京进行“思想转弯”。后来，该片的编剧张天民写信给毛泽东，才使得该片和主创人员得到保护。
1978年，执导了剧情片《希望》。1980年，由于彦夫执导的黑白剧情电影《最后八个人》上映，该片由罗国良、侯冠群等人共同主演。
1982年，执导了爱情片《勿忘我》，该片由方舒、李志舆领衔主演。1983年，与张圆联合执导的剧情电影《16号病房》首映，该片获得了第7届大众电影百花奖最佳故事片、第4届中国电影金鸡奖最佳故事片提名。
1984年，与张圆联合执导了剧情片《黄山来的姑娘》，电影讲述了黄山姑娘龚玲玲进城当保姆后的故事，该片获得了第5届中国电影金鸡奖最佳故事片提名，而于彦夫和张圆也凭借该片获得第5届中国电影金鸡奖最佳导演提名。1986年，其与张圆合作执导了剧情片《鸽子迷的奇遇》，该电影由张丰毅、申军谊主演。
1987年，于彦夫与张圆共同执导了战争电影《陆军见习官》；同年，与张圆合作执导了剧情片《中国的“小皇帝”》。1989年，与罗鹤龄共同执导了剧情电影《金钱大裂变》。1990年，执导了剧情片《那年的冬天》。
2005年11月10日，于彦夫在北京逝世，享年81岁。2006年，在中国电影百年之际，于彦夫获得了“优秀电影艺术家”的称号。
