1991年秋，张洪杰受电视剧《三国演义》剧组邀请，担任导演助理。1994年，张洪杰被吉林省曲艺团的团长看中，将他从公主岭调到了长春。同年，电影《九香》的编剧杜丽娟到吉林省曲艺团来找男演员，经人推荐找到了张洪杰。就这样，张洪杰参加了《九香》的拍摄，影片播出之后张洪杰也获得了长影“小百花”优秀男配角奖。1998年年初，赵本山开始在长春筹拍电影《男妇女主任》，而在长春的张洪杰成为片中的一个主角村长。凭借在片中的精彩演出，张洪杰获得了第19届中国电影金鸡奖最佳男配角提名。2001年，主演由张惠中执导的电视剧《今天是个好日子》，饰演兴隆屯的老主任陈满金。2003年，在张绍林执导的电视剧《台湾海峡》中饰演老兵阿五。2004年，与范明、潘雨晨、陈思成、张译联袂主演由康洪雷执导的现代都市剧《民工》，饰演鞠广大的父亲鞠永旺。2006年，与程煜、丁嘉丽、李静、郭旺联袂主演农村题材电视剧《插树岭》，饰演牛德水。2008年1月，主演由李刚执导的家庭喜剧《城里城外东北人》全国首播，张洪杰在剧中扮演一生简朴的白清村村民郑老万。7月，受邀参加第9届中国长春电影节《农村题材电影三十年及未来展望》主题论坛并发表演讲。2009年8月，张洪杰受邀与宋丹丹搭档主演都市情感剧《老牛家的战争》，扮演性格倔强、脾气火爆、自尊心极强的男主角牛全胜。2010年，主演根据已故全国劳模、中国优秀村官普发兴的真实故事改变的电影《村官普发兴/雨后祥云》，饰演朴实而执着的云南村官普发兴。也获得第4届英国万像国际华语电影节特别表演奖。2011年，与范伟、张歆艺、王雅捷联袂主演当代都市剧《先结婚后恋爱》，饰演滕飞的父亲，与牛犇饰演的乔父上演对手戏。2012年，张洪杰主演的农村题材电视剧《我的土地我的家》登陆央视八套黄金档，片中他饰演男主角张老存。同年，在家庭亲情伦理剧《好歹一家人》中饰演老孟头。2013年，主演由冯译嶙、崔菁联合执导的励志剧《你幸福我快乐》，剧中他饰演常开哥的父亲老京东。同年，主演的家庭轻喜剧《老米家的婚事》并在剧中饰演男主角老米，与宋丹丹搭档夫妻。2014年，与高梓淇、蔡琳、高斯联袂主演近代传奇电视剧《李家大院》，饰演李承让的父亲李铭修。同年，在都市家庭情感剧《离婚协议》中饰演一位专横跋扈的辣公公高恒源。2016年，参演电视剧《欢喜密探》上线播出。2019年，参演电视剧《永远的战友》，饰演周贻能。2020年5月11日，主演的乡村题材电视剧《花繁叶茂》在中央电视台综合频道播出。
