从1978年在黑龙江艺校毕业后，牟玄甫考进了著名的东方歌舞团。因为参加在首体举办的“新星音乐会”，和沈晓岑、张暴默、朱明瑛、索宝莉等一道受到观众的喜爱。他的嗓音甜美、开阔、明亮、善于演唱热情奔放、抒情优美的民族歌曲，二十多年来曾先后随团赴亚、非、拉美、欧等二十余个国家、地区访问演出，受到国内外观众广泛好评，被称为“东方金嗓子”。
进入东方歌舞团后，牟玄甫一边担任独唱演员，一边也和索宝莉配男女二重唱，两个人演唱过《丢丢铜》、《赤足走在田埂上》等风靡一时的台湾校园歌曲。
1983年真正走红，是与索宝立合作登上了央视春晚。当时演唱的两首歌《竹林沙沙响》和《 夫妻双双把家还 》至今传唱不衰家喻户晓。也是因为牟玄甫与索宝莉1983年在央视春晚舞台剧照，当时有人误认为俩人是夫妻俩，天作之合。其实不然牟玄甫的老婆名叫徐琴，是一位钢琴演奏家，俩人从小学就是同学，携手几十年相互支持恩爱有加。婚后夫妇两育有一子，儿子牟子旭英俊帅气很讨人喜爱。
后来，其实牟玄甫淡出也实属无奈，因为演出太繁忙身体过于疲劳，患上了甲状腺功能亢进，有一次演出下台后甚至休克昏倒了。更要命的是，患病后他有一个眼球突出，离观众远点可能不会发现，但是上电视是万万不可能的。就这样，红极一时的他选择从观众的视线里消失。
在他生病的那些日子里，他的妻子徐琴一直在他身边悉心照料陪帮着他，也使得牟玄甫的病情得到了好转。如果不是因为伤病，相信他一定也会有更多的作品流传下来的。
