1946年春，喬羽經共產黨地下工作者的引薦，秘密進入晉冀魯豫邊區的北方大學就讀，開始在報刊發表詩歌和小說，還寫過秧歌劇。

1948年畢業于晉冀魯豫邊區北方大學藝術學院。喬羽被調入華北大學三部創作室，開始專業創作。

1949年，加入中國共產黨。1954年，加入中國作家協會。

1955年，創作歌詞《讓我們蕩起雙槳》。

1956年，與時佑平合作創作電影文學劇本《紅孩子》，1960年將1959年廣西柳州彩調劇團原創的彩調劇《劉三姐》改編成電影劇本《劉三姐》。同年，創作歌詞《我的祖國》。

1959年，創作歌詞《人說山西好風光》。

1963年，開始創作歌詞《思念》，并于1988年發表，同年，在中央電視臺春節聯歡晚會上，由毛阿敏演唱。

1964年，參加了音樂舞蹈史詩《東方紅》詩詞部分的寫作。粉碎四人幫后，與樹園等合作創作了話劇《楊開慧》并繼續創作了歌詞。歷任文化部、中國戲劇家協會、中國歌劇舞劇院專業創作干部，中國歌劇舞劇院副院長、院長，一級編劇。

1980年，創作《牡丹之歌》的歌詞。

1984年，創作歌曲《難忘今宵》的歌詞，同年，該歌曲在中央電視臺春節聯歡晚會上，由李谷一演唱，之后該歌曲在中央電視臺春節聯歡晚會上被多名歌手演唱。

1997年，創作《大風車》欄目主題曲歌詞《大風車》。

20世紀90年代初，創作歌詞《愛我中華》。

1993年，當選全國第八屆政協委員。

2010年4月9日，擔任北京大學歌劇研究院名譽院長。