После школы поступил в Московский институт инженеров железнодорожного транспорта (МИИТ). В 1958 году окончил МИИТ, получив диплом инженера-электрика. Несколько лет работал по специальности, параллельно занимаясь литературой.

В конце 1950-х познакомился с А. Гинзбургом, издававшим один из первых самиздатских журналов, «Синтаксис», а также с рядом других свободолюбивых философов, деятелей литературы, изобразительного искусства. Писал научно-популярные книги, но все активнее проявлял себя как поэт-диссидент. В своем «неофициальном» творчестве использовал псевдонимы, например И. Миронов, Абрам Хайям.

В 1979 году Губерман был арестован и приговорен к пяти годам лишения свободы. Попал в лагерь, где вел дневники. Затем, уже в период ссылки, на базе этих дневников была написана книга «Прогулки вокруг барака» (в 1980 написана, опубликована в 1988). В 1984 году поэт вернулся из Сибири. Долго не мог прописаться в городе и устроиться на работу.

В 1987 году Губерман эмигрировал из СССР, с 1988 года живёт в Иерусалиме. Часто приезжает в Россию, выступая на поэтических вечерах.

я бы назвал Губермана таким себе, хулиганствующим поэтом, несмотря на его почтенный возраст. На многих сайтах пишут, что мат, который присутствует в его "гариках", вовсе и как мат не звучит. Мне в это не верилось, пока я сам не попал на его концерт "живьем". И как сказали бы в Одессе, - таки да! - совсем не режет слух.