Родился Андрей Губин в станице Ессентукской, в семье потомственных казаков. Отец Терентий Андреевич Губин, мать Мария Васильевна Губина (в девичестве Тристан). Детство его пришлось на военное время и было нелегким.

Начал работать с 15 лет. Сменил много профессий, был пастухом, молотобойцем, пожарным, кочегаром на паровозе, судовым машинистом первого класса, портовым грузчиком. Некоторое время жил в Москве, работая по ночам кочегаром в гостинице «Европа». Дни проводил за чтением книг в библиотеке им. Ленина. Впервые начал публиковаться в 1951 году в районной газете «Искра». Там же работал в качестве журналиста и корректора. В 1953 г. поступил на сценарный факультет ВГИКа.

Окончил его в 1959 году, получив квалификацию драматурга. После этого занимался только литературной деятельностью. В 1969 г. был принят в члены Союза писателей СССР. Последние годы жизни писатель провел в Москве. Скончался 6 марта 1992 года. Похоронен в городе Ессентуки. В 1995 году стал (посмертно) лауреатом литературной премии им. М. Шолохова. В Ессентукском краеведческом музее создана экспозиция, посвященная писателю.

Экспонаты для неё передала его жена, Маргарита Николаевна Губина. Маргарита Николаевна была журналисткой. После смерти Андрея Губина она поставила задачу — опубликовать неизданные книги писателя. Основала и возглавила издательство «Молоко волчицы». К сожалению, её трагическая смерть не позволила продолжить издательскую работу.

Творчество Андрея Губина неразрывно связано со Ставропольем. В разные годы своей жизни писатель проживал в Москве, Прибалтике, Средней Азии, на Дальнем Востоке, но постоянно помнил о своей «малой родине».

Первой публикацией стали его стихи в газете «Искра», где он продолжил публиковать свои произведения в течение нескольких последующих лет. В 1968 году, при содействии Всеволода Кочетова, в журнале «Октябрь» было опубликовано главное произведение Андрея Губина — роман «Молоко волчицы». Над романом Андрей Терентьевич работал около 20 лет. Повествование охватывает более чем столетний период жизни терского казачества, многие человеческие судьбы. Язык романа очень самобытен и поэтичен. Роман был переведен на немецкий язык и издан Берлинским издательством Всемирной литературы в 1971 году.