Родился в деревне Литвиново, ныне Кольчугинского района Владимирской области, в семье рабочего.
В 1919 – 1925 годах – рабочий на Кольчугинском заводе, секретарь Кольчугинского районного комитета ВЛКСМ.
В 1926 – 1929 годах – слушатель на рабочем факультете им. Артёма в городе Москве.
В 1929 – 1933 годах учился в Московском Высшем Техническом училище им. Н.Э. Баумана, после окончания оставлен аспирантом и одновременно работал старшим инженером, затем научным сотрудником в лаборатории, преподавателем.
Окончив аспирантуру в 1937 году, защитил диссертацию на соискание учёной степени «кандидат технических наук».
В 1938 – 1939 годах – главный инженер Главного управления дизелестроительной промышленности, начальник Главного управления тракторной промышленности Народного комиссариата машиностроения СССР.
В 1939 – 1940 годах – заместитель Народного комиссара среднего машиностроения СССР.
С июня 1940 года – председатель Всесоюзного комитета стандартов при Совете Народных Комиссаров СССР.
В начале Великой Отечественной войны в сентябре 1941 года Зернов одновременно был назначен заместителем Народного Комиссара танковой промышленности СССР.
В 1946 году Зернова назначили директором базы № 112 Главгорстроя СССР, получившего наименование «КБ-11» (ныне Российский Федеральный ядерный центр – Всероссийский научно-исследовательский институт экспериментальной физики) в закрытом городе «Арзамас-16» Нижегородской области, ныне город Саров).
Под его руководством формировался коллектив «КБ-11», осуществлялось строительство лабораторных зданий, создавалась экспериментальная база, на которой велись все необходимые научно-исследовательские и конструкторские работы по подготовке конструкции первой отечественной атомной бомбы. Кроме этого стал родоначальником города «Арзамас-16» - Саров.
За период с 1946 по 1950 год было построено и реконструировано более трёхсот пятидесяти зданий и сооружений: производственные корпуса, магазины, дома, детские ясли и сады, школы, здания больниц, аптека, стадион, общежития, овощехранилище, столовые.
Создавалась инфраструктура нового города, прокладывались тепловые сети, водопровод, решались проблемы с электроснабжением, транспортом - как внутри режимной зоны, так и для внешних перевозок. Была организована бесперебойная связь с «большой землей» и постоянные маршруты внутри объекта с должным сохранением режима секретности.
Отремонтирована железнодорожная ветка Шатки – Саров.
Заново были проложены автомобильные и железные дороги на территории секретного объекта.
Звание Героя Социалистического Труда присвоено 29 октября 1949 года – за исключительные заслуги перед государством при выполнении специального задания.
В 1951 году Зернов был переведён в аппарат Первого главного управления при Совете Министров СССР, где возглавлял подразделения, координирующие работы по созданию новых образцов ядерного оружия.
С 1953 года – начальник Главного управления приборостроения Министерства среднего машиностроения СССР.
В 1954 – 1963 годах – заместитель Министра среднего машиностроения СССР.
При его участии создавались многие новые объекты атомной отрасли.
Получили дальнейшее развитие научные организации и серийные предприятия, успешно осваивающие и выпускающие новую технику государственного значения.
11 сентября 1956 года награждён второй золотой медалью «Серп и Молот».
Генерал-лейтенант инженерно-танковой службы (1963).
С 1963 года – заместитель председателя Государственного производственного комитета по среднему машиностроению СССР.
Лауреат Ленинской премии (1963).
Дважды лауреат Сталинской премии (1951, 1953).
Похоронен в Москве на Новодевичьем кладбище.
Награды: ордена Ленина (20.01.1943, 05.08.1944, 29.10.1949, 07.03.1962), Кутузова 1-й (16.09.1945) и 2-й (19.04.1945) степени, Трудового Красного Знамени (08.02.1942).
Память: в городе Сарове на здании ВНИИ экспериментальной физики (проспект Мира, 37), где он работал, установлена мемориальная доска.
Его именем в Сарове названы улица и городской парк.
