Он был незаконнорождённым сыном великого князя Константина Павловича. В 1838 году молодого выпускника Артиллерийского училища Константина Константинова назначили командующим Школой мастеров порохового и селитряного дел. Он тщательно изучал опыт зарубежных ракетчиков. Ему было известно про малоуспешные опыты во Франции по созданию боевых (зажигательных) ракет, проводимые пиротехниками Клодом Руджиери, Филиппом Бельером и капитаном артиллерии Морисом Шевалье и другими инженерами.
Он побывал во многих странах Европы: в Австрии, Англии, Бельгии, Голландии, Пруссии, Франции. К этому времени Константинов сделал первое изобретение — электробаллистический прибор. Потом в 1844 году предложил также прицел для навесной стрельбы из гладких орудий. После возвращения в Россию испытал свою установку для измерения скорости артиллерийского снаряда. Фактически методика исследования внутрибаллистических характеристик ракетных двигателей с помощью маятника Константинова — прообраз современных огневых испытаний.
В 1850 году высочайшим приказом полковник Константинов был назначен командиром старейшего Петербургского ракетного заведения, первого в России промышленного предприятия по производству боевых ракет. .
В опубликованном «Морском сборнике», он по достоинству оценил предложения известного русского инженера генерал-адъютанта Карла Шильдера, применившего боевые ракеты на первой в мире металлической подводной лодке.
Ракеты Константинова задействовали и при обороне Севастополя. В первых числах февраля 1855 года противник атаковал передовые рубежи обороны Севастополя ракетами Конгрева. Из траншей, раскинувшихся за бастионом, посыпались вражеские ракеты в расположение эскадры под командованием вице-адмирала Павла Нахимова. При первом выстреле ракета перелетела засеку и упала в переднюю траншею неприятеля.
Английские солдаты побросали сапёрные лопаты и кинулись от ракеты в разные стороны по ходам отрытой ими траншеи. «Донося о сем Вашей светлости, — писал вице-адмирал Павел Нахимов 16 февраля 1855 года генерал-адъютанту князю Александру Меншикову, — имею честь присовокупить, что ракеты, бросаемые неприятелем, преимущественно разрывные, с сильным зажигательным составом; а дальность полета простирается до двух тысяч сажен».Это донесение сослужило важную службу для Константинова — он стал получать срочные большие заказы на изготовление и поставку отечественных ракет для Восточной кампании…
В марте 1857 года Константинова командировали за границу для заказа всех технических приспособлений для вновь проектируемого ракетного завода. Хотя основной задачей Константинова оставалось: «…познакомиться ближайшим образом с существующими ныне во Франции ракетными заведениями, из которых одно в Тулоне, а второе в Меце». Несмотря на секретность сведений, ему удалось их приобрести.
Константинов на свой страх и риск заказал на заводе, которым владел Эммануэль Дени Фарко, в Париже оборудование для нового ракетного заведения по своим чертежам. Император Александр II в августе 1859 года одобрил заказ Константинова, а также согласился с его предложением выделить ракетные команды в самостоятельный род войск, нуждающийся в собственном командовании.
В 1859 году на него «полился» дождь орденов. Он получил российский орден Святого Станислава I степени, Командорский крест ордена Нидерландского льва, испанский орден Изабеллы Католической…
1860 год внёс в личную жизнь Констатинова знаменательные события. Дворянское депутатское собрание Санкт-Петербурга удовлетворило просьбу о признании его в потомственном дворянском достоинстве, а Сенат определил внести имя Константинова во вторую часть дворянской родословной книги Санкт-Петербургской губернии с изготовлением диплома и герба.
От гражданского брака с Софьей Рутковской 17 июля 1860 года в деревне Мурзинка Шлиссельбургского уезда родился сын — Владимир Константинович Константинов. Здесь и было зарегистрировано рождение его внебрачного сына Владимира. Но через год его мать умерла. Не имея возможности участвовать в воспитании сына, Константин Иванович, который в то время находился в командировке за границей, попросил родственников подыскать кормилицу-няньку, которая могла бы постоянно присматривать за ребёнком. Так, фактически без отца и без матери рос единственный сын Константина Ивановича, потомственный дворянин.
А испытания на прочность всё усиливались.
Кроме того, Константинов к тому времени был не просто создателем, но и летописцем ракет, составил первый полный курс ракетной артиллерии, курс международного значения. В 1859–1861 годах Константинов прочёл цикл лекций в своей альма-матер для артиллерийских офицеров о ракетах. В 1861 году эти лекции были опубликованы в Париже на французском, а потом и на русском языке.
К.И. Константинов в своих лекциях первым из специалистов ракетного дела во всём мире почти вплотную подошёл к одному из главнейших законов движения ракет:«В каждый момент горения ракетного состава количество движения, сообщаемое ракете, равно количеству движения истекающих газов». Математическую форму этому закону придал другой отечественный учёный; всему миру она известна как «формула Циолковского».
Император Александр II постановил учредить особую комиссию, во главе с составленную из генерал-фельдцейхмейстера великим князем Михаилом Павловичем. Комиссия единодушно признала пользу боевых ракет как вспомогательного средства, в основном при обороне крепостей, и пришла к убеждению о необходимости учреждения нового ракетного заведения.
Константинов построил новый Николаевский ракетный завод, был назначен его начальником и переехал жить в г. Николаев. В это время он представил ракетчикам новую ракетную систему — 2-дюймовую боевую ракету, пусковой станок для неё и ударный пальник для запуска. После высочайшего одобрения ракетную систему приняли на вооружение русской армии. Ракетный станок залпового удара генерал-лейтенанта Константинова стал прообразом легендарных русских «катюш» во время Великой Отечественной войны.
В 1871 году генерал Константинов скончался в Николаеве и был торжественно захоронен в храме Рождества Пресвятой Богородицы села Нивное Мглинского уезда Черниговской губернии.