После окончания Николаевской академии Генерального штаба он участвовал в Русско-турецкой войне 1877–1878 годов, был награжден орденом Святого Георгия 4-й степени за переправу через Дунай и золотым оружием с надписью «За храбрость» за переход через Балканы.
Николай Николаевич последовательно командовал лейб-гвардии Гусарским Его Величества полком, 2-й бригадой 2-й гвардейской кавалерийской дивизии и 2-й гвардейской кавалерийской дивизией. В 1894 году он был назначен генерал-адъютантом к Его Императорскому Величеству, а в 1895 году – генерал-инспектором кавалерии. В 1901 году он был произведен в генералы от кавалерии, а в 1905 году назначен главнокомандующим войсками гвардии и Санкт-Петербургского военного округа, а также председателем Совета государственной обороны. 20 июля 1914 года, в самом начале войны, он был назначен Верховным главнокомандующим всеми сухопутными и морскими силами.
В марте 1915 года ему был пожалован орден Святого Георгия 2-й степени, а в августе того же года, когда император лично принял на себя командование всеми вооруженными силами, был назначен наместником Его Величества на Кавказе и главнокомандующим русскими военными силами на Кавказском фронте.
В марте 1917 года Николай II при отречении вновь назначил Николая Николаевича Верховным главнокомандующим, но тому пришлось под давлением Временного правительства отказаться от этого поста. 11 марта Великий князь вышел в отставку, покинул Петроград и с семьей переехал жить в свое имение в Крыму.
В начавшейся Гражданской войне Николай Николаевич, несмотря на уговоры, участия не принимал. Несмотря на это, в 1918 году он вместе с супругой и сыном был арестован. От неизбежной смерти их спасла преданность и ловкость начальника стражи моряка Задорожного, выдававшего себя за большевика.
Весной 1919 года английский король предоставил в распоряжение вдовствующей императрицы Марии Федоровны, также подвергшейся домашнему аресту, крейсер «Мальборо», чтобы та смогла уехать из России. Однако императрица согласилась на это лишь при условии, что все члены императорской фамилии, кому в Крыму еще угрожала опасность, тоже будут эвакуированы.
Императрица Мария Федоровна через Мальту была перевезена в Англию, но остаток жизни она провела в родной Дании, где и скончалась 14 октября 1928 года на своей даче в Хвидере, в окрестностях Копенгагена.
Николай Николаевич с семьей на корабле «Лорд Нельсон» добрались до Генуи. Некоторое время они жили в Италии, затем переехали под Париж, в Шуаньи, где Великий князь проживал под фамилией Борисов. После этого они перебрались на юг Франции, в Антиб.
В Антибе на вилле «Тенар», купленной Петром Николаевичем Романовым, младшим братом Николая Николаевича, под фамилией Борисовы стала жить большая русская семья: два Великих князя, их жены и дети. Отметим, что жены Великих князей – Анастасия Николаевна и Мелица Николаевна – также были родными сестрами, дочерьми черногорского короля Николая I.
Николай Николаевич Романов по праву считался одним из претендентов на российский императорский престол и из всех членов императорской семьи имел самое большое влияние на государственные дела. В свою очередь, сам Великий князь находился под влиянием своей жены Анастасии Николаевны, которая окружила себя ясновидящими и искренне верила, что предназначена для самых славных дел. В этом она убедила и своего мужа.
В эмиграции Николай Николаевич считался высшим руководителем всех русских военных организаций. Несомненно, это его положение предопределили его былая популярность в армии и тот факт, что он являлся последним законным главнокомандующим, назначенным еще Николаем II. Сам Николай Николаевич, правда, ни на какие должности и звания не претендовал, но его слово было весомо и значительно. Так, барон П.Н. Врангель и Русский общевоинский союз (РОВС) провозгласили Николая Николаевича Верховным Вождем русской армии. С большим уважением относились к нему и многие эмигрантские организации. На монархическом съезде в Рейхенгалле имя Николая Николаевича звучало чаще всего.
Как старший по возрасту член дома Романовых, Николай Николаевич в резкой форме отверг притязания Кирилла Владимировича