Если систему бомбового вооружения удалось улучшить, то с пулеметным проблемы полностью так и не были решены. Чаще всего "Лебедь-ХII" оснащали пулеметом "Кольт", смонтированным в кабине наблюдателя на установках тех же Шкульника или Колпакова-Мирошниченко. И здесь разработка первого автора страдала существенными недостатками: пулемет с трудом передвигался по кольцу, сама конструкция обладала недостаточной прочностью. Военный приемщик на заводе Лебедева подпоручик Лавров сообщал в Управление ВВФ, что "установки Колпакова гораздо надежнее, удобнее и лучше во всех отношениях". Однако выпуск и тех, и других продолжался. Фронтовые летчики неоднократно обращались к Лебедеву с предложениями вооружить "Лебедь-ХII" синхронным пулеметом. Работы такие на заводе велись, Колпаков разработал синхронизатор, он был построен, но дальше дело не пошло.
Недостатки вооружения, низкие для 1917 г. скорость и маневренность "Лебедя-ХII" ставили экипажи этих самолетов в трудное положение при встрече с немецкими истребителями. Так, 1 октября 1917 г. летчик старший унтер-офицер Тарасов с наблюдателем поручиком Клобуковым из 33-го КАО подверглись атаке германского аэроплана. Вскоре русский аппарат был подбит, но летчику удалось посадить его в расположении своих войск. "Самолет "Лебедь" выведен из строя. Летчики живы", - докладывал в штаб армии начальник 1-го авиадивизиона полковник Кузнецов.
Аварии и пожары самолетов "Лебедь-ХII", происходившие из-за конструктивных недостатков, вынудили временно прекратить снабжение авиаотрядов машинами этого типа. В июне 1917 г. была создана особая комиссия под председательством профессора Георгия Ботезата, в которую вошли фронтовые летчики прапорщик Бази-левич-Княжковский из 29-го КАО и поручик Левченко из 13-го КАО. Выводы комиссии после испытательных полетов были неутешительными: "Самолеты "Лебедь-ХII" улучшить невозможно, отправка их на фронт нежелательна, можно использовать эти самолеты только в качестве тренировочных в авиашколах. Учебный вариант самолета обладает еще худшими данными, опасен и непригоден для полетов в авиашколах".
Заводские летчики А.Гончаров и В.Михайлов, инженеры Л.Шкульник и Л.Колпаков в специальном акте от 6 июля 1917 г. выразили несогласие с выводами особой комиссии. Они считали, что в ней работали малоопытные летчики, а выводы комиссии субъективны. Каждый из заводских пилотов налетал на "Лебеде-ХII" по 250 часов, оба они провели испытания 160 самолетов этого типа, и, по их мнению, машина была хорошим разведчиком с небольшими, легко устранимыми недостатками. Естественно, разделял мнение своих сотрудников и сам Лебедев.
Для разрешения спорных вопросов была создана еще одна комиссия из представителей фронтовых летчиков, инструкторов Гатчинской авиашколы, Управления Военно-Воздушногофлота и завода Лебедева, которая актом от 2 октября 1917г. подтвердила непригодность самолета "Лебедь-ХII" как устаревшего типа с малой грузоподъемностью, недостаточной скоростью, обладающего рядом конструктивных недостатков в топливной и охладительной системах двигателя. Вывод этой комиссии о самолете был однозначен - "дальнейшая постройка нежелательна".
После этого выпуск "Лебедь-ХII" значительно сократился. Высказывались предложения о снятии этих самолетов с фронта и переводе их в разряд учебных. Однако в условиях острейшего дефицита авиационной техники машины остались в действующей армии. Кроме того, учебный вариант использовался в школе авиации Императорского всероссийского аэроклуба (№№442, 449, 450); Гатчинской военной авиашколе (№№ 399, 439, 456, 466); в школе Московского общества воздухоплавания (№№ 446, 452, 454); Одесской авиашколе (№№ 448 и 455); Киевской школе летчиков-наблюдателей (№№447 и 458) и Кавказской авиашколе (№№451, 453 и 480). Более 50 самолетов "Лебедь-ХII" было поставлено во второй половине 1917 г. в Школу воздушного боя в Красном Селе по заказу Морского ведомства, часть из них была снабжена двойным управлением.
Интересные выводы сделала уже советская комиссия, созданная предписанием начальника Управления ВВФ для сравнительных испытаний самолетов "Лебедь-ХII", "Анасаль" и "Фарман-ХХХ", которые прошли с 31 октября по 20 ноября 1917г. на Главном аэродроме. Комиссия отметила прочность и тщательность конструкции разведчика "Лебедь-ХII" и его моторной установки, удобное обслуживание аппарата, хороший обзор и обстрел в стороны-назад (сектор обстрела до 200°).
