Светлана Аллилуева вспоминала:
«Власик считал себя чуть ли не ближайшим человеком к отцу и, будучи сам невероятно малограмотным, грубым, глупым, но вельможным, дошел в последние годы до того, что диктовал некоторым деятелям искусства «вкусы товарища Сталина», так как полагал, что он их хорошо знает и понимает…
Наглости его не было предела, и он благосклонно передавал деятелям искусства — «понравилось» ли «самому» — будь то фильм, или опера, или даже силуэты строившихся тогда высотных зданий…»
Власик жил весело, пил и гулял за казенный счет, гонял машину на сталинскую дачу за коньяком и продуктами для пьянки с веселыми женщинами. Привозил женщин на правительственные дачи, иногда устраивал стрельбу прямо за обеденным столом — стрелял по хрустальным бокалам. Обарахлился трофейным имуществом — собрал четырнадцать фотоаппаратов, золотые часы, кольца, драгоценности, ковры, хрусталь в огромных количествах. Из Германии он привез фарфоровый сервиз из ста предметов. И в своей безнаказанности он зарвался.
Видимо, кто-то аккуратно обратил внимание Сталина на разгульный образ жизни его главного охранника и заметил: а можно ли такому ненадежному человеку, который увлекся личными делами, поручать охрану вождя?
Но не это было главной причиной, по которой Власик лишился расположения вождя. Власика, как и своего помощника Поскребышева, он считал связанным с Берией, они постоянно встречались. И Берия действительно постарался наладить дружеские отношения с Николаем Сидоровичем, которому льстило внимание члена политбюро. А Сталин хотел отрезать Лаврентия Павловича от столь важных источников информации. Он понимал, что Берия — не тот человек, который, когда его придут арестовывать, возьмет зубную щетку и позволит увезти себя в «Лефортово». Потому и не хотел, чтобы Лаврентий Павлович успел приготовиться к аресту.
В апреле 1952 года Сталин сказал, что в Главном управлении охраны не все благополучно, и поручил Маленкову возглавить комиссию по проверке работы управления.
Власика обвинили в финансовых упущениях — продукты, выделяемые для политбюро, нагло разворовывались многочисленной челядью. Власик в оправдание жалко лепетал, что он малограмотный и не способен разобраться в финансовых документах. Его освободили от должности. Одновременно разогнали почти все руководство Главного управления охраны Министерства госбезопасности. Обязанности начальника управления охраны взял на себя сам министр Игнатьев.
Для начала Власика убрали из Москвы — отправили на Урал в город Асбест заместителем начальника Баженовского исправительно-трудового лагеря. В ноябре его вызвали в Москву, а 16 декабря арестовали уже по «делу врачей». Его обвиняли в том, что он, получив письмо Тимашук, не принял мер и покрывал враждебную деятельность «врачей-убийц», затеявших заговор против политбюро и самого вождя.
В проекте обвинительного заключения, который был представлен Сталину, говорилось: «Абакумов и Власик отдали Тимашук на расправу иностранным шпионам-террористам». Сталин отредактировал заключение и добавил:
— Жданов не просто умер, а был убит Абакумовым…
Еще в 1948 году был арестован офицер управления охраны — комендант ближней дачи подполковник Иван Иванович Федосеев. Теперь он дал показания, что Власик приказал ему отравить Сталина. Следствием по «делу Федосеева» занимался Маленков. Он сам его допрашивал. Федосеева избивали и мучили, чтобы он поскорее дал нужные показания.
Следствие по «делу Власика» шло два с лишним года. В разработке Министерства госбезопасности Власик фигурировал в качестве участника заговора с целью убить Сталина и члена шпионской сети британской разведки. С 1946 года в Министерстве госбезопасности шел поиск людей, связанных с британской разведкой, в непосредственном окружении вождя. Семен Игнатьев доложил Сталину, что подозрения падают на Власика и Поскребышева.
Власика обвинили в связи с художником Владимиром Августовичем Стенбергом, который многие годы оформлял Красную площадь ко всем праздникам. А того считали шпионом, потому что до 1933 года он был шведским подданным.