Начало Второй мировой войны резко изменило сложившуюся военно - политическую обстановку вокруг Советского Союза, что привело к решению о перестройке работы органов государственной безопасности
      В связи с необходимостью максимального улучшения агентурно-оперативной работы органов госбезопасности и возросшим объемом работы 3 февраля 1941 г. принимается  постановление ЦК ВКП (б) о разделении НКВД СССР на два наркомата: Народный комиссариат внутренних дел СССР и Народный комиссариат государственной безопасности.
         Л.П. Берия назначается  Наркомом внутренних дел СССР,  В.Н. Меркулов Наркомом  государственной безопасности  СССР.
        Кардинальным образом эти изменения коснулись деятельности  подразделений, обеспечивающих безопасность Вооруженных Сил.
   8 февраля 1941 г. ЦК ВКП (б) и СНК  приняли решение о ликвидации Особого отдела ГУГБ НКВД СССР.
   Постановлением  ЦК ВКП (б) и СНК СССР "О передаче  Особого отдела из НКВД СССР в ведение наркомата обороны и наркомата военно-морского флота СССР" были  организованы  при Наркомате обороны и Наркомате Военно-Морского Флота Третьи управления НКО и НКВМФ, непосредственно подчиненные народным комиссарам обороны и Военно-Морского Флота.       
      При НКВД СССР был организован  Третий отдел с функциями чекистского обслуживания пограничных и внутренних войск НКВД СССР.
           Начальником Третьего управления НКО был назначен   Михеев  А.Н., начальником Третьего управления НКВМФ   Петров А.И., начальником Третьего отдела НКВД СССР   Белянов А.М.
          О ликвидации ОО ГУГБ было объявлено совместным приказом НКВД и НКГБ СССР № 00151/003 от 12 февраля 1941 г.
          15 февраля 1941 г. приказом  НКВД СССР была определена организация и задачи Третьего отдела НКВД СССР в пограничных и внутренних войсках НКВД.
    3 - й отдел НКВД  СССР был создан на базе 11 - го отделения Особого отдела  ГУГБ.       Его руководитель майор ГБ Белянов А. М.,  до этого являлся заместителем   начальника Особого отдела ГУГБ НКВД  СССР.
    Деятельность 3 - го отдела НКВД  СССР курировал заместитель наркома внутренних дел СССР  Абакумов В.С.
    Одновременно   была проведена реорганизация  главных управлений войск НКВД путем образования:
• Главного управления войск НКВД СССР по охране железнодорожных сооружений и особо важных предприятий промышленности,
• Управления конвойных войск НКВД СССР;
• Управления оперативных войск НКВД СССР;
• Управления агитации и пропаганды войск НКВД СССР;
• Управления военного снабжения НКВД СССР;
• Военно – строительного отдела;
Главное управление пограничных войск НКВД СССР свой статус сохранило.
Третий отдел НКВД СССР обеспечивал внутреннюю безопасность оперативных, конвойных, пограничных, железнодорожных и промышленных войск, строительных частей НКВД,  прокуратуры и трибуналов войск НКВД, Отдельной мотострелковой дивизии особого назначения, гарнизона Московского Кремля, а также проводил проверки номенклатурных работников ЦК партии.

Создавшаяся обстановка на советско-германском фронте и возросшие задачи вызвали  необходимость перестройки органов государственной безопасности.    Структура Народного комиссариата внутренних дел СССР уже не отвечала требованиям, предъявляемым к ней советским правительством. Государственный Комитет Обороны, ЦК ВКП (б) и Совнарком СССР  приняли решение  о реорганизации НКВД СССР путем выделения из его состава оперативных подразделений государственной безопасности.   Указом Президиума Верховного Совета СССР от 14 апреля 1943 года  был образован Народный комиссариат государственной безопасности СССР.
    19 апреля 1943 г.  постановлением СНК СССР № 415 -138 сс Управление особых отделов  было изъято из ведения НКВД СССР и на его базе были образованы:
     1. Главное управление контрразведки «Смерш» Народного комиссариата обороны СССР;
2. Управление контрразведки «Смерш» Народного комиссариата ВМФ СССР;
3. Отдел контрразведки «Смерш»  Народного комиссариата внутренних дел СССР;
          21 апреля 1943 года Постановлением ГКО № 3222 сс/ов  утверждено Положение о ГУКР «Смерш» НКО СССР.
      Начальником Главного управления контрразведки  «Смерш» НКО СССР был назначен комиссар ГБ 2 — го ранга В.С. Абакумов
            Бывший 6-й отдел УОО НКВД  после реорганизации советских спецслужб остался в составе НКВД СССР и был преобразован в Отдел контрразведки «Смерш» НКВД СССР для агентурно - оперативного обслуживания пограничных и внутренних войск, милиции и других вооруженных формирований Наркомата,  с  прямым  подчинением  наркому Л.П. Берии.
         Отдел  возглавил комиссар ГБ  Юхимович С. П., его  заместителями были назначены подполковник ГБ  Капралов П.М.. и капитан ГБ Гольдфайн. В мае 1944 года начальником ОКР «СМЕРШ»  стал бывший заместитель начальника отдела кадров НКВД СССР генерал-майор  Смирнов Владимир Иванович.
         15 мая 1943 года приказом НКВД СССР № 00856 были организованы отделы контрразведки «Смерш» в войсках НКВД и утверждено «Положение об Отделе контрразведки «Смерш» НКВД СССР и его органах на местах».
     Структура центрального аппарата ОКР «Смерш» НКВД СССР (штат – 94 человека)  состояла из руководства (начальник и 2 его заместителя) и следующих подразделений:
• секретариат;
• спецгруппа;
• группа оперативного учета;
• 1-е отделение — агентурно - оперативная работа по центральным управлениям войск НКВД СССР;
• 2-е отделение — руководство агентурно — оперативной работой ОКР «Смерш» в войсках НКВД по охране тыла Действующей Красной Армии;
• 3-е отделение — руководство агентурно — оперативной работой в ОКР «Смерш» в пограничных войсках НКВД;
• 4-е отделение — руководство агентурно — оперативной работой ОКР «Смерш» во внутренних, железнодорожных, промышленных, конвойных войсках   НКВД и  МПВО;
• 5-е отделение — следственное;
• 6-е отделение — организационно-мобилизационное.
   К августу 1943 года система органов военной контрразведки «Смерш» в частях и соединениях войск НКВД включала:
ОКР «Смерш» НКВД охраны тыла фронтов – 12 органов;
ОКР «Смерш» НКВД Украинского и Северокавказского округов внутренних войск;
ОКР «Смерш» НКВД погранокругов – 10 органов;
ОКР «Смерш» НКВД Отдельной  мотострелковой дивизии особого назначения им. Ф.Э. Дзержинского (ОМСДОН);
ОКР «Смерш» НКВД Отдельной мотострелковой бригады особого назначения войск НКВД (ОМСБОН);
ОКР «Смерш» НКВД в Москве, Куйбышеве, Новосибирске и Свердловске, где находились части и соединения войск НКВД, которые охраняли особо важные предприятия и железнодорожные узлы.
   ОКР «Смерш»  НКВД  по охране тыла фронтов постоянно переформировывались в соответствии с упразднением, образованием или переименованием фронтов.
       Отдел контрразведки «СМЕРШ»  Управления войск НКВД по охране тыла 3 – го Белорусского фронта возглавлял подполковник Гуськов А.М., который в период  с 1959 по 1963 год  являлся начальником 3 – го ГУ КГБ – 3 Управления  КГБ СССР (военная контрразведка).
          Отделы контрразведки «Смерш» в войсках НКВД решали следующие задачи:
а) Проведение оперативно — розыскных мероприятий, направленных на борьбу со шпионской, диверсионной, террористической и иной подрывной деятельностью иностранных разведок в частях войск НКВД и среди их окружения;
б) Борьба с антисоветскими элементами, проникшими в части войск НКВД;
в)  Изучение и проверка военнослужащих, зачисленных на службу в войска, бывших в плену и окружении противника;
г)  Борьба с предательством и изменой Родине, дезертирством и членовредительством в частях войск НКВД;
д)  Проведение через командование профилактических мероприятий для предупреждения противоправных действий военнослужащих и происшествий с их участием;
е) Осуществление расследований по фактам противоправных действий, гибели военнослужащих войск НКВД, сотрудников и агентов контрразведки  «Смерш»;
ж) Возбуждение уголовных дел и проведение следствия по делам, отнесенным к компетенции органов  «Смерш» НКВД;
з) Обеспечение безопасности в войсках в период проведения государственных праздников и важных политических событий;
и) Выполнение специальных заданий Народного комиссара внутренних дел;
   Для осуществления указанных в  задач Отдел контрразведки «Смерш» и его органы на местах имели  право:
а) вести агентурно - осведомительную работу;
б) производить в установленном законом порядке выемки, обыски и аресты военнослужащих войск НКВД, а также связанных с ними лиц из гражданского населения, подозреваемых в преступной деятельности.
в) проводить следствие по делам арестованных с последующей передачей дел по согласованию с органами прокуратуры на рассмотрение соответствующих судебных органов или Особого совещания при Народном комиссариате внутренних дел СССР;
г) применять различные специальные мероприятия, направленные на выявление преступной деятельности агентуры иностранных разведок и антисоветских элементов;
д) вызывать без предварительного согласования с командованием в случаях оперативной необходимости и для допросов рядовой и командно - начальствующий состав войск НКВД;
     Для укомплектования ОКР «Смерш» НКВД до штатной численности из военнослужащих войск НКВД  было отобрано 500 человек.
     В качестве кандидатов на работу в органах безопасности,  рассматривались лица из числа лучших офицеров и сержантов, в возрасте от 21 до 30 лет, члены и кандидаты ВКП (б) и члены ВЛКСМ, имеющие образование не ниже 7 классов, физически здоровые.
   В результате оперативно – розыскной деятельности органов контрразведки  «СМЕРШ» за период с мая 1943 по август 1944 года, в войсках НКВД и их окружении были выявлены: 293 изменника Родине, 100 подозреваемых в шпионаже,  76 пособников немецких оккупантов, 356  дезертиров, 58 человек, вынашивающих террористические намерения.
     В 1945 году в составе органов контрразведки  НКВД СССР  образуются отделы контрразведки  «СМЕРШ»  по охране тыла: Группы советских оккупационных войск в Германии, Северной группы войск в Польше, Центральной группы войск в Австрии и Южной группы войск в Венгрии.