З початком німецько-радянської війни українські німці служили в Червоній армії, чимало було серед них підпільників та партизан; натомість цивільне німецьке населення було залучено до будівництва укріплень. Проте невдовзі ситуація радикально змінилася: на всій території СРСР органами НКВС було встановлено жорстокий контроль за населенням, передусім – німецьким. Водночас місцеві жителі також виявляли увагу до появи у своїх населених пунктах випадкових чи підозрілих осіб.
Подібна ситуація мала місце і раніше, у довоєнний період. Так, лише за перші 6 місяців 1940 р. в Республіці німців Поволжя було заарештовано за обвинуваченням в «антирадянській агітації» 23 особи. Такі затримання відбувалися в рамках заходів «пошуку та виявлення іноземної агентурної мережі й диверсійно-терористичних угруповань». Фактичним приводом для здійснення подібних затримань став масовий відтік німецького населення до Німеччини з територій Бессарабії, Північної Буковини та республік Балтії, анексованих радянським режимом улітку 1940 р. Натомість, за даними чекістів, «фашистська агентура та підривна робота з організації переселенського руху до Німеччини» «активно» діяли в певних регіонах, зокрема, територіях УРСР, АзРСР, Криму та Омської області.
Фактично, першими в середині серпня 1941 р. були відправлені близько 60 тис. німців, яких виселили разом із родинами з Криму, а також з о. Хортиця.
В Указі Президіуму Верховної Ради СРСР «Про переселення німців, які проживали в районах Поволжя» від 28 серпня 1941 р. йшлося про наявність на території республіки «десятків тисяч диверсантів та шпигунів». А вже за кілька днів, 31 серпня, було прийнято постанову Політбюро ЦК ВКП(б) «Про німців, які проживали на території Української РСР», відповідно до якого НКВС зобов’язувався: 1) німців, які перебували на обліку, як антирадянський елемент, заарештувати; 2) частину працездатного чоловічого населення віком від 16 до 60 років мобілізувати до будівельних батальйонів НКВС для використання у східних областях СРСР.
Водночас, за наказом Л. Берії, у складі НКВС оперативно було створено новий Відділ спецпереселень, що підпорядковувався безпосередньо наркому. Керівником був призначений майор держбезпеки І. Іванов. Саме цей відділ організовував та проводив усі депортації радянських німців, що відбувалися з вересня 1941 р. Так, відповідно до постанови Державного комітету оборони від 22 вересня 1941 р., відбулося переселення всіх німців із Запорізької, Сталінської (Донецької) та Ворошиловградської (Луганської) областей.
Механізм депортаційних заходів був сформований та апробований ще раніше. Була розроблена детальна інструкція щодо речей, продуктів харчування, які кожен міг взяти із собою (з розрахунку «на 20 днів у дорозі»). Депортованих німців відправляли ешелонами залізницею або, в деяких випадках, водним транспортом. Пунктами призначення стала Західна Сибір (зокрема, Алтайський край, Омська та Новосибірська області).
Протягом 2–5 вересня 1941 р. на територіях, що ще перебували під контролем радянських органів (зокрема, на Лівобережжі України), було заарештовано 7 091 особу як «антирадянський елемент», а 13 484 особи (переважно чоловіків) – мобілізовано та відправлено на об’єкти ГУЛАГу НКВС СРСР; деякі з них потрапили до Вятлагу (Вятського виправного трудового табору, що розташовувався в Кіровській області, нині – частина Пермського краю РФ).
Решту населення з тавром «фашисти» відправляли до спецпоселень, режимне проживання в яких було особливо принизливим: підпорядкування комендатурі, потреба регулярної реєстрації, заборона виїзду за межі визначеного місця перебування. І хоча в перші роки депортовані німці мали навіть певну «свободу» – могли здійснювати внутрішні переміщення у пошуках стерпних умов для проживання та роботи, проте в подальшому ці випадки остаточно припинилися.
Певна частина українських німців протягом війни залишалася на окупованих територіях та співпрацювала з нацистською владою. Втім, із відступом Вермахту, більшість з них добровільно залишила місця свого проживання, прагнучи уникнути подальших звинувачень та репресій з боку радянської влади.
Наприкінці німецько-радянської війни, 8 січня 1945 р., РНК СРСР прийняла дві закриті постанови: «Про затвердження положення щодо спецкомендатур НКВС» та «Про правове становище спецпереселенців». Реалізація цих документів фактично призвела до оформлення повноцінного режиму спецпоселення, під який, окрім німців, потрапили й інші корінні народи.
Після смерті Й. Сталіна було ухвалено два важливі документи, що передбачали «зняти обмеження щодо спецпоселення, зокрема – з німців, місцевих мешканців Далекого Сходу, Сибіру, Уралу, Середньої Азії, Казахстану та інших місць, звідки виселення німців не проводилось; а також – з німців, мобілізованих під час Другої світової війни для роботи в промисловості, які виселенню не підлягали». Згідно з постановою Ради Міністрів СРСР від 10 березня 1955 р., спецпоселенці отримували паспорти; ухвалені згодом нормативні акти суттєво поліпшили правовий статус колишніх депортованих. Проте знадобилося ще кілька десятиліть, щоб усі обмеження стосовно цілого народу було скасовано.
Повернення депортованих було тривалим та важким; з різних причин зробити це вдалося далеко не всім. За деякими даними, на теренах Української РСР станом на 1970 р. проживало 29 тис. німців, а, відповідно до Всеукраїнського перепису населення від 2001 р. – близько 33 тис. осіб. У незалежній Україні німецька спільнота має рівні права з іншими громадянами країни. Вона представлена численними громадськими організаціями, об’єднаними в Раду німців України, які опікуються як питаннями гуманітарної допомоги, так і соціально-культурним розвитком членів громади. Закон України від 17 квітня 2014 р. «Про відновлення прав осіб, депортованих за національною ознакою» містив очікувані кримськими татарами та німцями положення щодо дозволу на проживання в тих місцях, з яких вони або їхні предки були депортовані, і встановив гарантії держави щодо відновлення прав цих народів.