Nazistenes politikk overfor romer og andre tradisjonelt omreisende grupper bar de første årene etter maktovertakelsen preg av kontinuitet. Den bygget videre på eksisterende anti-romske forordninger og praksis fra Weimar-republikken, og var i stor grad en integrert del av regimets sosial- og kriminalpolitikk. Parallelt med sentraliseringen av det nazistiske politivesenet og forskyvningen fra et fokus på politiske og sosiale grupper til «biologisk-preventiv» kriminalitetsbekjempelse av folkets «rasemessige» fiender, foregikk også en radikalisering mot en tydeligere «sigøynerpolitikk». I 1936 opprettet regimet et rasehygienisk institutt med ansvar for systematisk registrering av landets romer under legen Robert Ritters ledelse. Ritter og hans medarbeidere slo fast at over 90 % av dem var «blandingssigøynere», angivelig med asosiale og kriminelle egenskaper uløselig knyttet til sitt arvemateriale.
Da 2. verdenskrig brøt ut kom romer i de fleste tyskokkuperte land på ulike måter til å utsettes for den nazistiske politikken. Forfølgelsen utviklet seg i løpet av krigen til folkemord. Den 16. desember 1942 beordret SS-lederen Heinrich Himmler deportasjon av alle tyske «sigøynere». Kort tid senere opprettet SS en egen underseksjon for gruppen i utryddelsesleiren Auschwitz II-Birkenau. De påfølgende årene sperret nazi-regimet over 23 000 romer inne i den avgrensede sektoren som fikk navnet Zigeunerlager (Sigøynerleir). Flere titalls tusen romer ble også henrettet av tyske dødsskvadroner og lokale kollaboratører i Sovjetunionen og på Balkan. Natten mellom 2. og 3. august 1944 avviklet SS «Sigøynerleiren». Da var nesten alle de deporterte for lengst døde og de gjenværende ble myrdet i gasskamrene.
Ordren om å deportere «sigøynerske personer» fra det okkuperte Belgia og Nederland ble gitt 29. mars 1943, men massearrestasjonene skjøt først fart høsten og vinteren 1943-44. Tre norske romer ble imidlertid arrestert så tidlig som i februar, og ankom Auschwitz allerede i november. Heinrich Modis var 16 år gammel da han som første norske rom ble innregistrert i Zigeunerlager sammen med faren Henri og onkelen Thorvald.
Om lag to måneder senere, 17. januar 1944, nådde den største deportasjonen med romer fra interneringsleiren Kazerne Dossin i Mechelen Auschwitz. Blant de 351 deporterte på den såkalte Z-transporten fra Mechelen var 62 norske romer, inkludert Heinrich Modis’ mor Lina Russolino Modis og en rekke andre medlemmer av familien hans. Flere titalls personer fra storfamiliene Karoli og Josef ble også registrert i «Sigøynerleirens» fangeprotokoll den samme dagen.
Familien Karoli var en av de første romske storfamiliene i Belgia som ble arrestert, da 19 av familiens medlemmer ble anholdt av politiet i Tournai 22. oktober 1943. Etter et kort fangenskap i Belgia ble samtlige den 15. januar 1944 ført om bord på toget som to dager senere nådde Auschwitz. Ved utgangen av året var bare to av de deporterte Karoliene i live.