Karl Peter hadde flyktet før. Da de sudettyske områdene av Tsjekkoslovakia ble innlemmet i Nazi-Tyskland høsten 1938, måtte han og foreldrene Victor og Käthe forlate hjemstedet Teplice. Som mange andre internt fordrevne bosatte de seg i hovedstaden. Den 15. mars året etter ble de tvunget til å vurdere fremtiden nok en gang: Tyske tropper marsjerte inn i Praha, samtidig som Hitler gjorde Böhmen og Mähren til et tysk protektorat. Det nye regimet innførte raskt antijødiske lover og reduserte landets jøder til annenrangs borgere. Da det viste seg umulig for den lille familien å flykte sammen, besluttet Karl Peters foreldre å sende sitt eneste barn til Norge. Nansenhjelpen hadde etter harde forhandlinger med myndighetene tvunget gjennom en avgrenset kvote, og fulgte barna på togreisen gjennom kontinentet.
Mens flesteparten av de tsjekkiske barna ble plassert i pleie- og barnehjem i Oslo-området, reiste Karl Peter og åtte andre videre til Bergen. Karl Peter Federer kom til det unge ekteparet Magda Stoltz og Anton Christian Meyer. Han fant seg godt til rette hos sin nye familie og begynte på Krohnengen folkeskole i løpet av vinteren. Scenen han tegnet i kladdeboken fra 1. klasse på Krohnengen vitner likevel om at inntrykkene fra den tyske invasjonen av Praha hadde satt spor. Andre sider i kladdeboken bærer tegninger av et rundt mannsansikt med en karakteristisk svart bart og beskrivelsen «Hitler».
Samtidig som Karl Peter tilpasset seg sitt bergenske eksil ble også Norge okkupert. Nansenhjelpen vurderte den usikre situasjonen dithen at det var nærliggende å sende flere av barna tilbake til Tsjekkoslovakia. Noen av de tsjekkiske foreldrene motsatte seg dette forslaget, enkelte følte de ikke kunne protestere, mens andre selv ønsket barna tilbake. Om lag halvparten av barna returnerte til Tsjekkoslovakia i 1941 – blant dem Karl Peter Federer. Den 30. mars 1941 mottok pleieforeldrene i Bergen et kort fra en av Nansenhjelpens medarbeidere i Oslo: «Peter kommer ikke til å bli her. Han reiser fredag 5. mars til Prag sammen med 4 andre barn herfra, og det er jo godt for dem å komme hjem til sine foreldre».
Det første året etter at Karl Peter vendte hjem holdt han og foreldrene hyppig kontakt med den bergenske pleiefamilien. I et udatert brev skrev han blant annet på norsk: «Kjære mor og far. Tusen takk for brevet jeg fik av dere […] Når krigen er slut kommer jeg på besøk». Sommeren 1942 kom siste brev fra Praha. Da besluttet nazistiske styresmakter å deportere familien Federer til konsentrasjonsleiren Theresienstadt. Derfra sendte de dem høsten 1944 til Auschwitz, hvor Karl Peter og moren ble myrdet i gasskamrene. Faren Victor var den eneste som overlevde. I mars 1946 informerte han ekteparet Meyer om sin sønn og kones skjebne, før han la til: «Tyskerne har ødelagt min eksistens og stjålet mine eiendeler, og jeg må starte helt fra bunnen av. Men for hvem, for hva, hvorfor?».