Os pais de Jan-Peter eram judeus. Seu pai, Heinz, era um refugiado judeu alemão e sua mãe, Henriette De Leeuw, era judia holandesa. Amedrontados pelo regime ditatorial nazista, e pelo assassinato de um tio de Heinz em um campo de concentração, eles emigraram para a Holanda quando Henriette estava grávida de nove meses, e foram morar em Amisterdã.

1933-39: Jan-Peter nasceu logo depois que seus pais chegaram à Holanda. Quando ele tinha 18 meses nasceu Tommy, seu irmãozinho. Em 1939, os pais e um irmão de Heinz juntaram-se a ele na Holanda, como refugiados alemães. Jan-Peter e Tommy cresceram falando holandês como língua materna, e muitas vezes faziam visitas à família da mãe no interior do país.

1940-44: Os alemães ocuparam Amsterdã em maio de 1940. Por ser muito jovem, apenas 6 anos, Jan-Peter não sentiu grandes alterações em sua rotina de vida, a despeito da ocupação alemã na Holanda. Isto mudou quando ele fez nove anos: os alemães enviaram sua avó para um campo de concentração chamado Westerbork. Seis meses mais tarde, Jan-Peter e sua família foram enviados para o mesmo campo, mas sua avó não esta mais estava lá. Durante o inverno, os Pfeffer foram enviados para um gueto longínguo chamado Theresienstadt, na Polônia, onde Jan-Peter passou frio, medo e fome.

Em 18 de maio de 1944, Jan-Peter foi deportado com a sua família para Auschwitz. Ele foi envenenado por gás em 11 de julho de 1944 . Jan-Peter tinha apenas dez anos de idade.