I et nummer af Fredsbudet, udgivet af Fredskirken på Howitzwej på Frederiksberg, beskriver P. Olsen kort, hvorfor han er baptist. Nummeret er dateret “8. 13.”, hvilket må betyde nr. 8, årg. 1913. P. Olsen skriver:
“Hvorfor jeg er Baptist.
Jeg erkender med Glæde, at der inden for Statskirken findes mange oprigtige Kristne. Men jeg kan alligevel ikke være Medlem af Statskirken. Thi den er som Institution betragtet saa langt som vel mulig fra men Herres og Frelsers Ideal. Han erklærede, at hans Rige er ikke af denne Verden. Og Statskirken er jo en verdslig Institution. Det er een Grund til, at jeg er Baptist.