Maar zijn gezinsleven was niet zo succesvol.
In 1960 trouwde de acteur voor het eerst met zijn jeugdliefde, Alyce Mayo. Het paar ontmoette elkaar voor het eerst aan de Syracuse University, waar zowel Peter als Alyce studeerden. Maar het duurde even voordat ze uiteindelijk in het huwelijksbootje stapten. Peter en Alyce hadden namelijk 12 jaar een relatie voordat ze op 17 april 1960 trouwden.
Alyce Mayo, die als ontwerpster werkte, zou een oogje dichtgeknepen hebben voor de ontrouw van haar man, maar na 16 jaar had ze er genoeg van.
Falk en Alyce adopteerden samen twee dochters, Catherine en Jackie. Jackie Falk verscheen soms met haar vader op persevenementen, maar trok zich daarna terug uit de schijnwerpers.
Catherine, die privédetective werd, had een moeizame relatie met Peter en spande zelfs een rechtszaak tegen hem aan toen hij naar verluidt haar studiekosten niet meer betaalde.
