En 1735, à l'âge de 20 ans, Pierre-Jacques travaillait à la construction de l'église de Petite-Rivière près de Baie-Saint-Paul lorsqu'il apprit une navrante nouvelle: la mort tragique de sa mère et de Jacques Gagné, noyés au Cap Tourmente alors qu'ils se rendaient à Québec en chaloupe. Seul le corps d'Hélène fut retrouvé et inhumé dans le cimetière de Ste-Famille de l'Ile d'Orléans. Deux ans plus tard Pierre-Jacques épouse le 8 janvier 1737, Madeleine Bouchard à Petite-Rivière, Baie Saint-Paul. En 1738, il revient à Sainte-Anne pour vendre la maison que son grand-père Pierre avait acheté de René de La Voye, là où son père Jacques-Pierre est né. De ce couple, Pierre-Jacques et Madeleine Bouchard naquirent trois enfants. Le premier Joseph François Allard, né le 12 janvier 1742, le deuxième qui est notre ancêtre, Louis Abraham Allard, né le 15 octobre 1753 et le dernier, Constantin Allard, né le 30 décembre 1756