Giáo phận Xuân Lộc được Đức Thánh Cha Phaolô VI thành lập ngày 14 tháng 10 năm 1965. Trải qua gần 50 năm hình thành và phát triển, Giáo phận luôn dành cho Đức Maria một sự tôn kính đặc biệt. Ước mơ có một trung tâm hành hương dâng kính Đức Mẹ luôn được các Đức Giám Mục tiền nhiệm ấp ủ. Ước mơ ấy đã trở thành hiện thực khi Đức Cha Cố Giuse Lê Văn Ấn, vị Giám mục tiên khởi, cho khởi công xây dựng trung tâm hành hương Đức Mẹ Bãi Dâu và tượng đài Chúa Giêsu núi Tao Phùng vào năm 1972, nhân dịp cử hành Năm Thánh Mẫu. Ngày lễ khai mạc đã quy tụ các linh mục, tu sĩ và hàng ngàn giáo dân khắp Giáo phận; đặc biệt có hàng trăm tàu thuyền đánh cá vùng biển Vũng Tàu, Phước Tỉnh đậu kín mặt biển, đối diện với mặt tiền trung tâm. Sau đại lễ khai mạc, trung tâm đã bắt đầu xây dựng các hạng mục công trình. Nhân công đến từ các nơi trong Giáo phận, đặc biệt là các giáo xứ lân cận. Cũng từ thời gian này, khách hành hương trong và ngoài Giáo phận đổ về trung tâm Đức Mẹ và núi Tao Phùng để kính viếng. Ngoài ra, trung tâm này còn trở thành nơi tham quan và tắm biển của du khách, đặc biệt trong các kỳ nghỉ hè và các ngày lễ, Tết… Nhưng rồi công việc kiến thiết phải ngưng lại, vì chiến tranh đã tràn đến. Phần đất của trung tâm bị chia cắt chỉ còn lại một phần ba. Sinh hoạt của trung tâm gần như bị ngưng đọng. Mãi đến năm 1990, nhân dịp kỷ niệm 25 năm thành lập Giáo phận, cũng là thời kỳ đất nước bước vào giai đoạn mở cửa, thành phố Vũng Tàu được chỉ định là thành phố dầu khí và du lịch. Đức Cha Cố Phaolô Maria đã trao cho Ban Xây dựng Giáo phận nhiệm vụ trùng tu hai công trình hành hương Bãi Dâu và tượng đài Chúa Giêsu núi Tao Phùng.