W religijności Felińskiego punktem kluczowym była wiara w Boga, która stała się dla niego solidnym fundamentem, na którym oparł on swoją egzystencję. To człowiek granitowej wiary i bezgranicznego zawierzenia Opatrzności. Zachowane listy Felińskiego do matki i rodzeństwa, z okresu młodości, odsłaniają jego żywą młodzieńczą wiarę, z której tryskała nadzieją, zaufanie bez granic pokładane w Opatrzności Bożej i gorąca miłość Boga, przejawiająca się we wszystkich momentach i różnych wydarzeniach jego życia.Świadoma wiara w Opatrzność Bożą obudziła się w nim i kształtowała w bolesnych okolicznościach życia. Pozbawiony opieki rodzicielskiej przez śmierć ojca, zesłanie matki na Syberię, a nadto znalazłszy się w trudnej sytuacji i środków do życia, a do tego sam jeden w obcym środowisku w Moskwie - szukał oparcia w Bogu i coraz bardziej odrywał się od spraw ziemskich i sądów ludzkich . Bóg stał się dla niego Ojcem Umiłowanym, Opiekunem Najlepszym, Najwyższą Miłością, a zarazem Dawcą Hojnym i Miłosiernym, który nigdy nie opuszcza, który czuwa, osłania, prowadzi w sposób najlepszy i który daje wszystko, co potrzebne jest do życia i zbawienia. Jego bezgraniczną, a zarazem pełną uroku wiarę w Boga wyrażają młodzieńcze słowa: "Mój punkt widzenia - to wiara, chciałbym, żeby wszystko, co mnie czaruje i zachwyca, miało w niej swój początek" (1843) Niezachwianie ufał w czuwającą Opatrzność Bożą nad nim samym i nad jego rodziną, nad ojczyzną i nad całym światem: "Pan Bóg opiekuje się nami" - często powtarzał (1844); "Pan Bóg czuwa nad nami w sposób najlepszy" (1847). "Wola Boża niech się dzieje we wszystkim". Często swoje listy kończył wezwaniem: "Niech Opatrzność Boska czuwa i błogosławi".