Johannes Janssen begann mit 14 Jahren auf Wunsch seines Vaters eine Lehre als Kupferschmied, durfte jedoch später weiter die Schule besuchen und ging auf das Gymnasium in Recklinghausen. Als Obersekundarier besuchte er aber schließlich die Rektoratsschule in Xanten (heutiges Stiftsgymnasium Xanten). Anschließend studierte er Theologie in Münster und in Löwen. 1851 entschloss er sich, zur Geschichtswissenschaft zu wechseln. Er studierte in Bonn, wo er 1853 mit einer Arbeit über den Abt Wibald von Stablo und Corvey promoviert wurde. 1854 habilitierte er sich in Münster.

Aufgrund seiner Freundschaft mit dem Frankfurter Historiker Johann Friedrich Böhmer entschied er sich, einem Ruf als Professor für Geschichte an das Städtische Gymnasium in Frankfurt am Main zu folgen. 1860 wurde er zum Priester geweiht. Nach dem Tode Böhmers nahm Janssen Urlaub für einen längeren Studienaufenthalt in Rom. Ein Angebot, in den diplomatischen Dienst der Römischen Kurie zu treten, schlug er allerdings aus. Stattdessen kehrte er nach Frankfurt in den Schuldienst zurück.

Obwohl er in den 1860er Jahren eine preußenfreundliche Haltung entwickelt hatte, wandelte er sich unter dem Einfluss des Kulturkampfes zu einem entschiedenen Kritiker von Bismarcks Vorgehen gegen die katholische Kirche. 1875 ließ er sich für die Zentrumspartei im Wahlkreis Montjoie-Schleiden-Malmedy zum Mitglied des preußischen Abgeordnetenhauses wählen. Bereits im Herbst 1876 legte er jedoch sein Mandat nieder und zog sich wieder an das Frankfurter Gymnasium zurück. 1880 wurde er von Papst Leo XIII. zum Apostolischen Protonotar (höchsten Stufe eines Ehrenprälaten) ernannt.

Ab 1854 war Janssen Mitglied des Katholischen Lesevereins Berlin, jetzt KStV Askania-Burgundia im KV.

Am 24. Dezember 1891 starb Janssen in Frankfurt am Main. Sein Grab befindet sich auf dem Frankfurter Hauptfriedhof.