Stichting De Tweede Mijl ging van start in oktober 1996. Het opvangwerk had toen al een hele geschiedenis. ‘In de bruiloft van Kana’, een keldertje aan de Oudezijds Voorburgwal, konden mensen van de straat terecht voor een kop koffie, soep en brood. Met name rond het middaguur was de kelder mudvol. Kort na de oprichting van De Tweede Mijl kreeg men een grotere locatie aangeboden, de Crypte onder het vroegere Bethaniëklooster in de Barndesteeg.
Eind 2001 braken er moeilijke tijden aan. De huur van het onderkomen in de Barndesteeg werd opgezegd. Het werk onder daklozen dreigde nu zelf dakloos te worden. Uiteindelijk vond De Tweede Mijl een onderkomen in de Willemsstraat. Dit pand van Tot Heil des Volks werd grondig gerenoveerd en aangepast op de opvang van de gasten. Januari 2002 kregen de eerste daklozen er een warm onthaal. Na een aantal jaren onder de paraplu van Tot Heil des Volks is de Tweede Mijl per 1 januari 2011 weer geheel zelfstandig.