Die wärmeliebende Kleine Hufeisennase bevorzugt strukturreiche Gebiete an Siedlungsrändern in den Mittelgebirgen und kommt auch in bewaldeten Gegenden vor. Als Sommerquartiere dienen ihr beispielsweise kleine Tunnel oder Baumhöhlen. Wie alle Vertreter ihrer Gattung hängen die Tiere stets frei, sind also nie in Spalten oder Löchern verborgen. Die höchste bekannte Wochenstube dieser Art in der Schweiz befindet sich in 1.177 Metern Höhe über dem Meeresspiegel. Gerade im Norden ihres Verbreitungsgebietes findet man sie häufig auf Dachböden, in Kaminnähe oder in Heizungskellern.
Die nächtliche Jagd erfolgt bevorzugt in Laubwäldern und halboffenen Landschaften wie Parks, Alleen, Streuobstwiesen sowie auf Flächen neben Gehölzen an Gewässern und Gebäuden. Wichtig sind zur Orientierung im Flug nahezu lückenfreie Strukturen von Gehölzen und Hecken. „Freie Flächen von mehr als 200 m Ausdehnung werden kaum überflogen.“