E' collocato proprio ai piedi delle Cinque Torri, a nord del Nuvolao e a Nord-Est dell'Averau (che si vede nella foto accanto dietro al rifugio). E' raggiungibile in automobile per una stretta stradina chiusa al traffico dal 1° agosto al 20 agosto, che si diparte dalla Statale 48 (tratto Passo Falzarego - Cortina) ad altitudine di 1730 m circa nei pressi di Cian Zopè e del Casòn de Landrìes. A piedi vi si può salire dal medesimo punto della statale per il sentiero 439 in parte coincidente con la stradina carozzabile, ma anche dal Rif. Bain de Dònes posto a 1889 m (no segnavia) o da un punto ancora più alto della statale (poco sotto il Pian dei Menìs e Ra Nona - 1950 m circa) per il 440 e poi 439. Vi si può giungere a piedi anche dal Passo Giau (2236 m) per il sentiero n. 443 e dal Ponte de Rucurto (1708 m) per il sentiero 437 e poi 439. Il Rifugio Cinque Torri è collegato al Rifugio Scoiattoli (2255 m) con un breve tratto di strada bianca (439) e da lì poi anche al Rif. Averau (2413 m) (posto sulla Forcella Nuvolau) da cui si può salire con il sentiero 439 al Rifugio Nuvolau (2575 m), posto sulla cima dell'omonimo monte, ma anche attraverso ferrata sulla cima del monte Averau (2649 m). Si ricorda inoltre che il Rifugio Scoiattoli posto poco sopra al Rifugio Cinque Torri è collegato al Rif. Bain de Dònes da seggiovia.