El Pan de Azúcar tiene 396 metros de altura sobre el nivel del mar. Lo más probable es que su nombre haga referencia a los "panes de azúcar", forma tradicional en que se producía el azúcar hasta finales del siglo XIX y que consisitía en largos conos de punta redondeada similares al morro, aunque algunos consideran que el nombre en realidad deriva de "Pau-nh-acuqua" que significa la alta colina en la lengua de Tupi-guaraní, usada por los indígenas Tamoios.
Este pico es el único de varios morros monolíticos de granito que se elevan directamente del borde del mar en Río de Janeiro.
