O fogo começou com um curto-circuito no ar-condicionado do escritório de um banco no 12º andar e se alastrou por cortinas e carpetes. A fachada, sem proteção contra as chamas, também foi tomada.
Os escritórios estavam cheios quando o fogo começou, por volta das 8h30 da sexta-feira, 1º de fevereiro de 1974. O Joelma foi consumido pelas chamas três anos depois de ficar pronto, em 1971.
Naquela época, a capital tinha 5 milhões de habitantes, e o prédio de 25 andares estava entre os mais altos da cidade.
O fogo durou mais de três horas e destruiu 14 pavimentos. Segundo os registros, os botijões de gás nas copas das empresas explodiram e lançaram blocos de paredes.
Os helicópteros que tentavam fazer o resgate não conseguiam pousar no topo, que era coberto com telhas de amianto e não havia escadas de incêndio ou heliponto na cobertura. Mais de 60 pessoas que fugiram para o terraço morreram carbonizadas. Outras caíram ou se atiraram do prédio.
O “Jornal Nacional”, na época, mostrou as imagens do incêndio e da ação dos bombeiros. O cinegrafista Reynaldo Cabrera filmou a queda de um homem do último andar do prédio.
Depois de ser tomado pelo fogo, o prédio passou por reforma, e a segurança foi reforçada. A tragédia alertou para a falta de estrutura dentro de edifícios e serviu para criar a primeira legislação de segurança da cidade, regulamentando a prevenção e o combate a incêndios.
A Justiça de São Paulo, um ano depois, considerou que o incêndio no Edifício Joelma foi criminoso devido às instalações elétricas precárias e condenou por imperícia, negligência e omissão o engenheiro, o gerente de uma empresa de ar-condicionado e três eletricistas.