Ainda jovem, Rondon decidiu servir ao Exército e dedicar-se à construção de linhas telegráficas pela vastidão do interior brasileiro. Durante sua vida, percorreu mais de 100 mil quilômetros, abrindo caminhos. Elaborou as primeiras cartas geográficas de cerca de 500 mil km2. Fundou o Serviço de Proteção ao Índio. O marechal entraria para a história como o pacificador e o patrono das comunicações.
De origem indígena por parte de seus bisavós maternos e da bisavó paterna, Rondon tornou-se órfão precocemente, tendo sido criado pelo avô e depois por um tio. Quando adolescente, incluiu Rondon no seu nome de batismo, Cândido Mariano da Silva, para não ser confundido com um homônimo de má reputação.
Em 1881, aos 16 anos, formado professor primário, transferiu-se para o Rio de Janeiro para ingressar na Escola Militar. Em 1890, recebeu o diploma de bacharel em matemática e ciências físicas e naturais da Escola Superior de Guerra do Brasil. Partidário das idéias positivistas, participou dos movimentos abolicionista e republicano.
Em 1º de fevereiro de 1892, casou-se com Francisca Xavier, com quem teve sete filhos, e foi nomeado chefe do Distrito Telegráfico de Mato Grosso. Foi então designado para a Comissão de construção da linha telegráfica que ligaria Mato Grosso e Goiás.
Rondon cumpriu essa missão abrindo caminhos, desbravando terras, lançando linhas telegráficas, fazendo mapeamentos e estabelecendo relações com os índios. Manteve contato com muitas tribos, entre elas os bororo, nhambiquara, urupá, jaru, karipuna, ariqueme, boca negra, pacaás novo, macuporé, guaraya, macurape. Em 1906 entregou uma linha telegráfica entre Cuiabá e Corumbá, alcançando as fronteiras de Paraguai e Bolívia.
Seus trabalhos desenvolveram-se de 1907 a 1915. Nesta época estava sendo construída a ferrovia Madeira-Mamoré. A chamada Comissão Rondon deveria construir uma linha telegráfica de Cuiabá a Santo Antonio do Madeira.
Em 1910 criou o Serviço de Proteção ao Índio (SPI). Obteve a demarcação de terras de vários povos, entre eles os Bororo, Terena e Ofayé. Em 1912, Rondon foi promovido ao posto de coronel, depois de ter pacificado os índios das tribos caingangue e nhambiquara.
Em 1913, ganhou medalha de ouro "por trinta anos de bons serviços" prestados ao Exército e ao Brasil. No mesmo ano acompanhou o ex-presidente americano Theodore Roosevelt na sua expedição ao Amazonas. Em setembro de 1913, Rondon foi atingido por uma flecha envenenada dos índios nhambiquaras.
Salvo pela bandoleira de couro de sua espingarda, ordenou a seus comandados que não reagissem, demonstrando seu lema: "Morrer, se preciso for. Matar, nunca". Em 1914 a Sociedade Geográfica de Nova York conferiu a Rondon o Prêmio Livingstone, e determinou a inclusão de seu nome em uma placa de ouro, ao lado de outros grandes exploradores.
Em 1914, com a Comissão Rondon, construiu 372 km de linhas e mais cinco estações telegráficas: Pimenta Bueno, Presidente Hermes, Presidente Pena (depois Vila de Rondônia e atual Ji Paraná), Jaru e Ariquemes, na área do atual estado de Rondônia. Em 1º de janeiro de 1915 conclui sua missão com a inauguração da estação telegráfica de Santo Antonio do Madeira.
De 1919 a 1924 foi diretor de engenharia do Exército. Entre 1927 e 30 inspecionou toda a fronteira brasileira desde a Guiana até a Argentina. Após a revolução de 1930, Getúlio Vargas, o novo presidente, hostilizou Rondon que, para evitar perseguições ao Serviço de Proteção aos Índios, deixou sua direção.
Em 1938, Rondon promoveu a paz entre a Colômbia e o Peru que disputavam o território de Letícia. No ano seguinte foi nomeado presidente do Conselho Nacional de Proteção ao Índio.
Em 1952 Rondon propôs a fundação do Parque Indígena do Xingu. No ano seguinte inaugurou o Museu Nacional do Índio. Em 5 de maio de 1955, data de seu aniversário de 90 anos, recebeu o título de Marechal do Exército Brasileiro concedido pelo Congresso Nacional. Em 17 de fevereiro de 1956, o Território Federal do Guaporé teve seu nome alterado para Território Federal de Rondônia, em 1981 elevado a estado.
Em 1957 foi indicado para o prêmio Nobel da Paz, pelo Explorer´s Club de Nova York. O dia 5 de maio é a data em que se comemora o Dia das Comunicações no Brasil.