Carlos Barbosa é uma terra marcada pela diversidade étnica. De povos indígenas a imigrantes europeus, muitos foram os grupos que contribuíram para formar o município que, hoje, é reconhecido especialmente pelo seu desenvolvimento industrial, pelo futsal e pelas belas paisagens.
Duas etnias indígenas ocuparam o território barbosense: os tupi-guaranis e os jês. A chegada desses povos provavelmente ocorreu por meio de uma trilha de passagem do litoral em direção ao planalto, orientada pelo divisor de águas existente no município.
Os primeiros imigrantes a se estabelecerem no município foram os luso-brasileiros. Engenheiros, agrimensores, serviçais e pequenos agricultores portugueses vieram de Porto Alegre, Montenegro e São Sebastião do Caí com o objetivo de administrar as novas colônias.
A colonização prosseguiu com a chegada de outros imigrantes europeus a partir de 1855, como alemães e suíços, que se fixaram nas localidades de Forromeco, Santa Luiza e Santa Clara. Uma das primeiras ações nessas comunidades foi a construção de capelas, locais onde os imigrantes cultivavam sua religiosidade.
O maior contingente de imigrantes instalados no território, contudo, foi de italianos, que impulsionaram o desenvolvimento da Serra Gaúcha a partir de 1870. Estabelecidos em diversas localidades do município, deixaram forte marca cultural, transmitindo tradições, costumes e valores que ainda hoje permeiam os hábitos dos barbosenses. A maioria dos italianos que aqui se fixou veio de províncias do Vêneto e da Lombardia.
Outras etnias também deixaram sua contribuição, ainda que em menor número, como franceses, holandeses, poloneses e espanhóis.
Antes de receber o nome atual, em homenagem ao ex-governador Carlos Barbosa Gonçalves, o município teve outras denominações. Inicialmente, a localidade era conhecida como Linha Estrada Geral ou Primeira Secção do Caminho Geral. Em referência ao número do lote onde surgiu o primeiro núcleo social — com igreja, escola e cemitério —, a comunidade passou a ser chamada, por volta de 1883, de Trinta e Cinco.
Mais tarde, em 1909, a localidade passou a ser chamada de Santa Luiza, uma homenagem feita por um engenheiro da estrada de ferro à sua noiva, a professora belga Luiza Debeauprés.
A denominação atual foi oficializada em 25 de janeiro de 1910, pelo então intendente de Garibaldi, Júlio Azambuja. Carlos Barbosa Gonçalves governou o Rio Grande do Sul entre 1908 e 1913, tendo como uma de suas principais obras a construção da ferrovia entre Montenegro e Caxias do Sul.
As terras de Carlos Barbosa estiveram, inicialmente, sob a jurisdição do município de Montenegro. A área Leste integrava a antiga colônia Santa Maria da Soledade, enquanto que a região oeste fazia parte da colônia Conde d’Eu. Em 1870, com a criação do município de Bento Gonçalves, as terras de Boa Vista, Azevedo Castro, Vitória e Estrada Geral (sede de Carlos Barbosa) passaram a ele pertencer. As demais áreas, como as linhas Doze e Dezenove, Arcoverde, Santa Luiza, Forromeco e adjacências, continuaram sob a administração de Montenegro.
Com a emancipação de Garibaldi, em 1900, as áreas barbosenses antes ligadas a Bento Gonçalves foram incorporadas ao novo município. Em 1910, Carlos Barbosa passou a sediar o terceiro distrito garibaldense, contando com cartório distrital. A partir de 1925, durante as comemorações do cinquentenário da imigração Italiana no RS, Carlos Barbosa passou a figurar como segundo distrito de Garibaldi. A região pertencente a Montenegro foi incorporada em 1940.
Carlos Barbosa passou a ser sede paroquial em 1948.
Em março de 1958, foi realizada a primeira reunião do grupo de visionários que formaria a comissão emancipadora. No salão paroquial da comunidade, um expressivo número de pessoas uniu-se com o objetivo de tornar Carlos Barbosa um município autônomo. A comissão era composta por dez figuras de destaque na conjuntura socioeconômica da época: Ampélio Carlotto, Antonio Adriano Guerra, Antonio Martin Guerra, Honório Faccioni, Humberto Accorsi, José Chies, José Raimundo Carlotto, padre Arlindo Marcon, padre Pedro Faustino Piccoli e Reynaldo Chies.
A campanha pela emancipação foi intensa e só se concretizou com o apoio do recém-eleito governador do Estado, Leonel de Moura Brizola. A causa também contou com o suporte de parlamentares da Assembleia Legislativa. No dia 25 de setembro de 1959, às 20h30min, Brizola assinou a Lei nº 3.831, criando oficialmente o município de Carlos Barbosa.
Membro atuante da comissão emancipacionista, José Chies foi eleito o primeiro prefeito de Carlos Barbosa. A primeira administração teve como vice-prefeito Ernesto Antonio Carlotto. Na Câmara de Vereadores, compuseram a primeira legislatura: Ampélio Carlotto, Verdolindo Ângelo Guerra, Reynaldo Chies, Hortelino Salvi, Delvino João Chies, Assunto Dalcin e Evaldo Loose, sendo este o primeiro presidente do Legislativo.
O primeiro ato administrativo do prefeito José Chies foi instituir a proteção oficial do município a Nossa Senhora Mãe de Deus, padroeira da comunidade.