Rossi on toiminut kuntapoliitikkona Suonenjoen kaupunginvaltuustossa vuosina 1977–2000, jolloin hän oli valituksi tullessaan Suomen nuorin kaupunginvaltuutettu, kaupunginhallituksessa 1988–1991 ja vuodesta 2001 Kuopion kaupunginvaltuustossa. Hän on toiminut vuosina 2001–2010 Pohjois-Savon maakuntahallituksen sekä Pohjois-Savon maakunnan yhteistyöryhmän (MYR) puheenjohtajana. Vuodesta 2011 hän toiminut Kuopion kaupunginvaltuuston puheenjohtajana 31. toukokuuta 2017 saakka ja 2013 lähtien myös Pohjois-Savon sairaanhoitopiirin hallituksen puheenjohtajana. Huhtikuun 2017 kuntavaalien jälkeen Rossi valittiin 1. kesäkuuta alkaen Kuopion kaupunginvaltuuston 1. varapuheenjohtajaksi ja jatkamaan Pohjois-Savon sairaanhoitopiirin hallituksen puheenjohtajana. Hän toimi joulukuusta 2015 lokakuuhun 2019 Posti Group Oyj:n hallintoneuvoston puheenjohtajana. Rossi on ollut poliittisella urallaan myös tasavallan presidentin valitsijamiehenäpresidentinvaalissa 1982 ja 1988.
Paitsi poliitikkona, Rossi on työskennellyt muun muassa K-Maatalouskeskuskauppiaana Suonenjoella ja kuopiolaisessa Oikea Asema -paikallisradiossa, ensin toimittajana ja uutistoimituksen tuottajana sekä myöhemmin päätoimittajana. Ennen Oikea Asemaa Rossi työskenteli freelancertoimittajana Kuopion Kaapelitelevisio Oy:n palveluksessa, ideoiden päätoimittajana toimineen Juha-Pekka Mannisen ja Savon Sanomien varatoimitusjohtajana toimineen Jussi Kolehmaisen kanssa Suomen ensimmäisen Kuopio-TV:n aamu-ohjelman.
Rossi ja 21 muuta keskustalaista kansanedustajaa jättivät helmikuussa 2012 lakialoitteen, jolla kiellettäisiin kiinteistöjen omistaminen ETA-maiden ulkopuolisilta henkilöiltä ja yhteisöiltä, lähinnä siis venäläisiltä.[5][6] Rossi teki vastaavanlaisen aloitteen myös 2009.[7]
1Susanna Haapoja kuoli 30. toukokuuta 2009, hänen tilalleen eduskuntaan nousi Lasse Hautala.
2Matti Vanhanen luopui kansanedustajuudesta ja siirtyi Perheyritysten liiton toimitusjohtajaksi 2010. Hänen tilalleen eduskuntaan nousi Seppo Särkiniemi.
2Markku Uusipaavalniemi erosi keskustan eduskuntaryhmästä 2010 ja liittyi perussuomalaisiin.
1Mari Kiviniemi valittiin OECD:n apulaispääsihteeriksi heinäkuussa 2014, jolloin hänen tilalleen eduskuntaan nousi Terhi Peltokorpi.
2Laila Koskela erosi perussuomalaisista marraskuussa 2014 ja liittyi keskustan eduskuntaryhmään.
1 Paavo Väyrynen päätti jatkaa Euroopan parlamentissa, jolloin hänen tilalleen eduskuntaan nousi Mikko Kärnä. Väyrynen palasi eduskuntaan 2018, mutta ei liittynyt keskustan eduskuntaryhmään. 2 Olli Rehn siirtyi Suomen Pankin johtokuntaan, jolloin hänen tilalleen eduskuntaan nousi Paula Lehtomäki. Lehtomäki päätti kuitenkin jatkaa valtiosihteerinä, jolloin hänen tilalleen nousi Pekka Puska. 3 Elsi Katainen siirtyi Euroopan parlamenttiin, jolloin hänen tilalleen eduskuntaan nousi Eero Reijonen. 4 Mirja Vehkaperä siirtyi Euroopan parlamenttiin, jolloin hänen tilalleen eduskuntaan nousi Eija Nivala. Nivala kuitenkin valittiin Ylivieskan kirkkoherraksi, jolloin hänen tilalleen nousi Hanna-Leena Mattila.