Grupas “Dzeltenie pastnieki” darbība aizsākās tālajā 1981. gadā, kad tapa pirmais pastnieku albums "Bolderājas dzelzceļš".
Lai arī “Dzeltenie pastnieki” jau grupas pirmsākumos Latvijā kļuva par kulta grupu, ziņas par šo apvienību sākotnēji neizplatījās ne ar radio, ne televīzijas palīdzību, jo tur grupas mūzika pārraidīta netika. “Dzeltenie pastnieki” līdz 80. gadu otrajai pusei nesniedza pat koncertus un darbojās tikai kā mājas studijas grupa, savus ierakstus montējot, griežot un līmējot lenti no dažādiem labāk sanākušajiem dziesmu fragmentiem.
“Dzelteno pastnieku” ieraksti ilgi netika oficiāli izdoti un izplatījās pašplūsmā, interesentiem citam no cita tos pārrakstot ar lenšu un kasešu magnetofoniem. Oficiālus izdevumus visi klasiskie grupas albumi piedzīvojuši tikai pēc tam, kad grupas līderis Ingus Baušķenieks nodibināja savu mūzikas ierakstu izdevniecību.
Publiska uzstāšanās "Dzeltenajiem Pastniekiem" kļuva iespējama vien tad, kad 80. gadu otrajā pusē Padomju savienībā tika izsludināta "pārkārtošanās" politika, un kultūras nozares kontrole atslāba. 1986. gadā viņi piedalījās festiālā "Bildes", savukārt 1987. gadā kāpa uz festivāla "Liepājas dzintars" skatuves.
Grupa izdevusi studijas albumus “Bolderājas dzelzceļš” (1981), “Man ļoti patīk jaunais vilnis” (1982), “Alise” un “Vienmēr klusi” (1984), “Depresīvā pilsēta” (1986), “Naktis” (1987) un “Kaķis” (2003). 2017. gadā ASV mūzikas izdevniecība “Dark Entries” izdeva grupas 80. gadu dziesmu izlasi “Lentu gabaliņi”.
2018.gadā pie klausītājiem nonāca grupas jaunais albums “Nepieklājīgā meitene”, kas pieejams vinila plates un digitālo failu formātā. Albumā iekļautas astoņdesmito gadu pirmās puses instrumentālās sagataves un tā paša laika Jura Boiko un Hardija Lediņa teksti, kas līdz galam noslīpēti mūsdienās.
“Dzeltenie pastnieki” tiek uzskatīta par regeja un “new wave” žanra pionieri visā bijušajā Padomju Savienībā.
