U vrijeme javne rasprave o Budakovom spomen obilježju u Svetom Roku, mjestu njegovog rođenja, dvojica akademika, Dubravko Jelčić i Josip Pečarić, napisali su apel protiv »hajke na Budaka«, a svojim ga je potpisom podržalo niz znanstvenika i drugih poznatih javnih osoba. U tom su apelu iznijeli argumente u prilog tezi da je čovjek kojeg su komunisti osudili kao ratnog zločinca i objesili ga, ipak zaslužio bolji tretman i obnovu procesa. Branili su Budaka da, kao ministar bogoštovlja i nastave u NDH, nije bio inicijator rasnih zakona, donijetih pod pritiskom Nijemaca, nego da je »zavlačio koliko je god mogao njihovu primjenu, štiteći tako Srbe i Židove profesore zagrabačkog sveučilišta«. Akademici priznaju da je Budak izgovorio u Varaždinu rečenicu »Srbe na vrbe«, ali tvrde da mu je »izletjela« i da je to, uostalom, prvi još 1914. godine izrekao Slovenac Marko Natlačen. Samo suđenje Budaku nakon Drugog svjetskog rata, smatraju njegovi zagovornici, nije bilo korektno jer je trajalo svega nekoliko sati, bez branitelja i svjedoka obrane.

Od svih poglavarstva tih jedinica lokalne samouprave, te općine Čačinci na čijem je teritoriju ulica posvećena danu osnivanja NDH, Ministarstvo uprave zatražilo je odluke predstavničkih tijela o imenovanju spomenutih ulica kako bi se utvrdilo jesu li te odluke u skladu s Ustavom i zakonima. Pritom se u Ministarstvu pozivaju i na Vladu Ive Sanadera koja je 26. kolovoza 2004. godine donijela odluku o uklanjanju spomen obilježja Juri Francetiću u Slunju i Mili Budaku u Svetom Roku, općina Lovinac.

U tom se dokumentu ističe da je njihovo postavljanje bilo »suprotno izvorišnim osnovama Ustava Republike Hrvatske te nanosi štetu ugledu i interesima Republike Hrvatske«. Nadležna ministarstva odmah su postupila po toj odluci i u Svetom Roku je maknuto obilježje koje su financirali hrvatski iseljenici.

– Ako spomenik nije bio u skladu s Ustavom, onda nisu niti ulice koje nose Budakovo ime. Ali, u konačnici će o tome odlučiti sud. Mi možemo samo obustaviti izvršenje odluke o imenovanju ulice i poslati je na sud da utvrdi je li ona bila u skladu s Ustavom i zakonima, rekao nam je Bauk.

Ministar uprave podsjeća i na izjave najviših dužnosnika HDZ-ove vlasti 2004. koji su redom tvrdili da je nužno ukloniti spomen na Budaka. Tako je, primjerice, tadašnji predsjednik Sabora Vladimir Šeks objašnjavao da je Hrvatska utemeljena na tradicijama antifašizma i da se stoga ne može tolerirati bilo kaka obilježja pripadnicima pokreta i stranaka koje su u Drugom svjetskom ratu bili na strani NDH i fašizma. Ubrzo nakon akcija u Svetom Roku i Slunju, uslijedila su micanja Budakovog imena iz ulica u nekoliko hrvatskih gradova. Do kraja godine gradska vijeća u Gospiću, Kninu i Zadru, sva tri s HDZ-ovom većinom, ukinula su ulicu Mile Budaka. Recimo u Gospiću je ona preimenovana u Ulicu hrvatskih književnika. Budak je još ranije nestao iz nekih drugih gradova, primjerice, Splita, kao i iz Zagreba gdje je jedan mjesni odbor nosio njegovo ime. No, u deset navedenih mjesta, Budak se uspio održati. Premda je bilo inicijativa za promjenu naziva tih ulica. Udruga za promicanje lokalne uprave i samouprave (PULS) zatražila je u rujnu 2011. da se iz Slavonskog Broda ukloni Ulica dr. Mile Budaka. Ali, gradsko vijeće je, i glasovima vijećnika HNS-a i HSU-a, to odbilo uz obrazloženje da bi se time napravili veliki materijalni troškovi.