Οι Minsk σχηματίστηκαν σε ένα προάστιο στο Chicago στην πολιτεία Illinois, συγκεκριμένα στην Peoria, περιέχοντας τους Chris Bennett (κιθάρα, φωνητικά), Tim Mead (φωνητικά, πλήκτρα), Brian Barth (τύμπανα), Jared Madigan (μπάσο) και Dustin Addis (κιθάρες). Με την σύνθεση αυτή προχώρησαν στην κυκλοφορία του πρώτου τους demo ''Burning'' το οποίο κυκλοφόρησε στις 17 Οκτωβρίου 2003 μέσω της εταιρείας Lisa Falzone.

To demo αυτό έκανε προφανές ότι οι Minsk θα αποτελούσαν ένα συγκρότημα που αρέσκεται σε πολύ μεγάλες διάρκειες κομματιών, καθώς τα μόλις 4 κομμάτια του είχαν μία διάρκεια κοντά στα 43'. Σύντομα τη θέση του Jared Madigan στο μπάσο πήρε ο Jeff Hyde και τη θέση του Brian Barth στα τύμπανα ο Tony Wyioming. Άλλη μία αλλαγή στη θέση του μπάσου ήρθε με τον ερχομό του Drew McDowell το 2004 και στο τέλος της ίδιας χρονιάς, οι Minsk κυκλοφορούν το άτιτλο (ή για πολλούς ομότιτλο) demo τους, με άλλα 4 κομμάτια και τη διάρκεια να κλειδώνει στα 37'.

Την ίδια χρονιά συμμετέχουν και στην συλλογή ''If It Plays...'' που περιλάμβανε μόνο μπάντες από την περιοχή της Peoria. Το 2005 έμελλε να είναι η καθοριστική τους χρονιά, καθώς στην αρχή κυκλοφόρησε το 3ο τους demo ''Out Of A Center'' με τον Dustin Addis να αποτελεί παρελθόν από το συγκρότημα αργότερα και τους Minsk να ηχογραφούν ως κουαρτέτο, ενώ η τεράστια προσθήκη έγινε με τον Sanford Parker σε μπάσο και φωνή.