Nam Thanh bắc Nghệ là vùng đất có nhiều tiềm năng về sản xuất vật liệu xây dựng, đặc biệt là sản xuất xi măng. Để khai thác thế mạnh trên địa bàn, đáp ứng nhu cầu xi măng ngày càng cao của sự nghiệp công nghiệp hóa – hiện đại hóa đất nước, tạo việc làm cho nhân dân, tăng nguồn thu ngân sách. Tỉnh ủy, Hội đồng nhân dân, Ủy ban nhân dân tỉnh Nghệ An đã có chủ trương xây dựng một nhà máy xi măng với thiết bị hiện đại, công nghệ tiên tiến, công suất lớn.
Ngày 07 tháng 10 năm 1995 Công ty xi măng Nghệ An (tiền thân của Công ty cổ phần xi măng Hoàng Mai ngày nay) được thành lập. Sau các bước triển khai theo quy định về đầu tư xây dựng, ngày 15 tháng 4 năm 1996, Thủ tướng Chính phủ đã ký quyết định số 216/TTg phê duyệt đầu tư dự án nhà máy xi măng Hoàng Mai – Nghệ An công suất 4.000 tấn clinker/ngày (tương đương 1,4 triệu tấn xi măng/năm).
Sau 32 tháng (từ tháng 6/1999) khởi công xây dựng đồng loạt những hạng mục công trình chính, chạy thử đơn động, liên động với sự hướng dẫn, chuyển giao công nghệ của chuyên gia hãng FCB (Cộng hòa Pháp) và sự giám sát của Tư vấn quốc tế Jurong (Singapo). Ngày 06 tháng 3 năm 2002, ngay từ lần đốt lò đầu tiên, những tấn Clinker chính phẩm đã ra lò, đánh dấu một chặng đường mới trên con đường phát triển của Công ty cổ phần xi măng Hoàng Mai. Là đơn vị đầu tiên trong Tổng Công ty công nghiệp xi măng Việt Nam áp dụng mô hình tiêu thụ sản phẩm qua Nhà phân phối chính, Xi măng Hoàng Mai đã tận dụng được năng lực của xã hội trong tiêu thụ sản phẩm và xác lập lợi ích hài hòa giữa nhà sản xuất và nhà phân phối. Hiện nay, công ty có 33 nhà phân phối chính trên toàn quốc, trong đó có 3 nhà phân phối dự án. Sản phẩm của Công ty không những tham gia xây dựng công trình của các tầng lớp dân cư mà còn tham gia các dự án lớn như: cầu Vĩnh Tuy (Hà Nội), thủy điện Bản Vẽ (Nghệ An), thủy điện Hương Sơn (Hà Tĩnh), Trung tâm hội nghị Quốc gia (Hà Nội), dự án thủy lợi – thủy điện Cửa Đạt (Thanh Hóa), thủy điện Hố Hô (Quảng Bình), thủy điện Buôn Kơup (Đắc Lắc)… Sản lượng tiêu thụ xi măng của Công ty năm sau cao hơn năm trước, trong đó sản lượng tiêu thụ ở những địa bàn có hiệu quả đạt mức tăng trưởng cao.
Từ tháng 8 năm 2004 Công ty đã được Trung tâm chứng nhận phù hợp tiêu chuẩn thuộc Tổng cục tiêu chuẩn đo lường chất lượng cấp Giấy chứng nhận phù hợp tiêu chuẩn ISO 9001 và ISO 14001. Sản phẩm của công ty đã đạt nhiều huy chương vàng tại các Hội chợ, Triển lãm tổ chức tại Hà Nội, Thành phố Vinh, Nha Trang, thành Phố Hồ Chí Minh; Giải thưởng Sao vàng đất Việt năm 2004; giải thưởng chất lượng Việt Nam năm 2004; giải thưởng hàng Việt Nam chất lượng cao do người tiêu dùng bình chọn năm 2005; giải thưởng vàng chất lượng năm 2005 và Bằng khen của Thủ tướng Chính phủ. Với sự phấn đấu bền bỉ trong những năm qua, Công ty xi măng Hoàng Mai đã được Tỉnh ủy, HDND, UBND tỉnh Nghệ An; Bộ Xây dựng, Tổng công ty xi măng Việt Nam tặng nhiều cờ thưởng thi đua.
Ngày 21 tháng 9 năm 2005, Thủ tướng Chính phủ đã ký quyết định số 993/QĐ.TTg tặng bằng khen cho Công ty xi măng Hoàng Mai vì đã có nhiều thành tích trong công tác, góp phần vào sự nghiệp xây dựng Chủ nghĩa xã hội và bảo vệ Tổ quốc. Thực hiện chủ trương của Nhà nước về việc cổ phần hóa các doanh nghiệp nhà nước. Công ty xi măng Hoàng Mai đã thành lập Ban cổ phần hóa phối hợp với Công ty cổ phần chứng khoán Bảo Việt triển khai thực hiện các thủ tục ngay từ đầu năm 2007. Đến tháng quý III/2007 các thủ tục cổ phần hóa hoàn thành, ngày 30/11/2007 Công ty tổ chức bán đấu giá cổ phiếu cho các cổ đông. Ngày 03/3/2008 Công ty tổ tức Đại hội đồng cổ đông lần thứ nhất và thành lập Công ty cổ phần xi măng Hoàng Mai và bầu ra Hội đồng quản trị, Ban kiểm soát Công ty.
Ngày 9 /7/ 2009 Cổ phiếu Xi măng Hoàng Mai (HOM) chính thức niêm yết trên sở giao dịch chứng khoán Hà Nội. Sự kiện này là đánh dấu một mốc quan trọng trong chiến lược phát triển, khẳng định tính minh bạch, uy tín và vị thế của thương hiệu Xi măng Hoàng Mai.