В первых числах сентября 1871 г. А. К. Алчевский открыл в Харькове Земельный банк, учредителями которого стали профессор-экономист И. В. Вернадский, землевладелец А. Ф. Бантыш, купец 1-й гильдии Ф. И. Добрынин и другие состоятельные люди города и губернии. Земельный стал первым и некоторое время единственным в тогдашней России банком ипотечного кредита — он ссужал деньги под залог земли, а также сельской или городской недвижимости. Основной его особенностью была долгосрочность кредита. Кроме того, закладное имущество оставалось в руках должника, который, уплачивая проценты или погашая долг, продолжал эксплуатировать это имущество.
Земельный банк нанес сокрушительный удар по ростовщикам, выдавая кредиты всего лишь под 7,5 % годовых, «считая в том числе и амортизацию долга». Поэтому и потянулись за помощью в Харьков многие тысячи земледельцев не только Слобожанщины и Войска Донского, но и Курской, Черниговской и других губерний Российской империи. Примеру Алчевского вскоре последовали другие финансисты — через полтора года после открытия этого банка в стране возникло 11 таких же финансовых учреждений. Алексей Кириллович стал видным банковским авторитетом, с которым часто общались министры финансов тех лет — Н. X. Бунге, И. А. Вышнеградский, С. Ю. Витте.
В середине 1870-х гг. он стал богатым человеком, состояние которого оценивалось в 3-4 млн рублей. Любой другой человек, добившись таких успехов в бизнесе мог спокойно остановиться на достигнутом, но только не Алчевский. Приняв попутно деятельное участие в основании еще двух харьковских банков — Общества взаимного кредита приказчиков и Общества взаимного кредита горнопромышленников юга России, предприниматель энергично взялся за новые дела, на этот раз производственного характера.
Зная о том, что французские капиталисты потеряли на разведке угля в Кураховке 25 млн франков, он не побоялся вложить средства в создание угледобывающей промышленности Донбасса. Сначала в очень скромных размерах, а потом все более увеличивая затраты, Алчевский стал заниматься разведочными работами и разработкой каменного угля в Бахмутском и Славяносербском уездах, а также в области Войска Донского. В 1875 г. он организовал акционерное Алексеевское горнопромышленное общество, целью которого была разработка угольных залежей на землях, находящихся близ только что построенной ветки Луганск — Дебальцево Екатерининской железной дороги. Здесь когда-то были поместья И. И. Гладкова, И. Н. Жилло, братьев Родаковых, князя А. С. Долгорукова. Заложенные в Харьковский земельный банк, через год они были выкуплены Алексеевским обществом, то есть А. К. Алчевским.
Скромное «дело» с ничтожной производительностью в 700 тыс. пудов в год ко времени трагической кончины бизнесмена, разрослось в громадное предприятие с шестью миллионами основного капитала и с производительностью до 60 млн пудов угля и кокса в год.
Наступившая в начале 1890-х гг. эра так называемого промышленного пробуждения России, выразившегося в небывалом подъеме металлургической промышленности, застала Алексея Кирилловича в первых рядах организаторов нового производства. В 1895 г. Алчевский с энтузиазмом взялся за совершенно новый для себя проект, ради которого готов был поставить на карту все. Своим близким и единомышленникам он говорил: «Завод металлургический надумал ладить на европейский образец. Донбасс — самое подходящее для такого предприятия место. У меня там помимо капитальных шахт и кокс свой имеется — возле станции Юрьевка, как вы знаете, наши печи работают. К тому же Екатерининская железная дорога, близ которой мы обосновались, позволяет недорого доставлять марганец из Никополя и богатую железом руду из Кривого Рога. Думаю, дело получится хорошее и прибыльное».
Друзья стали было возражать, говоря ему, что в Донбассе уже есть три металлургических завода — Юзовский, Петровский и Дружковский. На что предприниматель парировал: «Во-первых, металлургических заводов не бывает ни много, ни мало, а всегда столько, сколько нужно для нужд экономики. Во-вторых, все перечисленные заводы “сидят на рельсах” — выполняют только правительственные заказы на поставку проката для строительства железных дорог. А в это время рынок исходит криком: дайте частному делу уголок, швеллер, балки и другие изделия так называемого сортового проката! Вот мы и заполним эту нишу, чтобы частная инициатива не глохла, а мощно двигала вперед технический прогресс».