Родился в селе Панфилово Иртышского района Павлодарской области Казахской ССР в семье этнических немцев, которые в 1941 году были высланы c Донбасса.

В 1982—1984 годах проходил службу в Вооружённых Силах СССР, в частях спецназа внутренних войск МВД СССР, дислоцированных в городе Чапаевске Куйбышевской области, в/ч 3434.


1990 — окончил юридический факультет Омского государственного университета по специальности «правоведение» и оставлен как преподаватель юридического факультета Омского государственного университета.

1991 — юрисконсульт Комитета экономического развития и имущества администрации Петродворца (Санкт-Петербург).

1992 — начальник Петродворцового районного агентства Комитета по управлению имуществом администрации города Санкт-Петербурга. Председатель Комитета по управлению имуществом — заместитель главы администрации Петродворцового района Санкт-Петербурга.

1994 — заместитель председателя — директор Департамента недвижимого имущества, первый заместитель председателя Комитета по управлению городским имуществом администрации (КУГИ) Санкт-Петербурга.

1997 — вице-губернатор, председатель Комитета по управлению городским имуществом администрации (КУГИ) Санкт-Петербурга, член совета директоров ОАО «Ленэнерго».

1998 — вошел в состав совета директоров компании «Морской порт Санкт-Петербурга» и в совет директоров компании «Петербург — 5-й канал».

1998 — член коллегии Министерства государственного имущества Российской Федерации. Первый заместитель Министра государственного имущества Российской Федерации.

1999 — член коллегии Федеральной комиссии по рынку ценных бумаг, руководитель «Центра стратегических разработок».

C 2000 по 2007 – работа в Правительстве РФ.

С октября 2007 года по настоящее время Греф — Председатель правления Сбербанка России.