В Windows прежде чем создавать окно его нужно зарегистрировать. Именно регистрацию класса окна и производит функция RegisterClass():

ATOM RegisterClass
(
	CONST WNDCLASS *lpWndClass // указатель на структуру с данными класса
);

lpWndClass - это ссылка на структуру WNDCLASS смотри "Подробности - Структура WNDCLASS". Эта структура описывает основные характеристики окна. После регистрации класса можно вызывать функцию CreateWindow(). При успешной регистрации возвращается ненулевое значение, иначе возвращается ноль. Стандарный пример кода можно привести такой:

WNDCLASS wcx; 
wcx.cbSize = sizeof(wcx); 
wcx.style = CS_HREDRAW | CS_VREDRAW; 
wcx.lpfnWndProc = MainWndProc; 
......
RegisterClass(&wcx); 

В этом коде создается и заполняется структура окна, которая потом передается в функцию регистрации.