Для изменения разрешения экрана есть специальная функция WIN32 API с именем ChangeDisplaySettings в неё необходимо передать указатель на структуру типа DEVMODE, где указывается желаемое разрешение. Естественно, что Ваш монитор и видеокарта должны это разрешение поддерживать.

// Screen.cpp : Defines the entry point for the console application.
//

#include "stdafx.h"
#include "windows.h"

void main()
{
	DEVMODE dm;
	memset(&dm,0,sizeof(DEVMODE));
	dm.dmSize=sizeof(DEVMODE);
	dm.dmPelsWidth=800;
	dm.dmPelsHeight=600;
	dm.dmFields=DM_BITSPERPEL|DM_PELSWIDTH|DM_PELSHEIGHT|DM_DISPLAYFREQUENCY;
	ChangeDisplaySettings(&dm,CDS_UPDATEREGISTRY);
}