Попробуйте процитировать mysqlinstanceconfig.exe
имя файла, например так:
ExecWait 'msiexec /i "$INSTDIR\mysql-essential-5.0.27-win32.msi" /qn' ExecWait "$\"C:\Program Files\MySQL\MySQL Server 5.0\bin\mysqlinstanceconfig.exe$\" -i -q ServiceName=MySQL RootPassword=root ServerType=DEVELOPMENT DatabaseType=MYISAM Port=3306 RootCurrentPassword=root"
Причина в том, что у вас есть пробелы в пути к имени исполняемого файла. Этот путь должен быть заключен в кавычки, чтобы он мог образовать единый путь.