none
vCPU load 100% 2012R2 RRS feed

  • Общие обсуждения

  • Здравствуйте. Прошу помощи.

    Имеем

    Windows server 2012R2 Standart - гость на облаке на базе Hyper-V 2012R2 (публичное облако сервис-провайдера). На узлах виртуализации используются процессоры Intel Xeon E5-2643 3,4 GHz

    Обновления гостя Windows установлены все доступные.

    Роли DNS, AD, RDS + используется для 3х слойного приложения 1С:Предприятие 8 с MS SQL 2014. 10% RemoteApp, 90 full desktop.

    Также на сервере установлен КриптоПро CSP 4 серверная версия и агент Acronis Cloud.

    Групповыми политиками запуск чего либо кроме 1С и криптопро пользователям запрещён (белый список).

    Выделенные ресурсы: 24 vCPU, 48 RAM.

    Загрузка каждого vCPU  <20% в течение дня. ОЗУ ~70%.

    Операции обслуживания в течение дня: разностная резервная копия БД SQL в 13.00. Выполняется успешно за 10 минут. Больше  никаких бэкапов/сжатий, обновлений в течение дня не происходит.

    Проблема

    Неожиданно возникает 100% загрузка всех vCPU сервера, что приводит к остановке работы. Проблема проявляется 2 дня подряд. В 15 11.09 и в 17 часов 12.09. Разово проблема проявлялась 25.07 в 16 часов.

    Помогает перезагрузка средствами гипервизора. При повторной загрузке может продолжить "тормозить". Но со второй, 3й перезагрузки начинает работать нормально.

    Диагностика

    На сервере идёт непрерывный сбор счетчиками производительности.

    Графики

    Так выглядит график за 11е число. Голубое это CPU Total.



    Вот такие графики предоставил провайдер 11е число



    Если смотреть  график по всем запущенным процессам, то 11го числа в топе svchost#3, system, 1cv8c#22, spoolsv

    А вот данные за 25.07 и 12.09 ОС не собрала. Сбор обрывается видимо в начале проблемы.

    Диспетчер задач

    12.09 я почти поймал момент.


    В моём понимании "топовые" процессы потребляют по 2-3% от общего количества vCPU т.е. примерно 0,4-0,6 vCPU?

    Я понимаю если бы проблема была в 1С клиенте/сервере, но в данном случае тут потребляет ресурсы копии в основном explorer.exe.


    Журнал

    Журнал системы:


    Судя по сборщикам проблема в 15.06 уже была во всю. При этом с 14:58 до 15:10 идут сообщения о состояниях службы и всё запущена/остановлена. В 15.14 начинаются сообщиения по коду 7011 "Превышение времени ожидания (30000 мс) при ожидании ответа транзакции от службы "SystemEventsBroker"/"UmRdpService"/"BrokerInfrastructure" и т.д, но мне кажется, что это уже следствие загрузки ЦПУ.

    На следующий день ситуация аналогичная.  в 17.15 уже сервер пошёл в отказ от обслуживания.

    До этого идут последовательно:

    Превышение времени ожидания (30000 мс) при ожидании ответа транзакции от службы "UmRdpService".

    Ошибка при обработке групповой политики. Windows не удалось выполнить поиск в иерархии подразделений организации в Active Directory. Дополнительная информация содержится в подробном описании события.

    Ошибки приложений на указанное время:

    12.09

    Вход был неожиданно завершен.

    Вход был неожиданно завершен.

    Программа Explorer.EXE версии 6.3.9600.18231 прекратила взаимодействие с Windows и была закрыта. Чтобы узнать, имеются ли дополнительные сведения о проблеме, проверьте историю проблемы в Центре поддержки в панели управления.

    По конкетно Explorer exe:

    Version=1
    EventType=AppHangB1
    EventTime=131496985351259670
    ReportType=3
    Consent=1
    UploadTime=131497029047045802
    ReportFlags=524288
    ReportIdentifier=e3a8fa91-97c2-11e7-811b-001dd8b75f1d
    IntegratorReportIdentifier=e3a8fa92-97c2-11e7-811b-001dd8b75f1d
    NsAppName=explorer.exe
    Response.BucketId=149dfeb2e23686f8cfcf605d59d6b897
    Response.BucketTable=5
    Response.LegacyBucketId=129080050074
    Response.type=4
    Sig[0].Name=Имя приложения
    Sig[0].Value=explorer.exe
    Sig[1].Name=Версия приложения
    Sig[1].Value=6.3.9600.18231
    Sig[2].Name=Отметка времени приложения
    Sig[2].Value=56b8c9f1
    Sig[3].Name=Сигнатура зависания
    Sig[3].Value=f0b4
    Sig[4].Name=Тип зависания
    Sig[4].Value=134217728
    DynamicSig[1].Name=Версия ОС
    DynamicSig[1].Value=6.3.9600.2.0.0.16.7
    DynamicSig[2].Name=Код языка
    DynamicSig[2].Value=1049
    DynamicSig[22].Name=Доп. сигнатура зависания 1
    DynamicSig[22].Value=f0b4e87655a79788362946e736cfceca
    DynamicSig[23].Name=Доп. сигнатура зависания 2
    DynamicSig[23].Value=16dd
    DynamicSig[24].Name=Доп. сигнатура зависания 3
    DynamicSig[24].Value=16dd69a262f6f1fe22d9dc2f985515d1
    DynamicSig[25].Name=Доп. сигнатура зависания 4
    DynamicSig[25].Value=f0b4
    DynamicSig[26].Name=Доп. сигнатура зависания 5
    DynamicSig[26].Value=f0b4e87655a79788362946e736cfceca
    DynamicSig[27].Name=Доп. сигнатура зависания 6
    DynamicSig[27].Value=16dd
    DynamicSig[28].Name=Доп. сигнатура зависания 7
    DynamicSig[28].Value=16dd69a262f6f1fe22d9dc2f985515d1
    UI[3]=Проводник не отвечает
    UI[4]=При перезапуске или закрытии не отвечающей программы может быть потеряна несохраненная информация.
    UI[5]=Перезапустить программу
    UI[6]=Перезапустить программу
    LoadedModule[0]=C:\Windows\Explorer.EXE
    LoadedModule[1]=C:\Windows\SYSTEM32\ntdll.dll
    LoadedModule[2]=C:\Windows\system32\KERNEL32.DLL
    LoadedModule[3]=C:\Windows\system32\KERNELBASE.dll
    LoadedModule[4]=C:\Windows\system32\apphelp.dll
    LoadedModule[5]=C:\Windows\system32\msvcrt.dll
    LoadedModule[6]=C:\Windows\system32\OLEAUT32.dll
    LoadedModule[7]=C:\Windows\SYSTEM32\combase.dll
    LoadedModule[8]=C:\Windows\SYSTEM32\powrprof.dll
    LoadedModule[9]=C:\Windows\SYSTEM32\USERENV.dll
    LoadedModule[10]=C:\Windows\SYSTEM32\advapi32.dll
    LoadedModule[11]=C:\Windows\system32\USER32.dll
    LoadedModule[12]=C:\Windows\system32\GDI32.dll
    LoadedModule[13]=C:\Windows\SYSTEM32\SHCORE.dll
    LoadedModule[14]=C:\Windows\system32\SHLWAPI.dll
    LoadedModule[15]=C:\Windows\system32\SHELL32.dll
    LoadedModule[16]=C:\Windows\SYSTEM32\UxTheme.dll
    LoadedModule[17]=C:\Windows\SYSTEM32\dwmapi.dll
    LoadedModule[18]=C:\Windows\SYSTEM32\DUser.dll
    LoadedModule[19]=C:\Windows\SYSTEM32\DUI70.dll
    LoadedModule[20]=C:\Windows\SYSTEM32\TWINAPI.dll
    LoadedModule[21]=C:\Windows\SYSTEM32\d3d11.dll
    LoadedModule[22]=C:\Windows\SYSTEM32\dcomp.dll
    LoadedModule[23]=C:\Windows\system32\SspiCli.dll
    LoadedModule[24]=C:\Windows\SYSTEM32\sechost.dll
    LoadedModule[25]=C:\Windows\SYSTEM32\PROPSYS.dll
    LoadedModule[26]=C:\Windows\system32\RPCRT4.dll
    LoadedModule[27]=C:\Windows\SYSTEM32\SLC.dll
    LoadedModule[28]=C:\Windows\SYSTEM32\profapi.dll
    LoadedModule[29]=C:\Windows\SYSTEM32\dxgi.dll
    LoadedModule[30]=C:\Windows\SYSTEM32\sppc.dll
    LoadedModule[31]=C:\Windows\system32\IMM32.DLL
    LoadedModule[32]=C:\Windows\system32\MSCTF.dll
    LoadedModule[33]=C:\Windows\SYSTEM32\kernel.appcore.dll
    LoadedModule[34]=C:\Windows\SYSTEM32\CRYPTBASE.dll
    LoadedModule[35]=C:\Windows\SYSTEM32\bcryptPrimitives.dll
    LoadedModule[36]=C:\Windows\system32\ole32.dll
    LoadedModule[37]=C:\Windows\SYSTEM32\clbcatq.dll
    LoadedModule[38]=C:\Windows\SYSTEM32\WINSTA.dll
    LoadedModule[39]=C:\Windows\SYSTEM32\Bcp47Langs.dll
    LoadedModule[40]=C:\Windows\WinSxS\amd64_microsoft.windows.common-controls_6595b64144ccf1df_6.0.9600.18006_none_623f33d3ecbe86e8\Comctl32.dll
    LoadedModule[41]=C:\Windows\SYSTEM32\wkscli.dll
    LoadedModule[42]=C:\Windows\SYSTEM32\netutils.dll
    LoadedModule[43]=C:\Windows\SYSTEM32\SndVolSSO.DLL
    LoadedModule[44]=C:\Windows\SYSTEM32\HID.DLL
    LoadedModule[45]=C:\Windows\System32\MMDevApi.dll
    LoadedModule[46]=C:\Windows\System32\DEVOBJ.dll
    LoadedModule[47]=C:\Windows\SYSTEM32\cfgmgr32.dll
    LoadedModule[48]=C:\Windows\System32\Windows.UI.Immersive.dll
    LoadedModule[49]=C:\Windows\SYSTEM32\OLEACC.dll
    LoadedModule[50]=C:\Windows\SYSTEM32\D3D10Warp.dll
    LoadedModule[51]=C:\Windows\system32\twinui.dll
    LoadedModule[52]=C:\Windows\SYSTEM32\twinapi.appcore.dll
    LoadedModule[53]=C:\Windows\system32\XmlLite.dll
    LoadedModule[54]=C:\Windows\SYSTEM32\ntmarta.dll
    LoadedModule[55]=C:\Windows\SYSTEM32\CRYPTSP.dll
    LoadedModule[56]=C:\Program Files\Common Files\Crypto Pro\AppCompat\cpadvai.dll
    LoadedModule[57]=C:\Windows\system32\CRYPT32.dll
    LoadedModule[58]=C:\Windows\system32\MSASN1.dll
    LoadedModule[59]=C:\Program Files\Common Files\Crypto Pro\AppCompat\cpcrypt.dll
    LoadedModule[60]=C:\Windows\system32\PSAPI.DLL
    LoadedModule[61]=C:\Program Files\Common Files\Crypto Pro\AppCompat\detoured.dll
    LoadedModule[62]=C:\Windows\system32\rsaenh.dll
    LoadedModule[63]=C:\Windows\SYSTEM32\bcrypt.dll
    LoadedModule[64]=C:\Windows\System32\actxprxy.dll
    LoadedModule[65]=C:\Windows\system32\windowscodecs.dll
    LoadedModule[66]=C:\Windows\system32\explorerframe.dll
    LoadedModule[67]=C:\Windows\System32\windows.immersiveshell.serviceprovider.dll
    LoadedModule[68]=C:\Windows\SYSTEM32\WLDP.DLL
    LoadedModule[69]=C:\Windows\SYSTEM32\WTSAPI32.dll
    LoadedModule[70]=C:\Windows\SYSTEM32\PhotoMetadataHandler.dll
    LoadedModule[71]=C:\Windows\System32\twinui.appcore.dll
    LoadedModule[72]=C:\Windows\System32\wpncore.dll
    LoadedModule[73]=C:\Windows\system32\dwrite.dll
    LoadedModule[74]=C:\Windows\System32\UIAnimation.dll
    LoadedModule[75]=C:\Windows\System32\logoncli.dll
    LoadedModule[76]=C:\Windows\system32\WLDAP32.dll
    LoadedModule[77]=C:\Windows\system32\WS2_32.DLL
    LoadedModule[78]=C:\Windows\system32\NSI.dll
    LoadedModule[79]=C:\Windows\system32\mswsock.dll
    LoadedModule[80]=C:\Windows\System32\DNSAPI.dll
    LoadedModule[81]=C:\Windows\System32\IPHLPAPI.DLL
    LoadedModule[82]=C:\Windows\System32\WINNSI.DLL
    LoadedModule[83]=C:\Windows\System32\rasadhlp.dll
    LoadedModule[84]=C:\Windows\System32\fwpuclnt.dll
    LoadedModule[85]=C:\Windows\System32\thumbcache.dll
    LoadedModule[86]=C:\Windows\System32\StructuredQuery.dll
    LoadedModule[87]=C:\Windows\System32\Windows.Networking.Connectivity.dll
    LoadedModule[88]=C:\Windows\System32\InputSwitch.dll
    LoadedModule[89]=C:\Windows\system32\SearchFolder.dll
    LoadedModule[90]=C:\Windows\system32\DSPARSE.dll
    LoadedModule[91]=C:\Windows\system32\msv1_0.DLL
    LoadedModule[92]=C:\Windows\SYSTEM32\cryptdll.dll
    LoadedModule[93]=C:\Windows\system32\elscore.dll
    LoadedModule[94]=C:\Windows\system32\ElsLad.dll
    LoadedModule[95]=C:\Windows\system32\urlmon.dll
    LoadedModule[96]=C:\Windows\system32\iertutil.dll
    LoadedModule[97]=C:\Windows\system32\WININET.dll
    LoadedModule[98]=C:\Program Files\Common Files\Crypto Pro\AppCompat\cpwinet.dll
    LoadedModule[99]=C:\Windows\System32\MrmCoreR.dll
    LoadedModule[100]=C:\Windows\System32\Windows.UI.dll
    LoadedModule[101]=C:\Windows\System32\NInput.dll
    LoadedModule[102]=C:\Windows\system32\windows.globalization.fontgroups.dll
    LoadedModule[103]=C:\Windows\system32\stobject.dll
    LoadedModule[104]=C:\Windows\system32\BatMeter.dll
    LoadedModule[105]=C:\Windows\SYSTEM32\MsftEdit.dll
    LoadedModule[106]=C:\Windows\SYSTEM32\MSIMG32.dll
    LoadedModule[107]=C:\Windows\System32\Windows.Globalization.dll
    LoadedModule[108]=C:\Windows\SYSTEM32\globinputhost.dll
    LoadedModule[109]=C:\Program Files\Common Files\microsoft shared\ink\tiptsf.dll
    LoadedModule[110]=C:\Windows\SYSTEM32\Secur32.dll
    LoadedModule[111]=C:\Windows\SYSTEM32\sxs.dll
    LoadedModule[112]=C:\Windows\system32\prnfldr.dll
    LoadedModule[113]=C:\Windows\system32\WINSPOOL.DRV
    LoadedModule[114]=C:\Windows\system32\wevtapi.dll
    LoadedModule[115]=C:\Windows\system32\dxp.dll
    LoadedModule[116]=C:\Windows\WinSxS\amd64_microsoft.windows.gdiplus_6595b64144ccf1df_1.1.9600.18696_none_9333287b4748e6ab\gdiplus.dll
    LoadedModule[117]=C:\Windows\system32\SETUPAPI.dll
    LoadedModule[118]=C:\Windows\system32\SHDOCVW.dll
    LoadedModule[119]=C:\Windows\SYSTEM32\atlthunk.dll
    LoadedModule[120]=C:\Windows\system32\Syncreg.dll
    LoadedModule[121]=C:\Windows\System32\Actioncenter.dll
    LoadedModule[122]=C:\Windows\System32\AltTab.dll
    LoadedModule[123]=C:\Windows\system32\authui.dll
    LoadedModule[124]=C:\Windows\system32\wpdshserviceobj.dll
    LoadedModule[125]=C:\Windows\System32\PortableDeviceTypes.dll
    LoadedModule[126]=C:\Windows\SYSTEM32\ntshrui.dll
    LoadedModule[127]=C:\Windows\SYSTEM32\srvcli.dll
    LoadedModule[128]=C:\Windows\SYSTEM32\cscapi.dll
    LoadedModule[129]=C:\Windows\System32\PortableDeviceApi.dll
    LoadedModule[130]=C:\Windows\System32\cscui.dll
    LoadedModule[131]=C:\Windows\System32\CSCDLL.dll
    LoadedModule[132]=C:\Windows\system32\WINTRUST.dll
    LoadedModule[133]=C:\Program Files\Windows Portable Devices\SqmApi.dll
    LoadedModule[134]=C:\Windows\System32\cscobj.dll
    LoadedModule[135]=C:\Windows\System32\pnidui.dll
    LoadedModule[136]=C:\Windows\System32\taskschd.dll
    LoadedModule[137]=C:\Windows\SYSTEM32\LINKINFO.dll
    LoadedModule[138]=C:\Windows\system32\NetworkStatus.dll
    LoadedModule[139]=C:\Windows\System32\dhcpcsvc6.DLL
    LoadedModule[140]=C:\Windows\System32\dhcpcsvc.DLL
    LoadedModule[141]=C:\Windows\System32\SyncCenter.dll
    LoadedModule[142]=C:\Windows\System32\imapi2.dll
    LoadedModule[143]=C:\Windows\System32\netprofm.dll
    LoadedModule[144]=C:\Windows\System32\hgcpl.dll
    LoadedModule[145]=C:\Windows\system32\Windows.UI.Search.dll
    LoadedModule[146]=C:\Windows\system32\wincorlib.DLL
    LoadedModule[147]=C:\Windows\system32\WSClient.dll
    LoadedModule[148]=C:\Windows\system32\UIAutomationCore.DLL
    LoadedModule[149]=C:\Windows\system32\WSShared.dll
    LoadedModule[150]=C:\Windows\system32\WSSync.dll
    LoadedModule[151]=C:\Windows\system32\wer.dll
    LoadedModule[152]=C:\Windows\System32\npmproxy.dll
    LoadedModule[153]=C:\Windows\System32\Windows.UI.Xaml.dll
    LoadedModule[154]=C:\Windows\SYSTEM32\wintypes.dll
    State[0].Key=Transport.DoneStage1
    State[0].Value=1
    FriendlyEventName=Не отвечает и была закрыта
    ConsentKey=AppHangXProcB1
    AppName=Проводник
    AppPath=C:\Windows\explorer.exe
    ReportDescription=Ошибка привела к остановке взаимодействия программы с Windows.
    NsPartner=windows
    NsGroup=windows8
    ApplicationIdentity=9424BA6F988C31180DE19B7ABAC4FCF4



    11.09

    Version=1
    EventType=WindowsStoreAcquisitionFailureV2 - ошибка приобретения? Вроде всё активировано.
    EventTime=131496050222237026
    Consent=2
    UploadTime=131496766961111380
    ReportIdentifier=34c6a676-96e9-11e7-8119-001dd8b75f1d
    Response.BucketId=8e7a90bdcb02eb76d28be1c6dfb76aee
    Response.BucketTable=5
    Response.LegacyBucketId=124565816085
    Response.type=4
    Sig[0].Name=BuildNumber
    Sig[0].Value=9600
    Sig[1].Name=ClientUIVersion
    Sig[1].Value=788
    Sig[2].Name=PageVersion
    Sig[2].Value=115
    Sig[3].Name=QFEVersion
    Sig[3].Value=2
    Sig[4].Name=Country
    Sig[4].Value=RU
    Sig[5].Name=ChromeLocale
    Sig[5].Value=en-US
    Sig[6].Name=SubScenarioID
    Sig[6].Value=105
    Sig[7].Name=ErrorCode
    Sig[7].Value=-2147023579
    Sig[8].Name=ExtraParam
    Sig[8].Value=63847313-787d-48bb-b9e3-00e94492339d
    Sig[9].Name=FlightId
    Sig[9].Value=0
    DynamicSig[1].Name=Версия ОС
    DynamicSig[1].Value=6.3.9600.2.0.0.16.7
    DynamicSig[2].Name=Код языка
    DynamicSig[2].Value=1049
    State[0].Key=Transport.DoneStage1
    State[0].Value=1
    FriendlyEventName=WindowsStoreAcquisitionFailureV2
    ConsentKey=WindowsStoreAcquisitionFailureV2
    AppName=Store Broker
    AppPath=C:\Windows\WinStore\WSHost.exe
    ApplicationIdentity=00000000000000000000000000000000

    Итог

    Не понимаю в какую сторону и как копать. Потому, что конкретно explorer.exe не кажется причиной, мне видится, что это следствие.





    13 сентября 2017 г. 8:24

Все ответы

  • Сегодня опять. В этот раз в топе были процессы taskhost, потом explorer.

    13 сентября 2017 г. 11:50
  • Облачный провайдер предлагает перевести для этой ВМ vRAM из динамической в статическую:

    "Это приводит к снижению производительности ВМ. Для решения необходимо сменить тип vRAM с динамической на статическую. "

    "В данном случае критически большой оказывается именно очередь к  процессору, а перевод памяти в статический режим должен решить данную проблему."

    13 сентября 2017 г. 13:30
  • И.... это абсолбтно правильная рекомендация, если Вы знаете что 48 хватит- делайте статическую память. Смысл в динамике-то какой, если Вы только не хотите впихнуть как можно больше машин на хост.
    13 сентября 2017 г. 13:33
  • Согласен. Только тип памяти контролирует провайдер. Мне не видно, что творится на хосте. Поэтому и сложнее судить где косяк.

    Тип памяти может повлиять на загрузку vCPU?

    13 сентября 2017 г. 13:36
  • Пусть контролирует, мы-то ему помогать не будем в этом. :) Раз приняли решение поменять ,пусть меняют. Нет данных, как нума узлы на этом хосте живут, опять же. А вот тут собака и кроется по-видимому.

    Может. Интересен правда больше CPU Ready с этого хоста чем данные vCPU.

    13 сентября 2017 г. 13:51
  • Разъяснили они вот ещё что:

    "К сожалению, это недостаток работы ВМ с использованием динамического распределения памяти. Эта проблема была замечена недавно. Надеемся Майкрософт исправит этот недостаток в одном и будущих обновлений для системы виртуализации.

    Изменение параметров можем выполнить только мы. Для этого потребуется на короткое время выключить ВМ."

    13 сентября 2017 г. 14:15
  • Красиво написано, еще бы попросить сослаться на то, откуда дровишки. А то сомнения берут.

    Посмотрим, уберет ли статика Вашу проблему.

    13 сентября 2017 г. 15:06
  • По-моему статика проблему не убрала. Но проблема не проявлялась на этой неделе.

    Провайдер перенес несколько раз ВМ на другой хост.

    Подозреваю что хосты были перегружены, так как выделяемые у них ресурсы CPU не гарантированны. Другого объяснения пока нет.

    21 сентября 2017 г. 8:35
  • О чем я и сказал. Слишком отмазка была написана в духе мы надеемся, и во всем виноват проклятый Майкрософт. А мы белые и пушистые.

    Провайдер перенес несколько раз ВМ на другой хост.

    Не факт что поможет, опять время нужно чтобы выяснить. И не появятся ли "шумные соседи".

    21 сентября 2017 г. 9:01