Platform Engineer

오늘은 Guest OS의 Disk timeout 설정에 대해서 정리해보고자 합니다.

Windows VM에서 Disk timeout 값이 작게 설정되어 있는 경우에 SAN datastore 를 사용하면 성능에 문제가 있다는 문서가 있습니다. 

Inconsistent Windows virtual machine performance when disks are located on SAN datastores (1014)

https://kb.vmware.com/s/article/1014

Windows VM이 위치한 SAN datastore 에서 오류가 발생해서 Retry, Link down timeout, Failover 등이 발생하는 경우 조치에 걸리는 시간보다 Disk의 Timeout이 길어야 ESXi 레이어에서 Storage에 대한 복구가 될 때 까지 Disk 가 오류가 발생하지 않게 됩니다. 문서에서는 일반적인 60초로 설정을 하도록 하였으나 정확한 값은 각 스토리지 업체의 값을 따라야 하고 Windows VM에서 실행되고 있는 Application의 특성을 따라야 합니다.

좀더 자세히 살벼보면 Windows WDK의 SCSI Miniport Driver 문서에는 Timeout을 설정하지 않을 경우 10초로 설정된다고 되고 Windows 8 (Windows Server 2012) 부터는 Miniport driver에 설정된 timeout 값이 적용됩니다.

https://docs.microsoft.com/en-us/windows-hardware/drivers/storage/registry-entries-for-scsi-miniport-drivers

하지만 아래 Microsoft 에서 나온 블로그 들을 보면 Timeout을 무조건 60 초로 설정하지는 말라고 되어 있습니다. Windows 에서는 Timeout이 발생하면 Storport 드라이버가 8번까지 재시도를 하게 되어 있어 만약 timeout이 60초로 설정되된 경우 최대 8분까지 (60초 x 8회) 재시도를 하는 것이 됩니다. SQL Server 나 Exchange Server와 같이 IO가 중요한 시스템들은 무조건 60초를 설정하기 보다는 Application 특성, 물리/가상머신 여부, Multipath, 스토리지 특성 등을 다 고려해서 적절한 값을 설정하는 것이 중요합니다.

Disk Timeout
https://blogs.technet.microsoft.com/hugofe/2011/09/07/disk-timeout/

Windows Disk Timeouts and Exchange Server 2010
https://blogs.technet.microsoft.com/exchange/2011/11/17/windows-disk-timeouts-and-exchange-server-2010/

Linux Guest OS의 Disk timeout도 설정되어야 합니다. 아래 문서를 보면 Linux Guest OS에서 SAN에서 IO retry, Path failover 등에 시간이 오래 걸려서 file system이 read-only로 설정되거나 Panic이 발생하는 경우가 있어 패치를 적용하고 Disk의 Timeout 값을 180으로 설정해야 합니다. (ESX 4 이후 부터는 VMware tools 를 설치한 경우 Timeout 값이 180으로 설정됩니다.)

Linux based file systems become read-only (51306)
https://kb.vmware.com/s/article/51306

Storage path failover might cause kernel panic in Linux kernels if using a virtual LSILogic adapter (Parallel or SAS) (1010759)
https://kb.vmware.com/s/article/1010759

Increasing the disk timeout values for a Linux 2.6 virtual machine (1009465)
https://kb.vmware.com/s/article/1009465

Filesystem on VMware Red Hat Enterprise Linux 4, 5, 6, & 7 guests went read-only
https://access.redhat.com/solutions/35329

Storage 업체의 권고를 확인해 보면 NetApp에서는 vSphere 환경에서 Linux 와 Windows 모두 60초를 설정할 것을 권장하고 있습니다.

What are the guest OS tunings needed for a VMware vSphere deployment?
https://kb.netapp.com/app/answers/answer_view/a_id/1001979/~/what-are-the-guest-os-tunings-needed-for-a-vmware-vsphere-deployment%3F-

결론은 Application/Storage 특성, ESXi 에서의 구성등을 모두 고려해서 Disk timeout을 설정해야 합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/03/new-kb-articles-published-for-the-week-ending-23rd-march2019.html

VMware App Volumes

Multiple duplicate Writables are seen after upgrading from App Volumes 2.13.2 to App Volumes 2.16
App Volumes을 2.13.2에서 2.16으로 업그레이드할때 Writable 이 중복되어 보일 수 있습니다. App Volume Manager에서 수정을 해야 합니다.

VMware Horizon

Unable to launch RDS based desktop or application session
터미널 서버의 사용자 세션 종료에 대한 통보를 Horizon agent가 받지 못해 이슈가 발생할 수 있습니다. UsePPNotificationsForSessions 레지스트리 키를 설정해서 해결할 수 있습니다.

VMware NSX for vSphere

Guest Introspection deployment failure if ESX host has vmkernel interface configured to use 169.254.1.1
ESXi host의 vmkernel interface에 169.254.1.1 이 설정되어 있으면 GI 배포가 실패 합니다. 169.254.1.1을 설정하지 않으면 해결할 수 있습니다.

VMware NSX SD-WAN by VeloCloud

VMware SD-WAN by Velo Could Support Portal
SD-WAS 제품인 VeloCloud 지원 포털에 대한 Q&A 입니다.

VMware SDDC Manager

Some older workflows and tasks are not present in SDDC Manager after upgrading VMware Cloud foundation to 3.7.
VCF 3.7로 업그레이드 한 후 예전 workflow와 task가 보이지 않는 문제가 발생합니다. 이전 workflow와 task는 /home/vcf/workflows.jaon에 저장되어 있어 확인 가능 합니다.

Adding a host or a cluster to an existing VMware Cloud Foundation 3.7 workload domain fails
호스트나 클러스터를 VCF 3.7 workload domain에 추가할때 암호가 정상적으로 저장되지 않아 실패할 수 있습니다. 암호를 수동 변경해서 회피할 수 있습니다.

Creating a Horizon workload domain in VMware Cloud Foundation 3.7 fails at task ‘Install primary CS binaries’
Horizon workload domin 을 VCF 3.7에 설치할 때 Install primary CS binaries 오류가 발생하면서 실패할 수 있습니다. 작업을 다시 시도하면 설치를 성공할 수 있습니다.

VMware Cloud Foundation 3.5.1 network migration pre-validation
VCF 2.3.2.5를 3.5.1로 업그레이드할 때 네트워크 마이그레이션 검증 단계를 설명 합니다.

VMware Cloud Foundation 3.0.1 patch to address Perl vulnerability CVE-2018-6913
VCF 3.0.1에 Perl 취약점인 CVE-2018-6913 관련 패치 입니다.

VMware Cloud Foundation 3.5.1 patch to address multiple Perl vulnerabilities
VCF 3.5.1에 다수의 Perl 취약점 패치 입니다.

VMware Validated Design for Software-Defined Data Center (SDDC)

Updating the VMware Validated Design 5.0 to version 5.0.1
VVD 5.0이 5.0.1로 업그레이드 되었습니다.

VMware vCenter Server

“VMware Syslog Collector failed with error code ‘3010’” error when upgrading vCenter Server
vCenter server를 업그레이드 할 때 프로세스가 dll을 잡고 있어서 syslog collector가 실패 합니다. 업그레이드 작업 전에 백신/백업 프로그램을 중지해야 합니다.

VMware vCenter Server Appliance

Unable to apply updates to the VCSA. Upgrading from the VAMI interface fails at 70%
tool 설치 문제로 VCSA 업그레이드가 실패할 수 있습니다. vmware-tools-core 와 vmware-tools-foundation을 제거해고 다시 시도하면 해결할 수 있습니다.

Mixed case hostname fails when upgrading to vCenter Server Appliance 6.5/6.7
VCSA의 hostname 이 대소문자가 섞여 있으면 업그레이드 할 때 실패할 수 있습니다. 소문자만 사용하면 해결할 수 있습니다.

VMware vRealize Operations Manager

vRealize Operations Manager Log Insight agent is unable to connect to vRealize Log Insight via SSL
인증서 문제로 Agent가 SSL 통신을 못할 수 있습니다. web_chain.pem 을 무시하게 설정해서 문제를 해결할 수 있습니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/03/new-kb-articles-published-for-the-week-ending-16th-march2019.html

VMware Cloud Foundation

VMware Cloud Foundation ESXi root requirements

VCF는 자동화를 위해 ESXi의 root 권한을 사용 합니다.

VMware NSX for vSphere

After NSX Manager upgrade to 6.4.4, unable to upgrade edge to 6.4.4 or modify configuration

NSX Manager를 6.4.4로 업그레이드하면 Edge를 6.4.4로 업그레이드 하거나 설정을 변경하지 못하게 됩니다. 현재는 해결 방법이 없습니다.

VMware NSX-T

With IP Discovery enabled, host VIB update may fail when upgrading from NSX-T 2.3.1 to NSX-T 2.4.0

IP Discovery가 Enable 되어 있는 경우 NSX-T 2.3.1에서 NSX-T 2.4.0으로 업그레이드가 실패 합니다. Maintenance mode를 사용해서 업그레이드를 할 수 있습니다.

Host VIB update may fail when upgrading from NSX-T 2.3.x to NSX-T 2.4.0 if VMs are storage vMotioned before host upgrade

NSX-T 2.3.x 에서 NSX-T 2.4.0으로 업그레이드를 할 때 Host VIB 업데이트가 실패할 수 있습니다. Maintenance mode를 사용해서 업그레이드를 할 수 있습니다.

VMware NSX-T Data Center

Important information before upgrading to NSX-T Data Center 2.4.0

NSX-T Data Center 2.4.0으로 업그레이드 할 때 미리 확인해야 할 중요 사항입니다.

Edge Load Balancer service status is UNKNOWN or NO_STANDBY

많은 수의 LB 구성 작업이 실행될 때 Edge LB의 상태가 UNKNOWN 이나 NO_STANDBY 상태가 될 수 있습니다. 2.4에서 해결 되었습니다.

VMware PKS

PKS Container creation fails due to HyperBus interface vmk50 not being present on ESXI. PKS 1.2 NSX-T 2.1

HyperBus interface vmk50이 보이지 않아 PKS 컨테이너 생성이 실패할 수 있습니다. vmk50을 추가해서 해결할 수 있습니다.

Unable to connect to Bosh client with an error “Requesting token via client credentials grant: UAA responded with non-successful status code ‘503’ response ‘FAILURE'”

BOSH 서비스가 실행되고 있지 않아 오류가 발생할 수 있습니다. 서비스를 수동으로 실행 시켜서 해결할 수 있습니다.

PKS cluster creation fails with “Error: Timed out sending ?get_state? to worker node after 45 seconds”

IP 충돌로 PKS 클러스터 생성이 실패할 수 있습니다. 문제를 예방하려면 예약된 IP는 사용해서는 안됩니다.

VMware SDDC Manager

NSX-T workload domain creation fails when the ESXi hosts use physical NICs other than vmnic0 and vmnic1

ESXi 호스트가 잘못된 물리 NIC를 사용할 때 발생하는 문제로 VCF 3.7에서 해결되었으며 회피 방법은 KB를 참고하세요

VMware vCenter Converter Standalone

The vCenter Converter Standalone services fail to start on Windows 2008 SP2/6.0.6001 in vCenter Converter Standalone 6.2.0.1

인증서 문제로 vCenter Converter Standalone 서비스가 시작되지 않을 수 있습니다. 인증서를 설치해서 해결할 수 있습니다.

VMware vCenter Server Appliance

vCenter Server 6.5 Update 2d Converge fails with “MonitorPSCDeployTask execution failed”

Converge tool을 실행할 때 MonitorPSCDeployTask 가 실패할 수 있습니다. ldu 를 설정해서 해결할 수 있습니다.

Updating vCenter Server Appliance 6.5/6.7 from VAMI UI fails with “Appliance (OS) root password is expired or is going to expire soon”

VAMI가 암호를 변경할 수 없을 때 발생하는 오류로 수동으로 암호를 재설정해서 해결할 수 있습니다.

Migration from vCenter Server 6.0 installed on Windows 2008 R2 to vCenter Server Appliance 6.7 using external PSC, fails with “cannot retrieve PSC version”

TLS 이슈로 Windows Server 2008 R2 기반의 vCenter의 마이그레이션이 실패할 수 있습니다. TLS 1.2를 설치해서 해결할 수 있습니다.

VMware vRealize Operations Manager

vRealize Operations Manager Dashboard link sharing is not working in IE 11

IE 11에서 vROPs 대시보드가 정상동작 하지 않을 수 있습니다. 다른 브라우저를 사용해서 회피할 수 있습니다.

VMware vSphere ESXi

Fail to create namespace in a VM when NVDIMM size is not a multiple of 128MB
NVDIMM 의 크기가 128MB의 배수가 아닐경우 오류가 발생할 수 있습니다.