Platform Engineer

Bob Golding이 Storport 드라이버의 flow control에 대한 글을 썼습니다. HBA 에 많은 IO가 전달되어 처리를 하지 못하게 되면 BUSY를 Return 하고 IO를 제어하는 것에 대한 글 입니다. HBA의 커널 구조체에는 depth 라는 값이 있고 이 값보다 큰 IO 요청이 들어오게 되면 device queue라는 리스트에 IO가 들어가게 됩니다. 그리고 HBA가 BUSY를 return 하면 250ms 동안 Storport가 pause 되어 추가 IO가 전달되지 않게 합니다. 마지막으로 너무 많은 IO 요청이 들어오면 device는 queue full 상태가 됩니다. queue full 상태가 되면 25%의 IO가 완료될 때 까지 새로운 IO를 보내지 않습니다.

https://askbob.tech/go-with-the-flow/

HBA의 속성을 설정할 수 있는 registry key에 대한 설명인데 각 HBA 예를 들면 ql2300 과 같이 HBA 드라이버 이름을 사용해서 레지스트리 값을 설정해야 합니다. 최적화 된 값은 SAN 업체에서 해당 SAN 장비의 설정값을 참조해서 설정해야 합니다.

https://docs.microsoft.com/en-us/windows-hardware/drivers/storage/registry-entries-for-storport-miniport-drivers

NetApp 문서를 보면 HBA의 설정 값을 어떻게 변경하는지 상세히 설명되어 있습니다.

https://kb.netapp.com/app/answers/answer_view/a_id/1035032/~/how-to-increase-the-maximum-queue-depth-per-logical-unit-number-%28lun%29-in

NetApp 문서를 보면 Small, Mid-size, Large system에 맞추어서 적절한 queue depth를 설정하는 방법이 설명되어 있습니다.

https://library.netapp.com/ecmdocs/ECMP1196793/html/GUID-A055B184-0876-4376-9C75-35FE8C9BE832.html

Windows 에서 physical disk의 성능 측정하는 방법과 각 측정값이 Windows Device Driver Stack에서 어느 위치에 해당하는지 설명하고 있습니다.

https://blogs.technet.microsoft.com/askcore/2012/02/07/measuring-disk-latency-with-windows-performance-monitor-perfmon/

Windows Storage 부분에서 오류가 발생할 경우 Windows System Event log에 기록되기는 하지만 상세 분석을 진행하기에는 부족할 때가 있습니다. 상세 정보가 필요할 경우 storport에 대한 ETW 로그를 Enable 하여 Miniport Extension, PortNumber, PathID, LUN, Command, ScsiStatus, SRBStatus 등의 정보를 확인할 수 있습니다.

https://blogs.msdn.microsoft.com/ntdebugging/2010/04/22/storport-etw-logging-to-measure-requests-made-to-a-disk-unit/

NetApp 문서에서는 DataONTAP에서 LUN의 성능 통계치를 보여주고 있는데 특히 QFULL 상태에 대해서 설명하고 있습니다.

https://library.netapp.com/ecmdocs/ECMP1196995/html/GUID-F72F19C0-4A39-4912-A302-5F2308E069A6.html

VMware KB 블로그에 올라온 새로 나온 KB를 정리해 보았습니다.         
https://blogs.vmware.com/kb/2019/06/new-kb-articles-published-for-the-week-ending-8th-june2019.html

VMware ESXi

ESXi 6.5 host fails with a PSOD PF Exception 14 in world xxxxx:Unmap Helper IP
Unmap 하는 도중 PSOD가 발생할 수 있습니다. 6.7 U2에서 해결되었습니다.

ESXi becoming unresponsive when running vSAN cluster command on multiple hosts simultaneously
vSAN 클러스터에서 vSAN health를 확인하는 명령이 동시에 실행되면 hostd가 행이 될 수 있습니다. 관련 명령을 동시에 실행해서는 안됩니다.

VMware NSX-T Data Center

NSX-T 2.4.0/2.4.1 vIDM user permission issues on the NSX-T Web UI
NSX-T Web UI에서 vIDM 사용자 권한 이슈가 있을 수 있습니다. 향후 해결될 것이며 vIDM 사용자에게 직접 권한을 할당해서 문제를 해결할 수 있습니다.

VMware PKS

Attaching a volume fails with Multi-Attach error Volume is already exclusively attached to one node and can’t be attached to another.
Network 문제로 PKS cluster가 vCenter Server와 통신이 안되면 볼륨 추가가 안될 수 있습니다. Network 이슈를 확인해야 합니다.

The master node in an Enterprise PKS cluster is in a failing state due to ncp restarting
이름을 가진 serviceport가 ingress 리소스에 있어서 ncp 가 지속적으로 재시작되는 이슈가 발생합니다. 서비스 이름이 아닌 port 번호를 사용하여 문제를 해결할 수 있습니다.

Enterprise PKS upgrade from 1.3.x to 1.4.0 fails with error: “1 of 8 pre-start scripts failed. Failed Jobs:pxc-mysql”
디스크 공간 부족으로 mysql 마이그레이션이 실패해서 업그레이드가 실패할 수 있습니다. PKS VM의 크기를 늘려서 문제를 해결할 수 있습니다.

An Enterprise PKS cluster is in a failed state when the ncp process is failed on a master node
IpBlock이 External block과 충돌하여 ncp가 오류가 종료되는 이슈가 있습니다. 

Harbor update fails with error “Error: Colocated job ‘harbor-dns-aliases’ is already added to the instance group ‘harbor-app”
다수의 Harbor 구성이 있는 경우 Harbor 업데이트가 실패할 수 있습니다. KB 문서를 따라 중복된 구성을 제거해서 문제를 해결할 수 있습니다.

In an Enterprise PKS cluster, the api server certificate configmap consists of multiple certificates in the chain
API Server Certificate를 가져올 때 두 개의 인증서가 return 되는 경우가 있는데 이는 정상 동작입니다.

High CPU utilization is observed on worker and master nodes in Enterprise PKS
Worker와 Master VM의 Tyep이 Small인 경우 CPU 사용률이 높게 보일 수 있습니다. vRLI에 limit을 설정하거나 VM 크기를 키워서 문제를 해결할 수 있습니다.

Pods getting evicted because of low ephemeral-storage in VMware Enterprise PKS Environment
local volume mount의 크기 때문에 pod가 evicted 될 수 있습니다. KB 내용에 따라 조치하여 문제를 해결할 수 있습니다.

PVC resizing fails when using kubernetes.io/vsphere-volume as the provisioner in Enterprise PKS
PVC resize는 VMFS에서는 아직 지원하지 않습니다.

VMware SDDC Manager

Determining OVA download location for restoring SDDC Manager from a file-based backup
VCF 3.7.2부터 파일 기반 백업/복구를 지원합니다. 

VMware Validated Design for Software-Defined Data Center (SDDC)

Repairing the Cross-Region-Env Environment in vRealize Suite Lifecycle Manager for VMware Validated Design 4.3
Cross-Region-Env 환경에서 Repair 하는 방법입니다.

Repairing the Cross-Region-Env Environment in vRealize Suite Lifecycle Manager for VMware Validated Design 5.0.x
Cross-Region-Env 환경에서 Repair 하는 방법입니다.

VMware vCenter Server Appliance

List of VMDKs for a vCenter Server Appliance 6.5 – Size Mount point and Purpose
vCSA 6.5 가 사용하는 VMDK와 mount 정보입니다.

List of VMDKs for a vCenter Server Appliance 6.7 – Size Mount point and Purpose
vCSA 6.7 이 사용하는 VMDK와 mount 정보입니다.

VMware vCloud Availability

Replications enter an error state after an upgrade to vCloud Availability 3.0.1
Replicatoin filter 이슈로 Replication이 실패할 수 있습니다. VMware support의 지원을 받아 문제를 해결할 수 있습니다.

VMware vRealize Operations Manager

How to open a Support Request with Blue Medora
Blue Medora에 기술지원을 요청하는 방법입니다.

VMware vRealize Suite Lifecycle Manager

vRSLCM version remains 2.0.0 Patch 3 after upgrade to 2.1.0.11
vRSLCM의 root 암호 이슈로 버전 정보가 예전 것으로 남아 있을 수 있습니다. 암호를 설정하고 다시 시도하면 문제를 해결할 수 있습니다.

VMware vSAN

vSAN Disk group disks showing ‘disks in use’ as 0
lsi_msgpt3 (15.00.00.00-1OEM)을 사용하는 경우 vSAN 디스크 그룹에 오류가 발생할 수 있습니다. lsi_msgpt3 패치를 설치해서 문제를 해결할 수 있습니다.

VMware KB 블로그에 올라온 새로 나온 KB를 정리해 보았습니다.        
https://blogs.vmware.com/kb/2019/06/new-kb-articles-published-for-the-week-ending-1st-june2019.html

VMware Cloud Foundation

Content Library fails to create when target datastore contains a space in VMware Cloud Foundation for Service Providers
데이터 스토어 이름이 이미 사용 중인 경우 새로 생성에 실패할 수 있습니다. 기존 데이터 스토어 이름을 변경해서 문제를 해결할 수 있습니다.

VMware Cloud on AWS

Dell EMC NetWorker 19.1 for VMware Cloud on AWS
NetWorker 19.1이 VMC on AWS를 지원합니다.

VMware Horizon

Explorer crashes when logging into remote desktop
Remote Desktop에 접속하 ㄹ때 Explorer.exe 실패에 대한 다이얼로그 창이 떠 있을 수 있습니다. OK 버튼을 눌러서 창을 닫을 수 있습니다. 

Folder sharing fails when sharing a non-ASCII name folder to a non-English locale Windows 7 or Windows 2016 agent
영문 OS가 아닌 경우 폴더 이름이 ASCII로 되어 있지 않으면 공유에 실패할 수 있습니다. ASCII로 된 이름으로 변경하거나 Windows 10과 같은 최신 OS로 업그레이드해야 합니다.

Folder redirection to Windows 7 Agent fails with the error: “WNetAddConnection2 failed with error 487”
WNetAddConnection2 함수가 실패해서 폴더 리디렉션이 실패할 수 있습니다. 몇 초 후 다시 접속해서 문제를 해결할 수 있습니다.

Fails to enter multi monitor mode while connecting RDSH desktops with different DPI settings of two monitors
DPI 설정이 다른 두 모니터를 사용할 때 RDSH 데스크탑이 실패할 수 있습니다. 해상도가 3840*2160 이상인 모니터를 사용할때 발생하는 문제로 다른 모니터로 브라우저를 옮긴 후 로그 오프 한 후 다시 실행하면 됩니다.

VMware NSX Data Center for vSphere

Intermittent latency when using NSX 6.4.2 or above and a large amount of Distributed Firewall rules
NSX 6.4.2 이상에서 큰 Distributed Firewall rule을 사용할 경우 지연이 발생할 수 있습니다. 6.4.2에 추가된 통계정보 수집 기능 이슈로 REST API로 Disable 해서 문제를 해결할 수 있습니다.

VMware NSX-T Data Center

DHCP server and Loadbalancer fails in NSX-T
IP 충돌로 DHCP Server와 Loadbalancer가 실패할 수 있습니다. DHCP Server 또는 Loadbalancer virtual server IP를 변경해서 문제를 해결할 수 있습니다.

VMware PKS

Unable to access Harbor from some specific network
IP 충돌 이슈로 특정 네트워크로 Harbor에 접근할 수 없습니다. KB를 참고해서 Docker reserved IP Range를 변경해서 문제를 해결할 수 있습니다.

PKS upgrade failed with error “2 of 5 post-start scripts failed. Failed Jobs: telemetry-agent-image”
Local docker registry에 충분한 공간이 없어서 업그레이드가 실패할 수 있습니다. 불필요한 이미지를 registry에서 제거 애 서 문제를 해결할 수 있습니다.

How to identify and remove dangling registry images in docker registry
Docker registry에서 불 필요한 이미지를 삭제하는 방법입니다.

VMware SDDC Manager

How to upgrade VMware Cloud Foundation to version 2.3.2.7
VCF 2.3.2.7로 업그레이드하는 방법입니다.

Cloud Foundation Stretched Cluster Workflow Error “Current applied vSAN license doesnt support the required cpu count {0}”
vSAN의 라이선스 이슈로 Stretched cluster workflow가 실패할 수 있습니다. VMware 라이선싱 팀을 통해 임시 라이선스를 받아 문제를 해결할 수 있습니다.

Upgrading ESXi in SDDC Manager 3.7 fails with “VUM STAGE REGISTER UPLOADED FILES”
SDDC Manager 3.7 안에 있는 ESXi 업그레이드에 실패할 수 있습니다. VMware ESX Agent Manager를 재시작해서 문제를 해결할 수 있습니다.

vCenter is not unregistered from PSC after successful Workload Domain deletion in VMware Cloud Foundation
Workload Domain을 삭제할 때 SDDC Manager가 PSC와 통신이 안되면 vCenter가 PSC에 제거가 안 되는 이슈가 발생할 수 있습니다. KB를 참고해서 수동으로 제거할 수 있습니다.

VMware Tools

CentOS 7.6.1810 was incorrectly reported as CentOS 6 by VMware Tools
VMTools가 CentOS 버전을 잘못 보고할 수 있습니다. VMtools 10.3.10 이상을 설치해서 문제를 해결할 수 있습니다.

VMware vCenter Server

Export of vSphere ESX Agent Manager fails due to JVM heap exhaustion
JVM Heap 부족으로 ESX Agent Manager의 Export가 실패할 수 있습니다. vCenter Server 6.5 b에서 해결되었습니다.

Export of vSphere ESX Agent Manager fails due to the EAM service using a custom port configuration
EAM Service 가 사용하는 port가 변경되어 ESX Agent Manager가 Export에 실패할 수 있습니다. EAM이 사용하는 포트를 80으로 원복 하여 문제를 해결할 수 있습니다.

Migrate windows vCenter 5.5 to VCSA 6.x failed with Missing indexes SQL Server Error
Index 이슈로 Windows vCneter 5.5에서 VCSA 6.x로 마이그레이션이 실패할 수 있습니다. SQL Database에서 Index를 생성해서 문제를 해결할 수 있습니다.

vCenter login fails with “Invalid Credential” when “Do not use Kerberos preauthentication” flag is enabled for active directory user
Kerberos preauthenticatoin을 사용하지 않도록 하면 vCenter 로그인이 실패할 수 있습니다. Do not require Kerberos preauthentication을 사용하지 않도록 해서 문제를 해결할 수 있습니다.

VMware vCenter Server Appliance

vCenter or VCSA Upgrade from 5.x to 6.5 or 6.7 fails at 40% on the second stage
vCenter 또는 VCSA를 5.x dptj 6.5나 6.7로 업그레이드할 때 40%에서 실패할 수 있습니다. vpx_hist_stat_tmp ttable을 원본 vCenter에서 제거해서 문제를 해결할 수 있습니다.

Patching vCenter Server Appliance 6.5 fails during post installation stage
FQDN이 hosts 파일에 없을 때 업그레이드가 실패할 수 있습니다. FQDN을 hosts 파일에 등록해서 문제를 해결할 수 있습니다.

PowerCLI connect-viserver fails to Smart Card login to vCenter
Smart Card login을 사용할 경우 PowerCLI connect-viserver가 실패할 수 있습니다. Smart card authentication은 지원하지 않습니다. Windows SSPI를 사용해야 합니다.

VMware vCloud Availability

Unable to provide userPrincipleName LDAP credentials for vCloud Director when using the on-premises vSphere Client plug-in for vCloud Availability 3.0
사용자 이름에 @이 들어 있는 경우 오류가 발생할 수 있습니다. KB 내용을 참고해서 문제를 해결할 수 있습니다.

VMware vCloud Director for Service Provider

vCloud Director appliance management user interface Promote button and appliance OS repmgr tool commands stop working
postgres의 사용자 암호가 만료되면 vCD application management UI가 멈추는 이슈가 있습니다.  postgres 암호가 변경되지 않도록 해서 문제를 해결할 수 있습니다.

VMware vRealize Operations Manager

Wavefront Management agents fail to install on guests in vRealize Operations Manager 7.5
권한 이슈로 Wavefront agent가 설치되지 않을 수 있습니다. KB 문서를 참고해서 올바른 권한 설정해서 문제를 해결할 수 있습니다.

SUSE 11 in VMware Appliances
SUSE 11이 2019년 3월 31일로 General support 기간이 끝나지만 VMware가 SUSE로부터 연장 지원을 제공받을 것입니다. 많은 OS는 VMware의 Photon OS로 마이그레이션하고 있습니다.

VMware vSAN

vSAN component limit issue
많은 namespace object 때문에 vSAN health check UI에 경고가 나타날 수 있습니다. RVC를 사용해서 제거 작업을 진행해야 합니다. 

VMware vSphere ESXi

Deploy plug-in tasks failures reported in vSphere Web Client 6.7U2
Deploy plug-in task 실패 오류가 vSphere Web Client 6.7U2에서 보여도 무시하시면 됩니다.

VMware vSphere Update Manager

Scan for Updates runs into error after Upgrading vCenter Server Appliance from 6.5 to 6.7
VCSA를 6.5에서 6.7로 업그레이드하려고 Scan을 하면 오류가 발생합니다. Update Manager Database를 Reset 해서 문제를 해결할 수 있습니다.