VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/03/new-kb-articles-published-for-the-week-ending-16th-march2019.html

VMware Cloud Foundation

VMware Cloud Foundation ESXi root requirements

VCF는 자동화를 위해 ESXi의 root 권한을 사용 합니다.

VMware NSX for vSphere

After NSX Manager upgrade to 6.4.4, unable to upgrade edge to 6.4.4 or modify configuration

NSX Manager를 6.4.4로 업그레이드하면 Edge를 6.4.4로 업그레이드 하거나 설정을 변경하지 못하게 됩니다. 현재는 해결 방법이 없습니다.

VMware NSX-T

With IP Discovery enabled, host VIB update may fail when upgrading from NSX-T 2.3.1 to NSX-T 2.4.0

IP Discovery가 Enable 되어 있는 경우 NSX-T 2.3.1에서 NSX-T 2.4.0으로 업그레이드가 실패 합니다. Maintenance mode를 사용해서 업그레이드를 할 수 있습니다.

Host VIB update may fail when upgrading from NSX-T 2.3.x to NSX-T 2.4.0 if VMs are storage vMotioned before host upgrade

NSX-T 2.3.x 에서 NSX-T 2.4.0으로 업그레이드를 할 때 Host VIB 업데이트가 실패할 수 있습니다. Maintenance mode를 사용해서 업그레이드를 할 수 있습니다.

VMware NSX-T Data Center

Important information before upgrading to NSX-T Data Center 2.4.0

NSX-T Data Center 2.4.0으로 업그레이드 할 때 미리 확인해야 할 중요 사항입니다.

Edge Load Balancer service status is UNKNOWN or NO_STANDBY

많은 수의 LB 구성 작업이 실행될 때 Edge LB의 상태가 UNKNOWN 이나 NO_STANDBY 상태가 될 수 있습니다. 2.4에서 해결 되었습니다.

VMware PKS

PKS Container creation fails due to HyperBus interface vmk50 not being present on ESXI. PKS 1.2 NSX-T 2.1

HyperBus interface vmk50이 보이지 않아 PKS 컨테이너 생성이 실패할 수 있습니다. vmk50을 추가해서 해결할 수 있습니다.

Unable to connect to Bosh client with an error “Requesting token via client credentials grant: UAA responded with non-successful status code ‘503’ response ‘FAILURE'”

BOSH 서비스가 실행되고 있지 않아 오류가 발생할 수 있습니다. 서비스를 수동으로 실행 시켜서 해결할 수 있습니다.

PKS cluster creation fails with “Error: Timed out sending ?get_state? to worker node after 45 seconds”

IP 충돌로 PKS 클러스터 생성이 실패할 수 있습니다. 문제를 예방하려면 예약된 IP는 사용해서는 안됩니다.

VMware SDDC Manager

NSX-T workload domain creation fails when the ESXi hosts use physical NICs other than vmnic0 and vmnic1

ESXi 호스트가 잘못된 물리 NIC를 사용할 때 발생하는 문제로 VCF 3.7에서 해결되었으며 회피 방법은 KB를 참고하세요

VMware vCenter Converter Standalone

The vCenter Converter Standalone services fail to start on Windows 2008 SP2/6.0.6001 in vCenter Converter Standalone 6.2.0.1

인증서 문제로 vCenter Converter Standalone 서비스가 시작되지 않을 수 있습니다. 인증서를 설치해서 해결할 수 있습니다.

VMware vCenter Server Appliance

vCenter Server 6.5 Update 2d Converge fails with “MonitorPSCDeployTask execution failed”

Converge tool을 실행할 때 MonitorPSCDeployTask 가 실패할 수 있습니다. ldu 를 설정해서 해결할 수 있습니다.

Updating vCenter Server Appliance 6.5/6.7 from VAMI UI fails with “Appliance (OS) root password is expired or is going to expire soon”

VAMI가 암호를 변경할 수 없을 때 발생하는 오류로 수동으로 암호를 재설정해서 해결할 수 있습니다.

Migration from vCenter Server 6.0 installed on Windows 2008 R2 to vCenter Server Appliance 6.7 using external PSC, fails with “cannot retrieve PSC version”

TLS 이슈로 Windows Server 2008 R2 기반의 vCenter의 마이그레이션이 실패할 수 있습니다. TLS 1.2를 설치해서 해결할 수 있습니다.

VMware vRealize Operations Manager

vRealize Operations Manager Dashboard link sharing is not working in IE 11

IE 11에서 vROPs 대시보드가 정상동작 하지 않을 수 있습니다. 다른 브라우저를 사용해서 회피할 수 있습니다.

VMware vSphere ESXi

Fail to create namespace in a VM when NVDIMM size is not a multiple of 128MB
NVDIMM 의 크기가 128MB의 배수가 아닐경우 오류가 발생할 수 있습니다. 

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/03/new-kb-articles-published-for-the-week-ending-9th-march2019.html

VMware ESXi

Virtual machine traffic will be intermittent during FCoE LUN device failover process

FCoE 기반의 LUN을 사용할 경우 Device Failover 과정에서 간헐적인 트래픽 발생하는 이슈로 현재 해결 방법은 없습니다.

Quiesced snapshot fails when Storage Spaces is configured

Windows VM에 Storage Space가 구성된 경우 Quiesced snapshot이 실패 합니다. Storage Space를 지원하지 않기 때문에 VMware Tools 에서 VSS Application Quiescing을 Disable 해야 합니다.

VMware Horizon

“Unable to accept connection, authentication failed, reason=authCertSsl” error when upgrading from Horizon 7 version 7.0.3 to 7.5.1

Horizon 7 버전 7.0.3에서 7.5.1으로 upgrade 할때 발생하는 오류로 Horizon 7 버전 7.5.1의 replica 서버를 먼저 설치해서 해결할 수 있습니다.

Enabling New User Authentication Security Features in Horizon 7 Version 7.5.2 and Horizon 6 version 6.2.8

Horizon 7 버전 7.5.2와 Horizon 6 버전 6.2.8 에 사용자 인증을 위한 새로운 기능이 Disable 되어 있어 Enable 을 해주어야 합니다.

Instant clones failed stating managed object not found

Connection 서버안에 있는 백신 문제로 인스턴트 클론이 실패할 수 있습니다. Horizon 7.5 에서 해결되었으며 이전 버전의 경우 마스터 VM 생성 후 30분 후에 인스턴트 클론을 만들어야 합니다.

VMware NSX-T Data Center

Booting a Bare Metal server with an NSX-T Edge ISO fails with the error: “Incorrect CD-ROM detected”

NSX-T 2.4에서 NSX-T Edge ISO 로 부팅시에 오류가 발생할 경우 BIOS에서 SD Card Configuration을 Disable 하여 문제를 회피할 수 있습니다.

Bare Metal Edge ISO installation fails with the error: “Select and install software – Installation step failed”

베어 메탈 서버의 논리 볼륨이 이전에 사용중이던 것일 경우 설치에 실패할 수 있습니다. 기존 LVM을 삭제한 후 설치를 하면 해결됩니다.

NSX-T 2.4.0 Load Balance Service may observe low performance on HTTPs

FIPS가 Enable 되어 있으면 LB에 성능 저하가 발생할 수 있습니다. system_fips를 삭제해서 회피할 수 있습니다.

VMware PKS

K8S worker node hangs indefinitely during the PKS Upgrade

PKS 업그레이드 과정에서 pod를 unschedule 할 수 없어 행이 발생할 수 있습니다. PodDisruptionBudget  를 변경하거나 삭제해서 회피할 수 있습니다.

VMware SDDC Manager

Password Rotation failing in SDDC Manager after manually updating the vRealize Log Insight passwords.

vRealize Log Insight 암호를 변경한 후 SDDC Manager 암호 변경이 실패할 수 있습니다. vRealize Log Insight 의 SSL 인증서의 FQND과 IP address를 올바르게 설정해서 해결할 수 있습니다.

VMware vCenter Server

vCenter server 6.x installed on Windows minor patch upgrades fails with error codes 2349 and 1603

Windows 기반의 vCenter에 마이너 패치 업그레이드를 할때 오류가 발생하는 것으로 3rd party 방화벽과 백신 때문에 발생하는 문제 입니다.

vCenter Server Appliance upgrade 6.5 to 6.7 fails at pre-check with “Unable to contact the source vCenter “

VCSA 6.5을 6.7로 업그레이드 할 때 암호가 만료되어 발생하는 문제로 암호를 reset 하여 해결할 수 있습니다.

Customization options like changing hostname does not populate when VM is deployed from template in content library.

컨텐츠 라이브러리로부터 VM을 배포할 때 Customization 옵션이 보이지 않는 것으로 Flex client를 사용해서 회피할 수 있습니다.

Upgrade to vCenter Server Appliance 6.7 fails if external VUM configured in the past and uninstalled later

External VYUM 이 구성되어 있다가 삭제된 경우 VCSA 6.7 업그레이드가 실패할 수 있습니다.  VUM을 삭제하고 다시 업그레이들 하면 해결할 수 있습니다.

VMware vCloud Director for Service Provider

“The VDC associated with this vApp does not have the required network resources to start this vApps” error when powering on a vSphere imported virtual machine

VM이 Shared Organization vDC 네트워크에 연결되어 있는 경우 vCenter를 vCD에 연결할때 오류가 발생할 수 있습니다. Network을 수동으로 삭제 후 재설정하여 해결할 수 있습니다.

VMware vRealize Operations Manager

Common User Authentication of the Service Discovery Management Pack requires the local administrator credentials

Service Discovery Management Pack 설정시에 local administrator 권한이 요구되는 것은 현재 디자인으로 향후 개선될 것입니다.

Reclaimable|Oversized VMs metrics removed in vRealize Operations Manager 7.0

Reclaimable|Oversized VM 매트릭이 vROPs 7.0에서 제거되었습니다.

VMware vSAN

Content-Based Read Cache (CBRC) is not supported for vSAN DP-enabled virtual machines
vSAN DP가 Enable 되어 있는 VM에는 CBRC가 적용되지 않습니다.

VMworld 2017에서 성능 이슈를 해결하고 원인 분석을 하는 동영상을 정리해보았습니다.

VMworld 2017 SER1534BUR - VMware vSphere Performance Troubleshooting and Root Cause Analysis

https://www.youtube.com/watch?v=a_VyvjGeEcQ

ESXTOP

Esxtop은 ESXi host에서 실행되는 실시간 성능 모니터링 도구로 리눅스의 top 명령과 유사합니다. 옵션은 다음과 같습니다.

C: CPU     m: Memory    d: Disk(Adapter)    u: Disk (device)    v:Virtual Disk (소문자)    n: network

V: Virtual Machine view(대문자)    h: help    q: Quit

CPU

VMware에서 VM이나 ESXi 에서 실행되는 작업을 World 라고 부르는데 World가 Schedule 되는 상태는 다음과 같습니다.

World 상태 중 Ready, Costop이 중요 합니다. Ready 각 vCPU 별로 10 이상이 되어서는 안됩니다. 10 이상이라는 것은 VM의 vCPU가 실행되려 할 때 Hypervisor가 pCPU를 할당해주지 못하는 상태입니다. 그리고 Cstop은 3이상이 되어서는 안됩니다. cstop은 vSMP 일때 사용되는 것으로 Core가 2개인 VM이 있을 때 빠른 vCPU가 느린 vCPU를 기다린 시간 입니다. Cstop 값이 높다면 NUMA를 고려해서 physical CPU의 구조를 따르는 것이 좋습니다. 8 개 이상의 vCPU가 필요한 VM은 하나의 코어를 소캣을 각각 생성하는 방법을 고려할 수 있습니다.

CPU Key performance indicator는 다음과 같습니다.

ESXi host: Ready time, Utilization, Load average

VM: Ready time(%RDY), Co-stop(%CSTP), Swap wait(%SWPWT), MaxLimited(%MLMTD)

%USED 와 %RDY가 높다는 것은 CPU가 over-commitment 되었다는 의미 입니다.

Memory

esxtop 에서 m을 누르면 Memory의 상태를 확인할 수 있습니다. PMEM 은 설치된 물리 메모리를 나타내고 VMKMEM은 VMkernel에 관리하는 메모리를 나타냅니다. Minfree 는 VMkernel이 free 상태 유지해야 하는 메모리 양을 나타내고 rsvd는 Resource Pool에 Reserve 된 메모리의 양을 나타냅니다.

ESXi host는 Minfree 의 양을 계산해서 Memory의 state를 표시 합니다. Minfree의 크기는 물리 메모리의 크기에 따라서 자동으로 계산되는데 0~4GB 물리 메모리의 경우 245MB 정도가 할당되고 12~28GB의 경우 696MB 정도가 할당된다. Minfree 대비 어느 정도의 Free 메모리가 남아 있는지에 따라서 Memory State가 High, Clear, Soft 등으로 표시된다.

esxtop 에서 j 를 누르면 Ballooning 상태를 확인할 수 있습니다. MEMCTL/MB 값으로 Memory Balloon 상태를 알 수 있으며 MCTL이 Y로 되어 있으면 해당 VM에 Balloon Driver가 설치된 것 입니다. MCTLSZ 값이 0이 아닌 경우 Host의 메모리가 over-commit 되어 Bollandriver가 메모리를 회수하는 것입니다. ZIP은 Host에서 메모리가 압축된 상태를 보여줍니다. CACHESZ로 압축된 캐시의 크기를 보여주고 ZIP/s 와 UNZIP/s 를 통해서 압축을 하는데 사용된 IO를 보여 줍니다.

SWAP은 VM의 성능에 많은 영향을 주는데 SWCUR 값으로 현재 SWAP에 사용된 메모리의 양을 할 수 있고 SWR/s, SWW/s를 통해서 SWAP 동작을 확인할 수 있습니다. SWAP 관련 값들은 0 이상일 경우 SWAP이 발생하였고 SWAP으로 인해 VM의 성능저하가 발생했는지 확인할 수 있습니다.

Network

Network 은 여러가지 지점에서 성능을 확인해봐야 합니다. 우선 Virtual NIC를 살펴보면 Virtual NIC이 사용하는 uplink를 확인해야 하고, Virtual NIC의 대역폭을 확인해야 하고, Virtual NIC의 패킷 수와 평균 패킷 크기 마지막으로 Virtual NIC에서 drop 한 패킷을 확인해야 합니다. 그리고 물리 NIC에서도 대역폭, 패킷 수, 평균 패킷 크기 마지막으로 drop 한 패킷을 확인해야 합니다.

esxtop 에서 n 을 누르면 network의 성능 정보를 볼 수 있습니다. %DRPTX %DRPRX 는 packet이 drop 되었다는 것으로 0 값을 가져야 합니다.

(물리 NIC 마다 NetPol 이라고 불리는 Receive Thread가 할당되어 있습니다. NetPol의 사용량은 esxtop의 vmx의 %SYS  값으로 확인할 수 있습니다.)

Network packet은 Buffer가 부족하면 Drop 됩니다. 패킷을 보내거나 받기 위해서는 버퍼가 필요 합니다. Virtual NIC이나 Virtual switch port의 버퍼를 사용하는데 버퍼의 크기보다 패킷이 더 많은 경우 Drop 하게 됩니다.

Storage

스토리지 성능을 이해 하려면 몇가지 용어를 알아야 합니다. 

IOPS: 초당 Input/output 또는 Read/Write를 한 횟수

SCSI Command: Disk의 명령으로 Read/Write, SCSI reservation 등이 있습니다.

SCSI Reservation: 분산 파일시스템에서 메타 데이터를 보호하기 위해 LUN을 lock 하는 것입니다.

Latency: SCSI 명령이 최초 발생/처리/완료 되는데 걸린 시간으로 보통 ms 단위 입니다.

Throughput: Disk에 전달된 데이터의 총합으로 보통 MBps 단위 입니다.

esxtop 에서 v 를 누르면 VM의 vmdk 디스크의 성능, u를 누르면 LUN의 성능 마지막으로 d를 누르면 HBA/RAID card 시점에서 성능을 확인할 수 있습니다. 

CMDS/s 는 초당 Disk에 전달된 명령의 양을 확인할 수 있고 DAVG는 Driver driver에서 실제 디스크 장치까지의 응답 시간으로 15 ~ 20 ms 내의 시간을 가져야 합니다. KAVG는 VMKernel의 응답 시간으로 2 ~ 3ms의 시간을 가져야 합니다. (Guest 가 인식하는 응답 시간은 DAVG+KAVG 입니다).마지막으로 Disk의 ABRTS/s 값은 0이어야 합니다. DAVG가 높고 KAVG가 낮은 경우는 Array에 부하가 많이 걸린 것이고 KAVG가 높고 DAVG가 낮은 경우는 Host에 부하가 걸린 것입니다.

아래 내용을 참고해서 esxtop에 대해서 더 알아볼 수 있습니다.

Interpreting esxtop Statistics

https://communities.vmware.com/docs/DOC-9279

Using esxtop to identify storage performance issues for ESX / ESXi (multiple versions) (1008205)

https://kb.vmware.com/s/article/1008205

감사합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/03/new-kb-articles-published-for-the-week-ending-2nd-march2019.html

VMware Essential PKS

Heptio Support

VMware 가 2018년 12월에 인수한 Heptio의 기술지원을 받는 방법입니다.

VMware ESXi

FDM Manager restarts on an ESXi host after vMotion of a VM has completed

vMotion 후 경합으로 인해 FDM이 크래시 될 수 있습니다. 패치는 아직 나오지 않았습니다.

ESXi Firewall Rule configuration continuously updated on the hosts with enable and disable operations for “esxupdate“

vSAN health Check 로 인해 방화벽 규칙이 반복적으로 update 되는 것으로 의도된 디자인 입니다. VUM scans를 중지 하거나 주기를 늘려서 회피할 수 있습니다.

Host may crash by loading qfle3 driver with an arbitrary debug_mask value

debug_mask=1이 설정되면 ESXi 호스트가 느려지거나 크래시가 발생할 수 있습니다. debug_mask 는 디버깅을 할때만 사용해야 하고 debug_mask=0로 disable 할 수 있습니다.

VMDK disks not loading when vSphere ImportVApp API called in loop

ImportVApp API를 사용해서 새로운 VM을 만드는 경우 disk 정보가 업데이트 되지 않을 수 있습니다. 엔지니어링에서 해결 방법을 찾고 있으며 ImportVApp API 호출 후 10 초간 기다리는 방법으로 회피할 수 있습니다.

VMware NSX-T

Clear management-plane command is not working on nsxcli

clear management-plane 명령은 2.4.0 부터 사용되지 않고 del nsx를 사용해야 합니다. 

VMware PKS

VMware PKS cluster creation fails with pods stuck on “ContainerCreating” state

Hyperbus 통신 이슈로 Pod가 ContainerCreating 상태에서 멈추어서 PKS 클러스터 생성이 실패할 수 있습니다. esxi에서 netcpad 를 재시작해서 해결할 수 있습니다.

Harbor DNS resolution from the worker nodes is failing after re-deploying the Harbor instance

Harbor 인스턴스를 제거하고 다시 설치하는 과정에서 업그레이드 클러스터를 선택하지 않은 경우 발생할 수 있으며 수동으로 설정을 업데이트해서 해결할 수 있습니다.

VMware SDDC Manager

Alerts generated in SDDC Manager are not cleared automatically after the triggered alert condition has been resolved

SDDC Manager의 Alert은 이슈가 살라져도 자동으로 제거되지 않습니다. 수동으로 제거해야 합니다.

VMware Validated Design for Software-Defined Data Center

아래 문서들은 VVD 를 기반으로 vRealize 를 설정하는 법 입니다.

VMware Validated Design 4.2 vRealize Operations Disaster Recovery Failover and Failback

VMware Validated Design 4.2 and 4.3 Planned Migration of vRealize Operations

VMware Validated Design 4.3 vRealize Operations Disaster Recovery Failover

VMware vCenter Server

“A general system error occurred: missing vmsn file” error occurs during a cloning task in vCenter Server 6.7 U1

Template의 Snapshot에서 VM을 clone 할때 변환 오류로 실패 합니다. 문제 해결 방법을 찾고 있으며 template 객체를 VM 객체로 변환해서 회피할 수 있습니다.

VMware vCenter Server Appliance

vCenter Server Appliance 6.x Upgrade fails with the error “transport.guestops Failed to download from https://<esxi ip>/guestFile”

source VCSA가 실행중인 ESXi 호스트와 업그레이드가 되려는 머신 사이이 통신이 안될 때 VCSA 업그레이드가 실패 합니다. 

Using the CLI to add or configure SSO identity sources in vSphere 6.5 & 6.7

vSphere 5.5/6/0에서 사용하던 custom script는 더 이상 사용되지 않고 vmware-identity-sso.jar 파일을 변경하는 방식을 사용해야 합니다.

VMware vRealize Automation

Joining the vRealize Automation appliance to the domain overrides the Network Time Protocol server settings configured in the virtual appliance 

management interface

vRA가 Integraded Windows Authentication을 사용해서 domain에 join 하면 NTP 설정에 있는 서버와 시간 동기화를 하지 않고 Domain Controller가 지정한 서버와 동기화를 하게 됩니다.

VMware vRealize Network Insight

Build numbers and versions of VMware vRealize Network Insight (vRNI)

VMware vRealize Operations Tenant App for VMware vCloud Director

Oracle Datapump expdp for vcloud schema

vCloud 문제 해결을 위해 vCloud 데이터베이스로 사용하는 오라클 데이터베이스의 데이터를 덤프하는 방법 입니다.

감사합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/02/new-kb-articles-published-for-the-week-ending-23rd-february2019.html

VMware NSX for vSphere

Setting a Proxy Server in the Linux or Mac NSX SSL VPN Client Fails

Date Published: 2/23/2019

Linux와 Mac OS에서 SSL VPN client에서 Proxy server를 지원하지 않습니다. Windows 기반의 SSL VPN 기반 클라이언트를 사용해야 합니다.

Drop counters in DFW for packets increments in presence of fragmented packets in NSX-v

Date Published: 2/22/2019

DFW 에서 단편화된 패킷이 수신되면 DFW의 Drop count 가 올라 갑니다. NSX 6.3.6의 이슈로 NSX를 6.4.0 로 업그레이드 해야 합니다.

VMware SDDC Manager

VMware Cloud Foundation update fails during VRM update when Log Insight was manually upgraded

Date Published: 2/23/2019

Log Insight를 수동으로 먼저 업그레이드 한 경우 VCF 업데이트가 실패합니다. SDDC Manager Controller VM에 ssh로 접속해서 수동으로 변경을 해서 문제를 회피할 수 있습니다.

Workload domain expansion fails with the error “Validation Error: Not enough resources available for workload expansion”

Date Published: 2/20/2019

Workload domain이 redundancy 레벨이 High로 설정되어 있고 다른 렉에만 free host가 있는 경우 확장에 실패합니다. 같은 렉에 host를 추가하고 Redondency 를 Normal로 바꿔서 문제를 회피할 수 있습니다.

Creating an NSX-T VI workload domain in VMware Cloud Foundation 3.5.x fails

Date Published: 2/19/2019

NSX-T VI workload domain에 있는 host가 vmnic0 이름의 물리 nic이 없을때 발생하는 것으로 수동으로 분산 스취치 관련 설정을 변경해서 회피할 수 있습니다.

ESXi upgrades during a VMware Cloud Foundation 3.5 upgrade fail due to misidentified Intel Disks for VSAN

Date Published: 2/21/2019

VCF 3.5 업그레이드 과정 중 ESXi의 업그레이드가 vSAN의 Intel disk 이슈로 실패할 수 있습니다. 문제가 발생한 host를 Silence Alert 설정을 하면 회피할 수 있습니다.

VMware vCenter

InstantClone fails due to exceed in maximum number of delta disks

Date Published: 2/19/2019

Delta dike의 limit 때문에 InstantClone이 실패할 수 있습니다. Soruce VM을 Freeze 하거나, redo log delta disk를 정리하는 방법으로 회피할 수 있습니다.

VMware vCloud Availability for vCloud Director

“Failed to install updates” error when upgrading the vRCS and vRMS components to vCloud Availability for vCloud Director 2.0.1.1

Date Published: 2/21/2019

/opt/vmware/logs 폴더가 다 사용되어 실패할 수 있습니다. 폴더에 있는 파일을 삭제해서 문제를 해결할 수 있습니다.

VMware vCloud Director for Service Provider

‘Number must not be null’ when creating a new Routed Network or modifying an existing Routed Network

Date Published: 2/20/2019

NAT 룰을 Edge Gateway에 만들때 tag가 빠져서 발생하는 것으로 REST API를 사용해서 회피할 수 있습니다.

VMware vRealize Orchestrator

vRealize Orchestrator node configured to authenticate against loadbalanced platform service controllers intermittently being marked as down

Date Published: 2/23/2019

LB 뒤에 있는 다수의 PSC 노드를 인증하도록 구성된 vRealize Orchestrator 노드가 down으로 표시되는 문제로 Session persistence timeout 값을 변경해서 해결할 수 있습니다.

VMware vSAN

ESXi host takes longer time to shutdown if ESXi host has been placed into Maintenance mode immediately after VMs were powered off on vSanDatastore.

Date Published: 2/20/2019

vSAN datastore에 있는 VM을 power off 한 후 바로 Maintenance mode로 변경할 경우 ESXi host shutdown이 오래 걸릴 수 있씁니다. VM poweroff 후 10초 후에 ESXi host를 Maintenance mode로 변경하면 회피할 수 있습니다.

vSAN diskgroup is not shown from Web Client after cache disk failure

Date Published: 2/18/2019

Cache disk가 실패하면 vSAN diskgroupdl Web Client에서 안 보일 수 있습니다. HTML5 client for vSphere Server 6.7에서 해결되었습니다.

vSAN Disk Groups fail to mount after boot

Date Published: 2/18/2019

Booting 과정에서 LSOM heap 부족으로 Mount가 실패할 수 있습니다. LSOM heap size를 늘려서 해결할 수 있습니다.

감사합니다.

VMworld 2017에서 발표된 vCenter Performance 관련 동영상을 정리해 보았습니다.

성능 이슈를 이해 하고 분석 하려면 기반 지식을 모두 알아야 하는데 이 동영상을 통해서 vCenter의 구조, 어떤 성능상 문제가 있을 수 있는지? 문제를 확인하는 방법 등을 확인할 수 있습니다.

동영상은 아래 링크에서 확인 가능 합니다.

VMworld 2017 - SER1504BE - VMware vCenter Performance Deep Dive

https://www.youtube.com/watch?v=cIAGxJ4tVbA

vCenter의 구성이 간단한하고 부하가 많이 걸리지 않은 경우 Windows 기반과 VCSA 모두 성능이 비슷 합니다. 하지만 복잡한 구성과 부하가 많이 걸리는 경우 vCenter Windows 버전보다 VCSA가 성능이 더 뛰어납니다. 

vCenter의 메인 서비스인 vpxd로 Client의 요청을 처리해서 DB에 저장하는 역할을 합니다. 사용자가 Web Browser를 사용해서 vCenter를 사용해서 VM 생성 등의 작업을 요청하면 요청을 vsphere-client가 받아서 SSO로 인증을 처리한 후 VPXD에 요청을 하는 것입니다. 요청을 받은 VPXD는 vSphere host에 요청을 하고 변경 사항을 DB에 저장하는 것입니다. vpxd는 C++로 작성 되었고 다른 서비스는 java나 Python 등으로 작성되었습니다.

VM을 켜는 동작을 좀 더 자세히 살펴 보면 다음과 같습니다. Client의 요청을 vCenter에서 받은 후 ESXi host에 Name을 Reserve 하고 VM 생성 요청을 한 후 상태를 확인 한 후 DB에 update 하고 Client에 결과를 돌려줍니다. 작업은 Storage와 DB 단에 지연이 있을 수 있으니 최적화를 해서 성능을 향상시킬 수 있습니다.

vCenter 노드는 Management node 를 담당하고 PSC 노드는 라이선싱, 디렉토리 서비스, SO를 담당합니다. vCenter와 PSC를 동일한 노드에 둘 수도 있고 대규모 환경에서는 분리할 수도 있습니다.

하나의 PSC에 여러개의 VC를 연결할 경우 하나이 Single Domain으로 관리할 수 있고 하나의 디렉토리 서비스를 사용하기 때문에 롤, 권한 라이선싱, 테그 등을 공유해서 관리할 수 있습니다. 이 구조에서는 PSC가 Single Point of Failure 이기 때문에 PSC를 2개 설치하고 Replication을 해서 HA 구성을 할 수 있습니다. (vSphere 6.7 에서는 Embeded PSC 구조에서 HA를 직접 구성할 수 있기 때문에 PSC를 외부로 설치하고 HA 구성을 할 필요가 없읍니다.)

https://blogs.vmware.com/vsphere/2018/11/external-platform-services-controller-a-thing-of-the-past.html

DSL 이라는 Tag를 검색한다고 할때 Web Browser 는 VC 를 통해서 PSC에 검색을 하고 VC 간에 다시 검색을 하게 됩니다. VC 간에 지연이 있다면 Tag 검색에 시간이 많이 걸리게 됩니다. VC나 PSC 사이에 통신 속도가 6.0 에서는 10ms 이하, 6.5 에서는 30ms 이하일 경우 하나의 site로 구성을 합니다.

VCs, PSC 사이의 통신이 6.0에서 10ms 이상 6.5에서 30ms 이상일 경우 multi-site를 구성 합니다. (6.0/6.5 모두 사이트간 통신 속도는 100ms 이하를 권장 합니다.)

vCenter는 동시에 640개의 작업을 처리할 수 있고 최대 2,000개의 세션을 처리할 수 있습니다. Esxi host (6.0+)은 호스트당 16개의 cost를 처리할 수 있습니다. Cost는 작업에 드는 부하(?)를 의미하는데 Clone/relocate/vMotion은 2, Storage vMotion은 8과 같이 정해져 있습니다. 아래 그림에서 Host A 에서 B로 Clone을 할 경우 두 호스트 모두에 2라는 부하(?)가 걸립니다. 하나의 호스트에서 Clone을 할 경우 해당 호스트에 4의 부하가 걸립니다.

Datastore의 동시 작업은 128까지 가능하고 vMotion의 부하는 1, Storage vMotion의 부하는 16 입니다. 1Gb NIC은 동시에 4, 10Gb NIC은 동시에 8까지 동시 작업이 가능하고 vMotion 은 1의 부하를 가집니다.

CPU와 Memory는 70%가 넘지 않아야 합니다. CPU가 70%가 넘어갈 경우 어떤 프로세스 (vpxd, vSphere-client, 등)의 CPU 사용률이 높아졌는지 확인해야 하며 vpxd의 사용률이 높으면 CPU를 추가해야 합니다. java 서비스가 높은 경우 GC 관련 동작인지 확인하고 메모리를 추가해야 합니다. Memory의 경우 swap 이 되지 않도록 충분한 메모리를 추가해 주어야 하며 VM으로 VC를 실행하고 있다면 VM size 만큼 메모리를 Reserve 해야 합니다.

VCSA를 사용할 경우 CPU and Memory를 통해서 CPU/Memory 사용률을 확인할 수 있으며 자세히 보려면 Windows의 경우 Task manager와 Process explorer 를 사용해서 확인하고 java 프로세스의 경우 User name이나 Command Line을 통해서 어떤 서비스가 실행되는지 확인할 수 있습니다. VCSA의 경우 vimtop 명령을 통해 확인 가능 합니다. (CPU 100% 이면 1 core를 사용하는 것이고 CPU 200% 이면 2 core를 사용하는 것입니다.)

API 요청 때문에 성능 문제가 발생할 경우 vpxd 로그나 vpxd-profiler log를 사용해서 어떤 API가 호출되는지 확인하고 session 수는 얼마나 되는지 등 정보를 확인해서 Troubleshooting 해야 합니다.

DB의 경우 DB 가 사용하는 파티션이 부족한 현상이 발생하는지 확인해야 하고 성능 문제가 있을 경우 profiling 을 해서 성능을 확인해야 합니다. VCSA의 경우 /opt/vmware/vpostgres/current/bin/pg_top -U postgres -d VCDB를 통해서 profiling 정보를 확인할 수 있습니다.

vimtop 명령을 사용해서 vSphere client의 Heap 에 문제가 있는지 확인할 수 있습니다.

감사합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/02/new-kb-articles-published-for-the-week-ending-9th-february2019.html

VMware vSphere ESXi

Storage Center systems with Front End SAS connectivity show lun capacity 0MB
Date Published: 2/5/2019 

Dell SC Storage에 사용하는 lsi-msgpt3 드라이버 이슈로 Capacity를 잘못 보여주거나 PSOD 등이 발생할 수 있습니다.

VMware Horizon

Installation of Horizon View Agent 7.7 or newer on Windows 2008 R2 Server may fail
Date Published: 2/5/2019 

설치하려는 커널 드라이버 서명 이슈로 설치에 실패할 수 있습니다. Microsoft KB3033939로 해결할 수 있습니다.

Issues when Horizon View Connection Server / Security Server when deployed with dissimilar FIPS mode configurations

Date Published: 2/4/2019

다른 FIPS 모드가 설정된 View Connection 서버를 같은 POD에 배포하면 통신 오류가 발생합니다. 동일 FOPS로 설정해야 합니다.

VMware NSX for vSphere

NSX for vSphere 6.4.x postgres database queuing too many events and alarms causing high NSX Manager CPU utilization and filling of ‘/common’ partition
Date Published: 2/7/2019

Cluster host, Edge Service 등에서 Event 가 너무 많이 발생되서 /common 파티션 공간 부족, High CPU, SSH 연결이 안되는 증상이 발생하는 것으로 Support의 지원을 받으셔야 합니다.

VMware NSX-T Data Center

NSX-T Manager Upgrade Stalls with GUI and API Inaccessible
Date Published: 2/8/2019

2.3.0에서 2.3.1로 업그레이드 할때 실패하는 cron job으로 등록된 du가 원인 입니다. 2.4에서 해결될 예정입니다.

VMware SDDC Manager

How to upgrade VMware Cloud Foundation to version 2.3.2.6
Date Published: 2/8/2019

VCF 2.3.2.5에서 2.3.2.6으로 업그레이드 하는 방법 입니다.

Operations against an existing NSX-T workload domain fails after upgrading VMware Cloud Foundation to version 3.5.1
Date Published: 2/4/2019

VCF 3.5.1로 업그레이드한 후 NSX-T workload domain이 실패하는 경우 인증서 관련 조치 방법 입니다.

VMware Cloud Foundation does not successfully update the admin password in vRealize Operations Manager
Date Published: 2/4/2019

VCF에서 vRealize Operations Manager의 관리자 암호를 변경하지 못하는 이슈로 수동 업데이트로 해결할 수 있습니다.

Stopping and starting services on the SDDC Manager 3.x appliance fails.
Date Published: 2/6/2019

SDDC Manager VM의 서비스를 중지/시작할 수 없는 이슈로 root 권한을 획득해야 합니다.

VMware Skyline Collector Appliance

Dual-Homing the Skyline Collector VA Appliance
Date Published: 2/7/2019

Dual-Homing 구성일때 Skyline 네트워크 구성법 입니다.

VMware vCloud Usage Meter

How to submit missing usage reports that prevent automatic reporting
Date Published: 2/9/2019

사율률 리포트 오류로 자동으로 제출되지 않을때 대처 방법 입니다. 

VMware vRealize Operations Manager

CIM related metrics are not present with Management Pack for Storage Devices in vRealize Operations Manager 6.x and up
Date Published: 2/6/2019

SMART data collection via CIM API가 Disable 되어 있는 경우 스토리지 장비에 대한 CIM 정보가 수집되지 않습니다.

VMware vSAN

vSAN Drives presentation changed from pass-through to RAID0 automatically after upgrading the host from 6.5 U2C to 6.5 P03 (due to SSACLI utility )
Date Published: 2/6/2019

호스트를 6.5 U2C HPE 빌드에서 6.5 Patch 03으로 업그레이드 한 경우 hp-hpsa plugin 인 ssacli 문제로 vSAN 드라이브가 pass-through 에서 RAID0로 변경되어 보일 수 있습니다. 

감사합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

원본 https://blogs.vmware.com/kb/2019/02/new-kb-articles-published-for-the-week-ending-2nd-february2018.html

VMware vSphere ESXi

NFS warning entries displayed in vmkernel logs for NFS version 4.1 and ESXi 6.7

Date Published: 1/28/2019 경고성 메시지로 시스템에 영향을 주지 않습니다.

VM deployed from template shows the original Network adapter in Summary tab incorrectly after powering VM on

Date Published: 1/28/2019 vCenter 6.5로 ESXi 6.0 이전을 관리할 때 ESXi 6.0에서 만들어진 Template으로 VM을 만들면 Network adapter 설정에 오류가 있습니다.

ESXi host is disconnected from vCenterServer and it is in an unresponsive state

Date Published: 1/29/2019 vmdk 파일 이름이 scsix: x.fileName 로 설정되어 있지 않아서 hostd가 계속 비정상종료되고 ESXi가 행 상태가 되는 이슈 입니다.  ESXi 6.0 P7에서 수정 되었습니다.

End of General Support for vSphere 6.0

Date Published: 1/31/2019 ESXi 5.5가 이미 EOGS 된 것처럼 ESX 6.0이 2020년 3월 12일에 EOGS 됩니다. 미리 업그레이드 준비를 하셔야 합니다.

VMware Horizon

Unable to start Skype calls from Virtual desktops using Virtualization Pack for Skype for Business.

Date Published: 1/30/2019 Virtualization pack for Skype for Business를 사용하면서 Proxy 설정이 되어 있는 경우 Skype call을 사용할 수 없습니다. 이 문제는 Horizon client 4.8에서 해결 되었습니다.

VMware SDDC Manager

Cloud Foundation upgrade from 3.0 to 3.5 fails with error “The registration of the ESXi upgrade bundle (iso) failed. Upgrade Failed”.

Date Published: 1/27/2019 Cloud Foundation 3.0에서 3.5로 업그레이드 할때 LCM 프로세스가 정상적으로 삭제가 되지 않아 발생하는 문제 입니다. 아직 패치가 있지는 않고 Workaround로 ssh를 사용해서 업그레이드 하는 vCenter에 접속해서 iso 파일을 삭제해야 합니다.

There is no option to change the MyVMware credentials on the Repository Settings page in SDDC Manager

Date Published: 1/30/2019 MyVMware 에서 암호를 변경한 후 SDDC Manager에서 오류 메시지가 나타나는 것으로 현재 해결 방법은 SDDC Manager VM에 접속해서 인증 정보를 변경해야 합니다.

Changing DNS Configuration of a vCenter breaks vCenter High Availability

Date Published: 1/30/2019 vCenter의 IP/DNS를 변경하는 것은 지원하지 않는 동작 입니다. VCHA 구성을 변경하기 전에 VCHA를 destory 하는 작업을 해야 합니다.

Unable to power ON Virtual machine with Error: Failed to power on the virtual machine. Cannot create Flash Read Cache: Operation failed.

Date Published: 1/29/2019 vFRC로 사용되던 SSD가 제거되어 발생한 문제로 vmx 파일을 수정해서 vFlash 구성 값을 변경해야 합니다.

VMware vRealize Automation

Request stuck at ‘In Progress’ if not approved within 7 days

Date Published: 1/31/2019 Deployment가 7일 안에 승인되지 않으면 Token이 제거되면서 발생하는 문제 입니다. in-progress task를 수동으로 삭제해야 합니다.

VMware vRealize Log Insight

vRealize Log Insight node fails to start with error “keystore was tampered with or password was incorrect”

Date Published: 1/31/2019 keystore가 사용자에 의해 수정되었거나 스토리지에 이슈가 있을 때 발생하는 이슈로 정상적인 노드에서 keystore를 복사해서 해결할 수 있습니다.

VMware vRealize Operations Manager

vRealize Operations Manager initial deploy fails if the Virtual Machine Port Group contains non-ASCII characters

Date Published: 1/31/2019 포트그룹 이름에 ASCII 가 아닌 한글이나 일본, 중국어 같은 문자가 들어 있을 경우 발생하는 이슈로 추후 해결될 예정으로 현재는 ASCII 문자만 사용해야 합니다.

VMware vSAN

vCenter reported “Host cannot communicate with other hosts” however there was never a network partition

Date Published: 1/31/2019 vSAN management 데몬의 메모리 이슈로 6.5 U2 P3에 해결 되었습니다.

감사합니다.