Platform Engineer

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/02/new-kb-articles-published-for-the-week-ending-23rd-february2019.html

VMware NSX for vSphere

Setting a Proxy Server in the Linux or Mac NSX SSL VPN Client Fails

Date Published: 2/23/2019

Linux와 Mac OS에서 SSL VPN client에서 Proxy server를 지원하지 않습니다. Windows 기반의 SSL VPN 기반 클라이언트를 사용해야 합니다.

Drop counters in DFW for packets increments in presence of fragmented packets in NSX-v

Date Published: 2/22/2019

DFW 에서 단편화된 패킷이 수신되면 DFW의 Drop count 가 올라 갑니다. NSX 6.3.6의 이슈로 NSX를 6.4.0 로 업그레이드 해야 합니다.

VMware SDDC Manager

VMware Cloud Foundation update fails during VRM update when Log Insight was manually upgraded

Date Published: 2/23/2019

Log Insight를 수동으로 먼저 업그레이드 한 경우 VCF 업데이트가 실패합니다. SDDC Manager Controller VM에 ssh로 접속해서 수동으로 변경을 해서 문제를 회피할 수 있습니다.

Workload domain expansion fails with the error “Validation Error: Not enough resources available for workload expansion”

Date Published: 2/20/2019

Workload domain이 redundancy 레벨이 High로 설정되어 있고 다른 렉에만 free host가 있는 경우 확장에 실패합니다. 같은 렉에 host를 추가하고 Redondency 를 Normal로 바꿔서 문제를 회피할 수 있습니다.

Creating an NSX-T VI workload domain in VMware Cloud Foundation 3.5.x fails

Date Published: 2/19/2019

NSX-T VI workload domain에 있는 host가 vmnic0 이름의 물리 nic이 없을때 발생하는 것으로 수동으로 분산 스취치 관련 설정을 변경해서 회피할 수 있습니다.

ESXi upgrades during a VMware Cloud Foundation 3.5 upgrade fail due to misidentified Intel Disks for VSAN

Date Published: 2/21/2019

VCF 3.5 업그레이드 과정 중 ESXi의 업그레이드가 vSAN의 Intel disk 이슈로 실패할 수 있습니다. 문제가 발생한 host를 Silence Alert 설정을 하면 회피할 수 있습니다.

VMware vCenter

InstantClone fails due to exceed in maximum number of delta disks

Date Published: 2/19/2019

Delta dike의 limit 때문에 InstantClone이 실패할 수 있습니다. Soruce VM을 Freeze 하거나, redo log delta disk를 정리하는 방법으로 회피할 수 있습니다.

VMware vCloud Availability for vCloud Director

“Failed to install updates” error when upgrading the vRCS and vRMS components to vCloud Availability for vCloud Director 2.0.1.1

Date Published: 2/21/2019

/opt/vmware/logs 폴더가 다 사용되어 실패할 수 있습니다. 폴더에 있는 파일을 삭제해서 문제를 해결할 수 있습니다.

VMware vCloud Director for Service Provider

‘Number must not be null’ when creating a new Routed Network or modifying an existing Routed Network

Date Published: 2/20/2019

NAT 룰을 Edge Gateway에 만들때 tag가 빠져서 발생하는 것으로 REST API를 사용해서 회피할 수 있습니다.

VMware vRealize Orchestrator

vRealize Orchestrator node configured to authenticate against loadbalanced platform service controllers intermittently being marked as down

Date Published: 2/23/2019

LB 뒤에 있는 다수의 PSC 노드를 인증하도록 구성된 vRealize Orchestrator 노드가 down으로 표시되는 문제로 Session persistence timeout 값을 변경해서 해결할 수 있습니다.

VMware vSAN

ESXi host takes longer time to shutdown if ESXi host has been placed into Maintenance mode immediately after VMs were powered off on vSanDatastore.

Date Published: 2/20/2019

vSAN datastore에 있는 VM을 power off 한 후 바로 Maintenance mode로 변경할 경우 ESXi host shutdown이 오래 걸릴 수 있씁니다. VM poweroff 후 10초 후에 ESXi host를 Maintenance mode로 변경하면 회피할 수 있습니다.

vSAN diskgroup is not shown from Web Client after cache disk failure

Date Published: 2/18/2019

Cache disk가 실패하면 vSAN diskgroupdl Web Client에서 안 보일 수 있습니다. HTML5 client for vSphere Server 6.7에서 해결되었습니다.

vSAN Disk Groups fail to mount after boot

Date Published: 2/18/2019

Booting 과정에서 LSOM heap 부족으로 Mount가 실패할 수 있습니다. LSOM heap size를 늘려서 해결할 수 있습니다.

감사합니다.

VMworld 2017에서 발표된 vCenter Performance 관련 동영상을 정리해 보았습니다.

성능 이슈를 이해 하고 분석 하려면 기반 지식을 모두 알아야 하는데 이 동영상을 통해서 vCenter의 구조, 어떤 성능상 문제가 있을 수 있는지? 문제를 확인하는 방법 등을 확인할 수 있습니다.

동영상은 아래 링크에서 확인 가능 합니다.

VMworld 2017 - SER1504BE - VMware vCenter Performance Deep Dive

https://www.youtube.com/watch?v=cIAGxJ4tVbA

vCenter의 구성이 간단한하고 부하가 많이 걸리지 않은 경우 Windows 기반과 VCSA 모두 성능이 비슷 합니다. 하지만 복잡한 구성과 부하가 많이 걸리는 경우 vCenter Windows 버전보다 VCSA가 성능이 더 뛰어납니다. 

vCenter의 메인 서비스인 vpxd로 Client의 요청을 처리해서 DB에 저장하는 역할을 합니다. 사용자가 Web Browser를 사용해서 vCenter를 사용해서 VM 생성 등의 작업을 요청하면 요청을 vsphere-client가 받아서 SSO로 인증을 처리한 후 VPXD에 요청을 하는 것입니다. 요청을 받은 VPXD는 vSphere host에 요청을 하고 변경 사항을 DB에 저장하는 것입니다. vpxd는 C++로 작성 되었고 다른 서비스는 java나 Python 등으로 작성되었습니다.

VM을 켜는 동작을 좀 더 자세히 살펴 보면 다음과 같습니다. Client의 요청을 vCenter에서 받은 후 ESXi host에 Name을 Reserve 하고 VM 생성 요청을 한 후 상태를 확인 한 후 DB에 update 하고 Client에 결과를 돌려줍니다. 작업은 Storage와 DB 단에 지연이 있을 수 있으니 최적화를 해서 성능을 향상시킬 수 있습니다.

vCenter 노드는 Management node 를 담당하고 PSC 노드는 라이선싱, 디렉토리 서비스, SO를 담당합니다. vCenter와 PSC를 동일한 노드에 둘 수도 있고 대규모 환경에서는 분리할 수도 있습니다.

하나의 PSC에 여러개의 VC를 연결할 경우 하나이 Single Domain으로 관리할 수 있고 하나의 디렉토리 서비스를 사용하기 때문에 롤, 권한 라이선싱, 테그 등을 공유해서 관리할 수 있습니다. 이 구조에서는 PSC가 Single Point of Failure 이기 때문에 PSC를 2개 설치하고 Replication을 해서 HA 구성을 할 수 있습니다. (vSphere 6.7 에서는 Embeded PSC 구조에서 HA를 직접 구성할 수 있기 때문에 PSC를 외부로 설치하고 HA 구성을 할 필요가 없읍니다.)

https://blogs.vmware.com/vsphere/2018/11/external-platform-services-controller-a-thing-of-the-past.html

DSL 이라는 Tag를 검색한다고 할때 Web Browser 는 VC 를 통해서 PSC에 검색을 하고 VC 간에 다시 검색을 하게 됩니다. VC 간에 지연이 있다면 Tag 검색에 시간이 많이 걸리게 됩니다. VC나 PSC 사이에 통신 속도가 6.0 에서는 10ms 이하, 6.5 에서는 30ms 이하일 경우 하나의 site로 구성을 합니다.

VCs, PSC 사이의 통신이 6.0에서 10ms 이상 6.5에서 30ms 이상일 경우 multi-site를 구성 합니다. (6.0/6.5 모두 사이트간 통신 속도는 100ms 이하를 권장 합니다.)

vCenter는 동시에 640개의 작업을 처리할 수 있고 최대 2,000개의 세션을 처리할 수 있습니다. Esxi host (6.0+)은 호스트당 16개의 cost를 처리할 수 있습니다. Cost는 작업에 드는 부하(?)를 의미하는데 Clone/relocate/vMotion은 2, Storage vMotion은 8과 같이 정해져 있습니다. 아래 그림에서 Host A 에서 B로 Clone을 할 경우 두 호스트 모두에 2라는 부하(?)가 걸립니다. 하나의 호스트에서 Clone을 할 경우 해당 호스트에 4의 부하가 걸립니다.

Datastore의 동시 작업은 128까지 가능하고 vMotion의 부하는 1, Storage vMotion의 부하는 16 입니다. 1Gb NIC은 동시에 4, 10Gb NIC은 동시에 8까지 동시 작업이 가능하고 vMotion 은 1의 부하를 가집니다.

CPU와 Memory는 70%가 넘지 않아야 합니다. CPU가 70%가 넘어갈 경우 어떤 프로세스 (vpxd, vSphere-client, 등)의 CPU 사용률이 높아졌는지 확인해야 하며 vpxd의 사용률이 높으면 CPU를 추가해야 합니다. java 서비스가 높은 경우 GC 관련 동작인지 확인하고 메모리를 추가해야 합니다. Memory의 경우 swap 이 되지 않도록 충분한 메모리를 추가해 주어야 하며 VM으로 VC를 실행하고 있다면 VM size 만큼 메모리를 Reserve 해야 합니다.

VCSA를 사용할 경우 CPU and Memory를 통해서 CPU/Memory 사용률을 확인할 수 있으며 자세히 보려면 Windows의 경우 Task manager와 Process explorer 를 사용해서 확인하고 java 프로세스의 경우 User name이나 Command Line을 통해서 어떤 서비스가 실행되는지 확인할 수 있습니다. VCSA의 경우 vimtop 명령을 통해 확인 가능 합니다. (CPU 100% 이면 1 core를 사용하는 것이고 CPU 200% 이면 2 core를 사용하는 것입니다.)

API 요청 때문에 성능 문제가 발생할 경우 vpxd 로그나 vpxd-profiler log를 사용해서 어떤 API가 호출되는지 확인하고 session 수는 얼마나 되는지 등 정보를 확인해서 Troubleshooting 해야 합니다.

DB의 경우 DB 가 사용하는 파티션이 부족한 현상이 발생하는지 확인해야 하고 성능 문제가 있을 경우 profiling 을 해서 성능을 확인해야 합니다. VCSA의 경우 /opt/vmware/vpostgres/current/bin/pg_top -U postgres -d VCDB를 통해서 profiling 정보를 확인할 수 있습니다.

vimtop 명령을 사용해서 vSphere client의 Heap 에 문제가 있는지 확인할 수 있습니다.

감사합니다.

VMware KB 블로그에 올라온 새로나온 KB를 정리해 보았습니다.

https://blogs.vmware.com/kb/2019/02/new-kb-articles-published-for-the-week-ending-16th-febuary2019.html

VMware vSphere ESXi

High number of “snmpd: lookup_vswitch: fetch VSI_MODULE_NODE_PortCfgs_properties failed Not found” messages in syslog.log

Date Published: 2/13/2019

Syslog logging 레벨이 WARNING 이상으로 설정되어 기록되는 것으로 서비스에 영향은 없습니다.

WMI Performance Adapter Service crashes on Windows 10 and Windows Server 2016 VMs with when VMware Tools

Date Published: 2/15/2019

VMware tools의 vmStatsProvider 의 이슈로 WmiApSrv.exe 서비스가 크래시되는 것으로 VMware Tools 10.1.10에서 fix 되었습니다.

VMware NSX Data Center

Rule Configuration failure is observed when multiple ports are configured for ALG Service

Date Published: 2/14/2019

FTP/SUNRPC와 같은 ALG 서비스를 위한 FW 룰을 만들때 다수의 Port가 구성되면 문제가 발생합니다. NSX 6.4.3에서 문제가 발생되고 아직까지 해결방법은 나오지 않았습니다. Workaround로 1개의 포트만 구성하셔야 합니다.

VMware NSX SD-WAN

VMware SD-WAN by VeloCloud Software Upgrade FAQ

Date Published: 2/14/2019

SD-WAN 제품인 VeloCloud 소프트웨어 업그레이드 FAQ 입니다.

VMware SDDC Manager

The HMS upgrade process fails with the following message “HMS Failed to Discover All Rack(s)” in VMware Cloud Foundation

Date Published: 2/11/2019

SSH HostKey 문제로 HMS 업그레이드가 실패 합니다. 수동으로 Hostkey를 재설정해서 해결할 수 있습니다.

How to import the SSL certificate from HPE Redfish for composability use in VMware Cloud Foundation 3.5.x

Date Published: 2/13/2019

원격관리를 위해 HPE Redfish connector를 연결할때 오류가 발생하며 Redfish SSL certificate를 수동으로 추가해야 합니다.

Creating an NSX-T VI workload domain in VMware Cloud Foundation 3.5.x fails on the Deploy NSX-T Manager task

Date Published: 2/11/2019

NSX-T workload domain을 위한 파일이 존재하지 않아서 오류가 발생하는 것으로 수동으로 복사해서 해결할 수 있습니다.

How to upgrade NSX-T components in VMware Cloud Foundation 3.5.1

Date Published: 2/11/2019

VCF를 3.5.1로 업그레이드 한 후 NSX-T를 2.3.1로 업그레이드해야 합니다.

VMware vCenter Server

Deploying a VM fails with “There is no VM_NAME process running for config file”

Date Published: 2/15/2019

Namespace DB 생성과 Migration 사이의  경합으로 VM이 생성되지 않을 수 있습니다. 현재 해결 방법을 찾고 있습니다.

VMware vRealize Operations Manager

The Service Discovery Management Pack provides minimal VM relationships and discovery

Date Published: 2/12/2019

Service Discovery Management Pack 2.1 부터 새로운 기능이 추가 되었습니다.

The list of child objects in a custom group under ‘Objects To Always Include/Exclude’ is incomplete in vRealize Operations 6.x and later

Date Published: 2/12/2019

Child object가 1000개의 제한을 가지고 있기 때문에 1000개 이상은 REST API를 사용해야 합니다.

“Troubleshoot a VM” is empty for users with limited access in vRealize Operations Manager 6.7 and higher

Date Published: 2/14/2019

admin 권한이 없으면 Troubleshoot a VM 대시보드에 아무것도 보이지 않는 이슈로 사용자나 그룹에 권한을 할당해야 볼 수 있습니다.

VMware vRealize Orchestrator

vRealize Orchestrator 7.x SQL plugin: “Add a Host” workflow fails with “Name already exists!”

Date Published: 2/12/2019

Orphaned 된 object가 남아 있어서 발생하는 오류로 XML resource element object를 삭제하면 됩니다.

VMware vSAN

vSAN KMS Health Check intermittently fails with SSL Handshake Timeout error: “QLC_ERR_TIMEOUT_EXPIRED” on vSphere 6.5

Date Published: 2/12/2019

vSAN 호스트와 KMS 사이의 지연이 1초 이상되면 발생하는 문제로 6.7에서 fix 되었으며 Certificate의 크기를 2048 bit으로 줄여서 회피할 수 있습니다.

감사합니다.