감각적신사 의 멱살잡고 IT

1. 5 Types of Migration

- cold : VM power off 상태에서의 마이그레이션

- suspended : VM stop process == VM의 CPU, memory data 는 살아있는 상태에서의 마이그레이션

- vMotion : VM runnging 상태에서의 Live migration

- storage vMotion : VM runnging 상태에서의 storage 영역의 마이그레이션

            - data mover : DataStore 간 데이터를 copy 한다

            - data mover > Mirror Driver : VM 의 어떤 data 를 copy 했는지 알려준다

            - Mirror Driver > data mover : VM 의 어떤 data 를 copy 하여 되는지 알려준다

                . 변경된 데이터 역시 다시 옮기게끔 한다

            - 100 % 데이터 마이그레이션이 종료되어야 새로운 데이터스토어를 보게끔 ESXi 가 VM 과 데이터스토어 사이에 새로이 process 를 띄운다

- cross-host vMotion = storage vMotion + vMotion

. vMotion after storage vMotion

2. vMotion : migration VM to other ESXi == Live migration

- 조건 Pre-requirement

0. 하나의 data center 에서 마이그레이션이 이루어져야 한다

. DC : 물리적으로 하나의 지역이라는 의미가 아니라 Logical 하게 하나의 지역을 뜻함

150 ms / rtt 이상 걸리면 안된다

1. shared storage 가 있어야 한다

Fibre Channel SAN(Storage Area Network) OR iSCSI 및 NAS

2. VMkernel port group for vMotion 이 있어야 한다

3. same port group & same PG configuration

4. same CPU Architecture

5. 옮겨가려는 ESXi 에 충분한 memory 가 있어야 한다

- vMotion 실행되는 이유

- resource 부족

- ESXi crush 나 down

- 특징

- vMotion traffic 이 발생한다

- vMotion 중에도 application 은 동직할 수 있다

3. 3 가지의 failure 시나리오

- ESXi failure ( Master ESXi  -- heardbeat --- Slave ESXi )

            - vm 도 죽는다 >> 다른 ESXi 에서 생성해야 한다

            - shared storage 가 필요하다

- VM failure ( ESXi -- heardbeat --- VM )

    - FDM (Fault Domain Manager) 을 통해 vm 을 모니터링 한다

            - vm hang : 마우스 안움직이고, reboot 도 안된다 == stop all process

                . over utilized

                . os crush or fail

            - ESXi 가 user 동작없이 reset 을 시도한다????

- Application failure ( VM --- how to monitor --- app )

            - AppHA : vmware

            - Hypric : third party library

4. HA (High Availability)

- minimum down time을 지향하기 위한 방법

- HA 구성 순서

1. create Cluster

2. add ESXi

- 내부적으로 3가지 동작이 일어난다

. HA preparation happens

. vCenter 에 의해 HA Agent on ESXi(FDM aka Fault Domain Manager) 설치한다

. Election 을 통해 Master 와 Slave 가 결정된다 

 : lexical 투표방식은 ESXi에 랜덤으로 숫자를 부여하여 처음엔 큰 수 제외, 다음엔 큰 수 선택

3. setting Cluster Options > vSphere HA

- Enable Host Monitoring : ESXi 가 VM 의 상태를 확인하기 위한 옵션

- Admission Control : failure 한 VM 을 동작하기 위해 resource 를 guest VM 에 reserve (not allocate) 해주느냐 마느냐 선택

- specify failover hosts : dedicate 한 서버를 구축하여 HA 를 구성한다

- percentage of cluster resource : cluster 의 남은 reserved resource 의 대한 % 로 계산

- host failovers the cluster tolerates

- VM Options : 

- VM restart priority

- Host Isolation Response (leave powerd on(mgmt 에만 문제가 있을때) / Power off / Shutdown(안전한 방법))

※ Isolation 를 판단하는 방법 : (network 통신을 하지 못하는 경우)

ㄴ 인근 ESXi 로 부터 heardbeat 를 못받는다

ㄴ election 을 시도하는데 못받아온다

ㄴ getway로 ping 을 테스트 한다

- VM Monitoring : VM only, VM and application

- EVC : Enhanced vMotion Compatibility (AMD or Intel)

5. DRS http://searchvmware.techtarget.com/definition/VMware-DRS

- distributed resource scheduler

- 2 가지 기능

1. initial placement

2. load balancing

- 3가지 options

1. manually > recommendation by DRS

2. partially automatic > (load balancering 은 오토로)

3. fully automatic

#Storage

------------------

0. block based VS file system : http://www.excitingip.com/2447/advantages-of-file-level-storage-vs-advantages-of-block-level-storage/

    - block based 특징

- 무정지 확장성, 뛰어난 성능(i/o 퍼포먼스), 재난복구 솔루션

- 고비용

   - file system

- 설치와 관리 용이, TCO 측면에서 저렴, 이기종 시스템간 파일 공유와 전송 가능, 확장

- 대역폭의 한계

1. SAN VS NAS VS DAS 

   - SAN (Storage Area Netork) : 

. 여러대의 호스트가 HBA(Host Bus Adapter, 일반적으로 F/C Interface)를 통해 스토리지로 N:1 연결 가능

. Raw Device와 파일시스템을 공유할 수 있음(Raw Device)

. 동일한 파일시스템을 사용할 수 있는 플랫폼끼리만 공유 가능

. 성능은 TCP/IP 오버헤드가 없는 SAN이 더 빠름

. 통신 : 이더넷물리 ▶▶ 커널 SAN 드러이버 호출

   - NAS (Network Attached Storage) : 

. 여러대의 호스트가 Network Interface(Ethernet, Gigabit Ethernet, FCoE 등)를 통해 NAS스토리지로 N:1 연결 가능

. 일반적으로 NFS, CIFS등으로 파일시스템을 공유함(공유파일시스템 형식이므로 이기종 플랫폼 가능)

. N/W기반이기 때문에 IP통신을 함

. 통신 : 이더넷물리 ▶▶ TCP/IP 넷트웍 ▶▶ TCP/IP 전송 ▶▶ TCP/IP 응용 ▶▶ 서버응용 ~ 파일시스템 및 장치 드라이버 ~

   - DAS : 호스트에서 스토리지 또는 디스크로 1:1 직접 연결(SCSI,iSCSI 등)

2. NFS  : NAS 방식을 통한 storage 연결

- 데이터 흐름 : VM > ESXi NIC > switch > NFS

- storage 영역을 partition 하고 파티션 된 공간을 file system 으로 사용할 수 있게끔 format 한다

3. VMFS : SAN 방식을 통한 storage 연결

- controller 가 masking 한다 == ESXi cluster와 taget 을 mapping 한다

- ESXi IP 기반으로 .. 172.20.10.201 --- target0

- target : connect LUNs to masking

- LUNs : Working with a SAN's logical unit numbers

- http://searchstorage.techtarget.com/essentialguide/LUN-storage-Working-with-a-SANs-logical-unit-numbers

4. RDM (Raw Device Mapping)

- rdm.vmdk, flat.vmdk 은 data store 의 같은 폳더 안에 있다

- 일반적 구성

- OS c drive : VM > SCSI command to write data on SCSI DISK > ESXi > LUN storage > flat.vmdk 

- d drive : VM > LUN storage (rdm.vmdk 가 address of LUN 을 알고 있다)

- 성능적으로 유리하다 (파일 < raw device)

- 여러 windows 에 공유하는 파일시스템의 경우, Oracle DB 등...

5. RAID 구성

- http://aroundck.tistory.com/2025

- ESXi Cluster 의 각각의 local storage 는 RAID 0 과 같이 stripe 로 구성된다..

#NSX

------------------

1. 정의 : 가상화 네트워크 와 보안 솔루션

- 실제 물리 스위치, 라우터를 다루는 것이 아니라, 가상 컴포넌트를 만들고 제어한다

- 목표 : remove dependency switch, router. VM 스스로 통신의 destination 을 찾게끔 한다

- 관련된 기능

- router

- static

                        - dynamic

                - OSPF

                - BGP

                - IS-IS

        - firewall

        - load balancer

        - NAT

        - VPN

        - IDS - IPS

        - Antivirus

        - spootgaurd

        - activity monitoring

        - live monitoring

        - data compliance

        - DHCP

2. NSX 의 컴포넌트

    - NSX Manager : Virtual Appliance 로 vCenter 와 1대1 mapping 하여 https:443 통신한다

    - NSX 에서 생성하는 logical switch 를 생성 및 관리한다

    - ESXi 에 5개의 NSX 필수 컴포넌트를 설치한다

    - 설정 및 기본 정보를 postgreSQL 에 저장한다

    - NSX Controllers : 아래 테이블 정보를 관리한다

        - ARP table

        - MAC table

        - VTEP table

        - Routing table

※ event 발생 시 업데이트 되며 vCenter 에 변경사항을 공유한다

    - NSX Edge

    - NSX Control VM : VM 인스턴스 로 ESXi 에 논리적 router 를 설치하는 용도이다

    - 물리적 router 를 거치지 않는 장점이 있다 == data traffic optimization

    - network 를 논리적으로 분리하여 사용하기 용이 하다

    - NSX Edge Service Gateway : VM 인스턴스 로 외부통신 (N-S) 을 위해 필요한 컴포넌트

    - router

                - static

                - dynamic

                    . OSPF

                    . BGP

                    . IS-IS

                - firewall

                - load balancer

                - NAT

                - VPN

                - DHCP

- NSX Distributed Logical Router : ESXi 호스트간 E-W 통신을 위해 필요한 컴포넌트

3. NSX structure

4. NSX 사용을 위한 preparation

- vCenter, vSphere, NSX Manager 가 필요하다

- ESXi 에 5가지의 컴포넌트 를 설치해야 한다 

- 메뉴 > Networking and security > Host preparation

- ESXi user world 부분 2 Agents

1. netcpa

2. vsFwd

- ESXi kernel world 부분 3 Agents

1. DFW ( distributed firewall )     ↘

2. VXLAN ( virtual extensible lan ) → VIBs ( Virtual Infrastructure Bundle )

3. DLR ( distributed logical router ) ↗

5. VXLAN 이란 : overlay L2 to L3

- 캡슐화 패킷 전송을 지원한다

- VTEP : ESXi host 커뮤니케이션을 위한 컴포넌트

- VM -> port group (vxlan:5000,5001)-> VTEP , -> v switch -> p switch

- 캡슐화를 통해 Ip 를 보호한다

- TCP 를 UDP 로 캡슐화 한다 (UDP, TCP 차이 : http://wooguy-tcpip.blogspot.kr/2014/04/tcp-udp.html)

- 소스 port 는 항상 random 하게 부여된다

- 타겟 port 는 4789 (vxlan 의 고정된 포트)

- VM -> port group (vlan:10) , tag vlan only -> v switch -> p switch : VM 의 Ip 추적이 가능하다

6. NSX 를 통한 2 type of communication

- EAST - WEST : VM - VM 10.11.10.12 -- 10.11.10.13 (by DLR) 

- North - South : VM - client desktop 10.11.10.12 -- 192.168.110.12 (by edge)

7. 네트워크 layer 별 구분

http://defensecurity.tistory.com/entry/%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%EC%9E%A5%EB%B9%84-L2-%C2%B7-L3-%C2%B7-L4-%C2%B7-L7

    - L2 스위치 > MAC 정보(MAC Table)를 보고 스위칭 : 동일 네트워크 환경

    - L3 스위치 > IP 정보(Routing Table)를 보고 스위칭 : 다른 네트워크 환경

    - L4 스위치 > IP+Port(Session or Connection)를 보고 스위칭

    - L7 스위치 > 실제 App 데이터(Content)를 보고 스위칭컴포넌트를 설치한다

0. Snapshot

- 사용중인 공간은 수정이 불가능 하다

- 미사용중인 공간에 대해 delta.vmdk 파일을 생성한다 == 실제 사용 공간

- 최소 16MB 이며, 최대 남은 전체 사용공간을 사용할 수 있다

- 사용중인 공간의 수정, 삭제 여부를 기록한다

- 추가 및 변경 사항을 기록한다

- Copy-on-Write (COW) 방식 : http://hybridstoragekorea.blogspot.kr/2013/10/blog-post_4204.html

- snapshot 삭제 조건

- 현재 사용중인 이미지 와의 연결 관계가 없어야 한다

- child snapshot 이 없어야 한다

- 그림 상에서는 스냅샷4만 삭제가 가능하다, 나머지 스냅샷은 merge 를 통해 지울 수 있다

        -  snapshot merge

          - 스냅샷2를 삭제 시, 스냅샷1에 스냅샷2의 변경사항이 merge 된다 > 스냅샷1에는 app v2.0 의 정보 로 업데이트 된다

            - 스냅샷3을 삭제 시, 스냅샷3의 변경사항이 스냅샷4에 merge 된다 > 스냅샷4에는 app v2.0.4 가 존재한다 (?????)

        - VM 생성시, snapshot 설정 옵션

                - Independent : 스냅샷 없는 DISK

                - persistent : write and save

                - nonpersistent : vm 이 종료되면 disk 의 변경사항이 삭제된다 (데모, 로그, ...) != reboot 은 해당되지 않는다

1. VApps

- 정의 : 여러 VM 들을 관리, 설정하기 위한 집합 도구 http://searchvmware.techtarget.com/definition/VMware-vApp

- 하나의 VM 은 하나의 VApps 에 속한다

- 단일 ESXi 혹은 여러 ESXi 에 적용할 수 있다

- 기능 :

            - 같은 그룹 내의 VM들의 실행 / 중단을 순차적으로 진행하게끔 한다

            - ip pool 을 VM Vapps 그룹에 제공하여 서로 인식할 수 있게끔 한다

            - 같은 그룹 내의 resource 의 할당을 제어할 수 있게끔 한다

            - shared value 각각 부여하고 그 순서에 맞게 할당한다 high == 중요하다 (리소스 우선 부여)

2. Resource Pool

- 동작 단위 : ESXi

- memory 관리

- 종류

        - limit : VM 에 부여하는 최대 제한 메모리

        - allocate memory : VM 에 할당하는 최대치의 메모리지만, no guaranteed

        - reservate : VM 에 제공을 약속한 최소치의 메모리로, guaranteed

        - overhead : VM을 power on 하기 위한 최소한의 메모리로, ESXi 가 사용하는 VM 을 움직이게 하기 위한 추가적인 memory

- SWAP : 디스크 공간을 메모리로 사용할 수 있게끔 할당한다

- 일반적인 swap partition 의 활용 > http://sergeswin.com/1034

- 장점 : 추가 메로리 사용, 빠른속도의 메모리에서 더 많은 공간을 사용할 수 있게끔 지원

- 단점 : 동적 할당이 불가능하여 디스크를 차지함, 디스크 소모율 높다

        - ESXi 가 각 VM 에 SPY 프로그램을 설치, 메모리 사용량을 확인하여 접근이 덜한 메모리를 swap 영역으로 보내고 이로 발생한 여유 메모리를 사용량이 많은 VM 에 할당한다

- CPU 관리

- 1 core = 1LCPU

- vm 마다 8 core 부여 가능

- CPU Scheduler 에 의해 VM 에 CPU 를 할당 및 회수 한다

- 설계 목표 http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/vmware-vsphere-cpu-sched-performance-white-paper.pdf

- 공정성

            - 응답반응속도

            - 확장성

- pool group 관리

- 하나의 VM 은 1 Resource Pool 에 속하게 된다

- 같은 VM 그룹내에 VM 들에게 shared value 의 값을 부여하고 그 값의 비중에 따라, resource 부족할 시에 순차적으로 분배한다

- 다른 그룹 간에 그룹 share value 의 값을 부여하고 그 값의 비중에 따라, resource 부족할 시에 순차적으로 분배한다

3. View

- 정의 : End User 에게 가상의 데스크탑을 지원해주는 platform http://searchvmware.techtarget.com/What-is-VMware-View

- server 와 다른 application 들을 제공하는 desktop 용 OS 들을 사용한다

# VMware - network

------------------------

0. ESXi 는 총 4개의 NIC 를 가질수 있다

1. vSwitch 2 types connection 기술

- virtual standard switch : virtual machine port group - per HOST

     - 동작 1. 에 대한 Ethernet Frame 의 값 변화

     - 동작 2. 에 대한 Ethernet Frame 의 값 변화  

. 같은 subnet 을 사용하는 IP 간에 (ESXi) 통신할 수 있도록 지원

. 이때 physical switch을 지나는데 mac table 를 통해 확인하여 통신한다

mac table : 물리적 network card

request 는 broadcase 형태로 나가서 받아준다

.한번의 통신이후 에는 최초 VM 의 arp table 에 값을 저장하고 있다

     - virtual distributed switch : VMkernel port - per DataCenter

. 용도

- easy management

- storage (NFS/iSCSI)

- vMotion (migration VM to other ESXi)

- fault tolerance

- replication

- virtual SAN

- VXLAN

2. VLAN 동작 

- private 한 환경을 제공하여 separate network 구성 한다

. tagging 하여 segement 를 나눈다

                . https://www.thomas-krenn.com/en/wiki/VLAN_Basics 

- Trunk : vLAN TAG 정보들을 알고 있어 연결 시켜주는 역할

- 패킷은 

. VM A -> tagging -> switchA 1 -> untagging -> VM D

. VM B -> tagging -> switchA 2 -> truck -> router -> truck -> switchB 2 -> untagging -> VM K

3. VDS (Virtual Distributed Switch)

- vCenter 에서 생성하고 물리스위치를 보유한다 [Managerment]  <---- 히든 가상 스위치 ----> ESXi [Use]

#ESXi

--------------

1. ESX

- vmware OS : CentOS 계열을 기반으로 vmware 의 하이퍼바이저를 지원하는 OS

- 현재 6 버전 까지 나왔다

2. ESXi

- vmware 의 하이퍼바이저(서버 가상화를 지원)

- 동작

. Virtual Machine 을 제어한다

        . 조인된(제공된) physical hardware 자원을 VM 에 제공/제어 한다

3. ESXi 의 Memory 관리

    - 메로리 종류

    . allocate memory : 할당할 수 있다면 제공한다 no guarantee

    . reservation memory : 반드시 제공한다 guarantee

        swap size = allocate memory - reservation memory

    - 전체 VM 의 총 MEM 합은 ESXi 가 가지고 있는 물리적 메모리 이상의 메모리를 부여할 수 있다 ??

    . but ESXi 가 남는 memory 가 없다면 instance 를 start 할 수 없다

    . 실제 사용하는 MEM 의 총합은 ESXi 가 가지고 있는 물리적 메모리를 넘길 수 없다

    - 주요 기술 http://www.simongreaves.co.uk/vmware-virtual-machine-memory-guide/

    . balloning : VM 의 free / idle(잡혀있지만 사용중이지 않음) 메로리에 대한 회수 필요한 VM 에 제공한다

. compression : balloning 이후에 동작한다

. swapping : compression 으로도 memory 할당이 어려울 경우, disk space file act as memory

4. ESXi 의 vm 생성에 해야하는 선택들

    - harddisk 선택 (ESXi 가 선택한 하드웨어를 제공해준다)

    - Virtual Machine Version 선택

    - OS 선택(하드웨어가 먼저다 > 하드웨어에 따라 동작할 수 있는 OS 가 제한된다??)

    - CPU 선택(각 vm 마다 최대 8 core)

    . 1 core = 1LCPU(logical CPU) = 1 vCPU = 1 logical segment

    - MEM 선택

    - network 선택(각 vm 마다 최대 10 개 선택 가능)

    - SCSI 선택

    - Disk 선택 http://jangpd007.tistory.com/181

    . thick Provision : dedicate 하게 client 에게 제공한다

        .. lazy : 빠르게 비워지는 씩 프로비저닝

      .. eager : 느리게 비워지는 씩 프로비저닝

    . thin Provision : ballooning

      .. block allocation - 얼마나 storage 를 사용할 것인가? not happen

      .. zero filling - format(initionlization) ? not happen

      .. input / output 이 많다면 좋은방법은 아니다

5. vm 생성시 만들어지는 파일들

    - {{vm_name}}.vmx : main config file

    - {{vm_name}}.vmx~ : instance 의 메인 config 파일 의 현재상태 값 저장

    - {{vm_name}}.vswp : running intance 에 대한 정보가 memory 형태로 저장하고 있다 >> stop instance 의 경우 없다

    - {{vm_name}}.vmdk: description (kb)

    - {{vm_name}}.flat.vmdk : data (GB)

    - {{vm_name}}.vmxf : workstation 간 이동시에 필요하다 (application 하이퍼바이져...)

    - {{vm_name}}.log : vm 의 동작을 기록한다

    - {{vm_name}}.nvram : vm 의 BIOS 설정 기록

    - vmx.{{vm_name}}.vswp : vm 을 관리하기워한 overhead swap 을 저장한다

6. Templates & clone : 생성된 custom VM 을 관리하는 방법

    - clone : exact same copy >> ip, windows SID, license 같게 됨으로 문제가 된다

windows 는 sysprep 를 제공하여 포멧없이 타 컴퓨터로 하드이식 한다

    - Templates : default form 을 제공하여 쉽게 VM 을 생성하도록 한다

1. SDDC : Software Defined Data Center

  - 가상화 resource 를 관리해주는 공간

  - 하드웨어의 의존성 없이 소프트웨어 수준에서 컨트롤 할 수 있는 데이터 센터

  - 가격 / 시간 의 이점이 있다

2. vSphere : server 가상화

 - CPU

 - Memory

3. NSX : network 가상화

4. vSAN : storage 가상화