https://adventar.org/calendars/2248
本当によく貰う相談なので、オープンにしちゃいます。vSANの色々…
以前にちょっとだけお話した、耐障害性について
「どうして大丈夫なのか?」を ベーシックなMirroring構成で説明したいと思います。
==おさらい==
http://vm-fun.blogspot.jp/2016/07/vsan.html【1】RAID組まないとは?
・Raidを組む必要がない
・ESXサーバ内のHDDどうしでミラーリングではない(Raidではない)
・仮想マシンの可用性に合わせて、必要なデータは自動で他のESXサーバへ多重コピー
【2】キャッシュのSSDが1本では不安なので、Raid1で構成できる?
・1本で大丈夫、RAID不要!!
・キャッシュに書き込まれた内容は、他のESXサーバにもミラーリングしてくれる
==どうしてか?==
それはvSANのデータ保護の考え方が 従来のストレージとは全く異なるからです。
まずRAIDを必要としません。そしてパススルー構成が推奨されています。
「RAIDが無いのに、どうして大丈夫なの??」と非常に沢山の質問をいただくのですが、
それはデータを筐体(ESXサーバ)間で複数持ち合うことをしているからです。
※VMさんの資料から拝借します
で、「どのデータをどれだけ多重化するの?」という可用性ポリシーを決めているのが「FTT」といいます。
平たく言えば、何台ESXが倒れてもデータアクセスを継続したいですか?ということです。
必要なESXはの台数は「2N+1」で計算ができます。
1台倒れてもOK・・・2+1=3台
2台倒れてもOK・・・4+1=5台
1台倒れてもOK・・・2+1=3台
2台倒れてもOK・・・4+1=5台
この多重化は、ESXという単位ではなく「VMDKの単位」で指定ができます。
FTTに次いで、重要なのが、このデータ配置の原則です。
この挙動を理解すると「だからVSANはこうなるのね!」とよーくわかります。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjRdl5kMV2x3mRcDRwuGZ-iHh37ZGjfv6qfaESv0aXozwac5c7lV5f8NIkjRdvdcooYIeFU3fcwVCG9ZbN4tMQUVizNYM65VHPXNsOScUy30seXy2SgAeNqXIV77u5QL6LAv4Se_xYnGpEv/s640/14_%25E7%2595%25B0%25E3%2581%25AA%25E3%2582%258BESX%25E3%2581%25AB%25E5%2588%2586%25E6%2595%25A3%25E3%2581%2599%25E3%2582%258B%25E5%258E%259F%25E5%2589%2587.jpg)
同じESXには、多重化したデータを置かない。ということ
異なるESXに必ず配置されるのです。
ポリシで定義された状態を維持するために、自律的にデータを多重化してくれるので、運用が簡単なのです。
SPBM(Storage Policy-based Management)の本質はここにあります。
では、実際に障害を起こした結果をまとめます。
(具体的な画面は、DELLさんに寄稿した内容を参照いただければと思います)
==キャパシティ(HDD)を抜くと?==
==キャッシュ(SSD)を抜いたら?==
3台構成と4台構成での比較を見ながら進めてみます。
しかし、該当のDiskGroupにあるキャパシティ(HDD)へのアクセスがブロックされてしまいました。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhDPqamFmFjXWDm2NdIByuDvtOzZfWeOsKohoBYc2ql5mENWf-1WqcTnAGmWaPj-N06tb8-sLy5Z8a49w_RKJpxLF6I9p_3IPZJoYMOnIAk1OeEfeJKG6a2etnn2OrMAFfTVEmg9cbMYydC/s200/62_3N-Cache.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjnP0vqMCdT9PMC0SlmdRTJgYdnYTazOriLql3A7BrL6rCZoDMML8jJxhCtIkuQg8zxEcrF56AkqzBzbWZbqIYsagUD8cv6P7Mf6J_ZOjlWXUnT5d0xfBmg-6uYTHoRRCpzgandksE4Xdme/s200/76_4N-Cache.jpg)
3台構成(1DiskGroup)は何もできませんが、4台構成はコピーが始まります。データ配置の原則に従って、コピーする先が無いという状態のためです。
HAの影響を受けない、他のESX上の仮想マシンは I/Oが継続されています。
ESXホストの場合、デフォルトでは60分待機状態となります。
一時的な停止(例:メンテナンス)状態に入ったという判定が入ります。
一時的な停止(例:メンテナンス)状態に入ったという判定が入ります。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgLz7yT2mgjsWPTaelJZxlBfKbIacT5URT5uElF8F37h0VGDIxVfmZo30O-4nHPxacwC28eU2xS70zliSP0KP5twd25DABhfUr3TLjoCfSdlzSs8JzmvtSa51d3zyOCadUadcpt0U5OGrrm/s200/67_3N-ESX.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhcYE731wo3HGWoRSnI43WPSOT_05wB_2ysj6LIm2-ijhVOUqrXH8Hyl-QT9bvy-qp1zgrzeMXw9GPBVpb5NlQ-pZgSbPqKyeF7A6QEw5sPfs4Do2V7rOvHOYovkm0WvtNUMylevTlQoztR/s200/83_4N-ESX.jpg)
やはり、4台構成は コピー先があるので、60分後に同期が走ります。
3台構成は何も動きがありません。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgQGhRF7UrNPJzLIhaApXVrM949cv9mgGxberhPSHr8pWYgGVXRpvf8l6vwks1ywNWcaG-L_sLGOpmqxsx_Y6pFZMLK22vjr-Na0Aipof-qRBakWPm-sT1gfo0d6RKtBmkzxrFglEvNYQUi/s200/67_3N-ESX.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiGGXCeYd0Ix5epH2YAcrGFnbpIkSMvOHdZ0Z-6PQnDJnw8rUXJhZzpbCN0O2SflsIZXBpMOAUvy3rLaKobqDStTUj6Xf3DvXAIIcbKTHMYJEJM7pv2YNTmHCMJuATHTzc0q4EhZQeEUgJZ/s200/83_4N-ESX.jpg)
3台構成は復帰後に差分同期されますが、
4台構成は既にコピー完了のため、動きは特にありません。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiKz671Bc9_FTDGVlzOjsHYf6VvN6nYmuWjBhhb-sYeAHnNzsyqLwWG549WPIwev3714CxLfEsDbgqfNYoxAnrGZG2ATtDJKMKgCmCIxpE37TBMxT6_JQQ5A5uwiE7cQwQeZAr-OjCcQIta/s200/68_3N-ESX.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZEQ4mm78T8N5Q4JzfeV9zkmk9fkoZT2Z10oAQThE2bTg5cAMXZYsV1EvvivMKNcuuwjlbqaQ_vlUYJk2AuK61pXtWXN-jreT__jolqzlAzntWVScjchau3j-PNjPytkYMSAD8jIEqdPrZ/s200/84_4N-ESX.jpg)
==どういう同期をしているのか?==
必要なデータ(ポリシーで定義されたもの)だけをコピーしています。
なので、RAID再構築のような全体の負荷がかかるような処理がないのが特徴です。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgfClzXNy2mLAy1c541hb5Lre_CwufcXDLC0swgPvJf_eQuXP5MmK3OBrE8SN2MEwTeg1cnrAD9_tWT3zZ9bTQ7Mgg64DuTOaOIDc86DCxSOWoDO4jfYqkE8fRaQyFyrGRmnSWyXO4fsXSP/s400/86_%25E3%2583%259F%25E3%2583%25A9%25E3%2583%25BC%25E3%2583%25AA%25E3%2583%25B3%25E3%2582%25AF%25E3%2582%2599%25E6%25A7%258B%25E9%2580%25A0.jpg)
「データ配置の原則」を冒頭にお話しましたが、
3台構成と4台構成でどうして挙動が違うのか?をまとめると下記のようになります。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgH7nAQNU-rVjaxt7ggPn1drh6dcC0GQ9ik-9B5vcQRYX_ccVxb698m0pfVaVhouj8cXN-QPJz-EBZjVKW9hurFV5mMKyTTkWVjCD7Jiqs2npLRH_Dn6F8ysjuXmRxCE3TNjQwio778iF3A/s400/87_%25E8%25A4%2587%25E8%25A3%25BD%25E3%2581%25AE%25E5%2584%25AA%25E5%2585%2588%25E5%25BA%25A6.jpg)
このように、ポリシーを遵守しようと自律的に動いてくれるのです。
だから、”SPBM”ということなんです。 これがVSANの素晴らしいポイント。
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhkBzrF381LXkpgzI6ixuHIiZa4RhDAnAu0ySNW6LglISbpsxCrx9QbzKKO8d3VBjdpbfFrp2FcrOiNFI2RQw1X5ImKEbLt5CH24qKNguSxJwerwxB01jT-ZXWEfNUPzXUWmafjOE_i8PhO/s400/89_3Node.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgyJxjif1425QWp966qfOG-LlDP8EBqZGXZEiq6PT_PQiGkinHnUFizvK-rym0tGsjHOILqYoyigDgmIf6s7i9Yi6zdjJ3tvLhETlGJE78zT_bD4dfy3kFRvxgCKwnjHlr26ZHjrDZGiW3V/s400/90_4Node.jpg)
次回、補足事項を書きます。(すみません。。鉄板構成の話はまた今度。。。)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgH7nAQNU-rVjaxt7ggPn1drh6dcC0GQ9ik-9B5vcQRYX_ccVxb698m0pfVaVhouj8cXN-QPJz-EBZjVKW9hurFV5mMKyTTkWVjCD7Jiqs2npLRH_Dn6F8ysjuXmRxCE3TNjQwio778iF3A/s400/87_%25E8%25A4%2587%25E8%25A3%25BD%25E3%2581%25AE%25E5%2584%25AA%25E5%2585%2588%25E5%25BA%25A6.jpg)
このように、ポリシーを遵守しようと自律的に動いてくれるのです。
だから、”SPBM”ということなんです。 これがVSANの素晴らしいポイント。
==挙動の違い、まとめ==
この原則に従って、DiskGroup数やホスト数を考えてみてください。![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhkBzrF381LXkpgzI6ixuHIiZa4RhDAnAu0ySNW6LglISbpsxCrx9QbzKKO8d3VBjdpbfFrp2FcrOiNFI2RQw1X5ImKEbLt5CH24qKNguSxJwerwxB01jT-ZXWEfNUPzXUWmafjOE_i8PhO/s400/89_3Node.jpg)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgyJxjif1425QWp966qfOG-LlDP8EBqZGXZEiq6PT_PQiGkinHnUFizvK-rym0tGsjHOILqYoyigDgmIf6s7i9Yi6zdjJ3tvLhETlGJE78zT_bD4dfy3kFRvxgCKwnjHlr26ZHjrDZGiW3V/s400/90_4Node.jpg)
次回、補足事項を書きます。(すみません。。鉄板構成の話はまた今度。。。)