Designing a Distributed File Storage System

Taqsimlangan fayl saqlash tizimini loyihalash

Uy arxividagi bitta jild HUJJATLAR bilan, bank sейfidagi KO'CHIRILGAN, BIRDAN ORTIQ shahar bo'ylab SAQLANADIGAN muhim hujjatlar orasidagi farqni tasavvur qiling: birinchisi YO'QOLSA, hammasi yo'qoladi. Ikkinchisi esa, hatto bitta filial YONIB ketsa ham, boshqa filiallardagi NUSXA orqali TIKLANADI. Dropbox yoki Google Drive kabi taqsimlangan fayl saqlash tizimi — AYNAN shu ikkinchi turdagi ISHONCHLILIKNI, MILLIONLAB foydalanuvchi uchun ta'minlaydi.

Talab va miqyos: bunday tizim ikkita ASOSIY vazifani bajaradi — fayllarni ISHONCHLI saqlash (yo'qolmasligi) va ularni TEZ, istalgan qurilmadan OLISH (yuklab olish). Fayllar KATTA (bir necha megabaytdan gigabaytgacha) bo'lishi mumkin, shuning uchun ularni ODDIY bazada (SQL yoki NoSQL — SQL vs NoSQL at Scale darsi) saqlash NOO'RIN — baza METADATA (fayl nomi, egasi, papka tuzilmasi) uchun, alohida object storage (masalan, Amazon S3 kabi) esa FAYLNING O'ZI uchun ishlatiladi.

Komponent	Nima saqlanadi	Bog'liq dars
Metadata baza	Fayl nomi, hajmi, papka joylashuvi, kim bilan BAHAM ko'rilgan	SQL vs NoSQL at Scale
Object storage (bo'lingan fayllar)	Faylning O'ZI, ko'pincha KICHIK bo'laklarga (chunk) bo'lingan holda	Database Sharding and Partitioning
Kesh	Tez-tez OCHILADIGAN kichik fayllar yoki fayl ko'rinishi (thumbnail)	Caching Strategies
Sinxronizatsiya xizmati	Qurilmalar orasida O'ZGARISHLARNI aniqlab, YUBORADI	Message Queues and Async Processing

Chuqur kirish — katta fayllarni bo'laklarga bo'lish: 2 gigabaytli videoni BITTA yaxlit fayl sifatida yuklash — tarmoq uzilsa, BOSHIDAN qayta boshlash degani. Buning o'rniga, fayl KICHIK (masalan, 4 megabaytlik) bo'laklarga BO'LINADI, va HAR bir bo'lak ALOHIDA yuklanadi (yoki yuklab OLINADI) — bu, Database Sharding darsidagi "ma'lumotni bo'lib TAQSIMLASH" g'oyasining, BITTA FAYL darajasidagi ko'rinishi. Bundan tashqari, agar IKKI foydalanuvchi AYNAN bir xil bo'lakni (masalan, mashhur film fayli) yuklagan bo'lsa, tizim uni IKKI marta SAQLAMASDAN, BITTA nusxaga ISHORA qiladi ("deduplication") — bu JUDA katta disk joyi TEJAYDI.

Izchillik muammosi: agar A foydalanuvchi hujjatni O'ZINING noutbuki VA telefonida OCHIQ tutsa, va IKKALASIDA ham O'ZGARTIRSA — qaysi versiya "TO'G'RI"? Bu — Consistency Models darsida ko'rgan tanlov ANIQ ko'rinadigan joy: ko'p tizim "OXIRGI yozuvchi g'olib" (last write wins) qoidasini qo'llaydi, murakkabroq tizimlar esa (Google Docs kabi) HAR ikki O'ZGARISHNI ham SAQLAB, ularni AVTOMATIK BIRLASHTIRISHGA (yoki foydalanuvchiga "ziddiyat" sifatida KO'RSATISHGA) harakat qiladi.

Murosa: ko'p NUSXADA saqlash (Reliability and Redundancy darsi) — ISHONCHLILIKNI oshiradi, lekin SAQLASH narxini bir necha barobar OSHIRADI. Shuning uchun ko'p real tizim, kamdan-kam OCHILADIGAN eski fayllarni ARZONROQ, sekinroq saqlash ("cold storage")ga KO'CHIRADI, tez-tez ochiladiganlarini esa TEZ, qimmatroq saqlashda QOLDIRADI — bu, xarajat va tezlik orasidagi yana bir amaliy MUROSA.

Key Takeaway

Key Takeaway:

Taqsimlangan fayl saqlash tizimi — metadata bazasini fayl kontentidan ajratadi, katta fayllarni bo'laklarga bo'lib deduplikatsiya qiladi, va ko'plab nusxada saqlash orqali ishonchlilikni ta'minlaydi. Bir nechta qurilmada bir vaqtda tahrirlashda qaysi versiya to'g'ri ekanini hal qilish — bu yerdagi eng qiyin izchillik muammosi.

NEXT UP