Wdrożenia systemów pamięci masowych Łódź

Dlaczego milion drobnych plików jest trudniejszy od kilku wielkich?

Bo koszt pracy urządzenia liczy się w operacjach, a nie w gigabajtach. Każdy plik ma swój wpis, uprawnienia i datę, więc skopiowanie miliona zdjęć oznacza milion odwołań do struktury katalogów, niezależnie od tego, że każde z nich waży tyle co nic. Ta sama objętość zapisana w kilku wielkich plikach przechodzi kilkakrotnie szybciej i właśnie dlatego porównywanie obu przypadków po terabajtach prowadzi do złego zakupu.

W Łodzi trafiamy na ten kształt danych częściej niż gdzie indziej, bo miasto skupia sprzedaż wysyłkową i firmy kompletujące zamówienia dla innych. Zbiór rośnie tam z dwóch stron naraz. Od strony sprzedaży dokładają się zdjęcia produktów w kilku rozmiarach, warianty kolorystyczne i formaty przygotowane pod wymagania każdej platformy. Od strony magazynu dochodzą skany listów przewozowych, protokoły zwrotów, zdjęcia uszkodzeń przy reklamacji i wydruki dokumentów wysyłkowych zapisywane w postaci elektronicznej.

Efekt jest zawsze podobny. Zajętość rośnie umiarkowanie, liczba obiektów rośnie gwałtownie, a pierwszą rzeczą, która przestaje się mieścić w nocy, jest kopia zapasowa.

Co w takiej firmie zajmuje przestrzeń i czego wymaga?

Poniżej podział, który robimy przed wysłaniem zapytania do kogokolwiek. Trzecia kolumna jest ważniejsza od pierwszej, bo to ona decyduje o doborze nośników.

Zbiór	Jak przyrasta	Co jest w nim trudne	Gdzie powinien leżeć
Zdjęcia widoczne w sklepie	z każdą nową kolekcją, w kilku rozmiarach naraz	ogromna liczba drobnych odczytów	nośniki SSD, wolumen z migawkami
Oryginały z sesji zdjęciowej	skokowo, po każdym dniu zdjęciowym	pojedyncze pliki są duże, dostęp bardzo rzadki	pojemne dyski talerzowe, osobne urządzenie
Skany dokumentów wysyłkowych	równo, proporcjonalnie do liczby paczek	miliony obiektów o identycznym rozmiarze	osobny wolumen z ustalonym okresem przechowywania
Baza sklepu i systemu magazynowego	z każdym zamówieniem i z historią lat	opóźnienie pojedynczej operacji	SSD, własny wolumen, osobno od plików
Zdjęcia reklamacji i zwrotów	nierówno, zależnie od sezonu	trzeba je znaleźć po numerze zamówienia	warstwa pojemna, z indeksem po numerze
Materiały kampanijne i grafiki	falami, przed każdą akcją sprzedażową	wersje tego samego pliku mnożą się szybko	warstwa szybka na czas akcji, potem archiwum
Kopie maszyn wirtualnych	z liczbą maszyn i punktów przywracania	zapis w wąskim oknie nocnym	osobne urządzenie, nigdy ten sam wolumen co dane

Dwa wiersze robią największą różnicę w rachunku. Oryginały z sesji potrafią zająć wielokrotność tego, co widzi klient, choć nikt nie otwiera ich po zamknięciu prac nad kolekcją. Skany dokumentów są odwrotnym przypadkiem, bo zajmują niewiele miejsca, a swoją liczbą wyznaczają czas każdej operacji wykonywanej na całym zbiorze.

Co mierzymy, zanim ktokolwiek wyśle zapytanie do producenta?

Cztery rzeczy i w tej kolejności. Objętość każdego zbioru osobno razem z tempem przyrostu. Liczbę obiektów, bo od niej zależy czas kopiowania i odbudowy. Liczbę operacji odczytu i zapisu na sekundę wraz z opóźnieniem pojedynczej operacji. Na końcu przepustowość na całej drodze, od nośników przez kontroler i przełącznik po kartę w serwerze.

Wynik tego pomiaru bywa zaskakujący i regularnie zmienia projekt. Czasem baza czeka na nośnik i szybsze dyski poprawiają pracę od pierwszego dnia. Czasem serwerowi brakuje pamięci, każde zapytanie schodzi na dysk, a wymiana urządzenia nie zmieni niczego. Czasem katalog otwiera się wolno, bo miniatury powstają dopiero przy wyświetlaniu, i wtedy poprawa leży w konfiguracji sklepu, a nie w sprzęcie.

Urządzenie dobieramy pod ten wynik, nie pod umowę partnerską. Przy zbiorach złożonych z milionów drobnych plików stawiamy najczęściej Dell EMC PowerStore, NetApp ONTAP, IBM FlashSystem oraz HPE Alletra, a tam, gdzie wystarczy prostszy serwer plików, budujemy go na ZFS. Deduplikacja ma tu ograniczony sens, bo zdjęcia i skany słabo się powtarzają, natomiast bardzo pomaga przy kopiach maszyn wirtualnych.

Gdzie stanie urządzenie i kto do Was przyjeżdża?

Tu jest inaczej niż przy najmie maszyny czy hostingu. Sprzęt zostaje Waszą własnością i stoi u Was, więc nasz inżynier pracuje przy nim fizycznie. Wnosi obudowę, montuje ją na szynach, podpina dwa tory zasilania, prowadzi okablowanie do przełączników i do serwerów, a przy środowiskach na VMware i Proxmoksie podłącza wolumeny do każdego węzła dwiema ścieżkami.

Miejsce wybieramy razem z Wami po obejrzeniu pomieszczenia. Przy biurach urządzonych w budynkach pofabrycznych sprawdzamy dodatkowo nośność stropu pod szafą i to, czy chłodzenie pracuje po zakończeniu dnia, bo urządzenie kupuje się na lata i ma stać w warunkach, które przez ten czas się nie zmienią. Do adresów w Łodzi oraz w Strykowie, Rzgowie, Pabianicach, Zgierzu i Aleksandrowie Łódzkim jedziemy z biura przy Zakładowej 13, więc wizyta pomiarowa nie musi czekać na połączenie z innym zleceniem.

Zdalnie zostaje reszta, czyli podział na wolumeny, uprawnienia, harmonogram migawek, wpięcie urządzenia w monitoring i późniejszy nadzór. Ta część pracy obywa się bez czyjejkolwiek obecności przy sprzęcie, więc żadnych wyjazdów za nią nie liczymy.

Czego to wdrożenie nie załatwia?

Kopii zapasowej, bo to osobna warstwa i osobne urządzenie. Nadmiarowe nośniki chronią przed awarią dysku, a nie przed pomyłką człowieka ani przed zaszyfrowaniem zasobu, więc przy braku sprawdzonych kopii zaczynamy od backupu i odtwarzania po awarii, a przestrzeń liczymy dopiero potem.

Nie załatwia też zasady kasowania, a bez niej nowe urządzenie zapełni się dokładnie tak jak poprzednie, tylko szybciej, bo jest większe. Ustalamy ją przed zakupem, wspólnie z osobą odpowiadającą za katalog produktów, i pilnujemy jej limitami przestrzeni. Gdy pomieszczenie nie nadaje się pod sprzęt kupowany na lata, mamy dwie drogi: poprawić warunki, co opisuje budowa serwerowni, albo wynieść środowisko poza budynek przez kolokację sprzętu. Jeśli zaś chodzi o jeden wspólny katalog dla kilkunastu osób, macierz jest przesadą i wystarcza serwer plików na maszynie wirtualnej.

Termin pierwszej wizyty pomiarowej ustalimy przez kontakt albo pod numerem +48 888 777 822, a koszt późniejszej opieki nad środowiskiem policzycie w kalkulatorze.

Treść sprawdzona i zaktualizowana: 2 sierpnia 2026