IBM przedstawił swoje osiągnięcia w rozwoju systemu przechowywania danych GPFS

Korporacja IBM przeprowadziła demonstrację ulepszonej wersji systemu General Parallel File System, której udało się przeskanować 10 miliardów plików w czasie zaledwie 43 minut. Jest to oszałamiające 37 razy więcej niż w przypadku ostatniego rekordu, ustanowionego przez ten sam system przed czterema laty podczas konferencji Supercomputing 2007 - wówczas osiągnięto czas trzech godzin dla "zaledwie" jednego miliarda plików.



GPFS został po raz pierwszy przedstawiony przez IBM w roku 1998. Jest stale rozwijany i chętnie wykorzystywany - znajduje się m.in. w wielu maszynach z listy pięciuset najszybszych superkomputerów na świecie. Cechuje się skalowalnością zarówno pod względem pojemności jak i wydajności, pozwalając na utrzymanie stałych kosztów zarządzania informacjami w rozwijających się centrach danych.

System jest wykorzystywany m.in. w placówkach naukowych zajmujących się sejsmologią, badaniami pogodowymi i klimatycznymi, czy innymi badaniami, instytucjach zajmujących się analizami finansowymi i w innych zadaniach, gdzie liczy się szybki dostęp do znacznych ilości danych.

Rekord został ustanowiony przy użyciu GPFS pracującego na klastrze dziesięciu ośmiordzeniowych systemów oraz - jakże by inaczej - dysków SSD, które stają się powoli stałym elementem tego typu rozwiązań. Łączna pojemność użytych pamięci wyniosła zaledwie 6,8 TB. Algorytm zastosowany w systemie pozwala na optymalne wykorzystanie procesorów we wszystkich fazach zadania (odczycie danych, sortowaniu i ocenie wyników). W nowej maszynie w czasie operacji identyfikowania, selekcji, sortowania i prezentowania właściwych plików osiągnięta została wydajność setek milionów operacji wejścia/wyjścia na sekundę (IOPS).

"Dzisiejsza demonstracja skalowalności GPFS toruje drogę dla nowych produktów które odpowiedzą na wyzwania szybko wzrastającego, multizetabajtowego cyfrowego świata" - powiedział Doug Balog, wizeprezydent IBM. "Urządzenie ma potencjał tworzenia znacznie większych środowisk danych zunifikowanych na pojedynczej platformie, co przekłada się na wyraźną redukcję kosztów i uproszczenie zadań związanych z zarządzaniem danymi" - dodał Balog.