Например, Бобцов

АНАЛИЗ И ОЦЕНКА МИНИМАЛЬНОГО УРОВНЯ ПРЕФИКСНОГО ДЕРЕВА В СИСТЕМЕ БЕСХЕШЕВОЙ ДЕДУПЛИКАЦИИ

Аннотация:

Предмет исследования. Предложен метод ограничения минимального уровня префиксного дерева в системе бесхешевой дедупликации данных. Метод. Сущность предлагаемого метода заключается в принудительном заполнении префиксного дерева до определенного минимального уровня. Использование предлагаемого метода позволяет снизить количество коллизий на нижних уровнях префиксного дерева. Максимальный теоретический прирост производительности соответствует доле коллизий от общего количества операций чтения данных с носителя. Применение метода ограничения минимального уровня префиксного дерева увеличивает объем метаданных на объем новых структур, содержащих один элемент. Основные результаты. Результаты работы подтверждены данными вычислительного эксперимента бесхешевой дедупликации на наборе данных объемом 528 ГБ. Анализ процесса показал, что 99% времени выполнения занимает позиционирование головок жестких дисков. Причиной этого является распределение блоков на носителе в случайном порядке. На экспериментальном наборе данных применение метода ограничения минимального уровня префиксного дерева может увеличить производительность на 16%, а возрастание объема метаданных составит 49%. Общий объем метаданных будет меньше на 34%, чем при применении метода хешевой дедупликации с использованием алгоритма MD5 и на 17% меньше, чем c использованием алгоритма Tiger192. Полученные результаты подтверждают эффективность предложенного метода. Практическая значимость. Предложенный метод позволяет увеличить производительность процесса за счет сокращения количества коллизий при построении префиксного дерева. Результаты представляют практическую значимость для специалистов, занимающихся разработкой системы бесхешевой дедупликации данных.

Ключевые слова:

Постоянный URL

Статьи в номере

Содержание © 1993–2024 Университет ИТМО
Разработка © 2015 Университет ИТМО