Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных




Скачать 364.43 Kb.
НазваниеМатематико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных
страница1/11
Дата12.12.2012
Размер364.43 Kb.
ТипДипломная работа
  1   2   3   4   5   6   7   8   9   10   11


Санкт-Петербургский Государственный Университет

Математико-механический факультет

Кафедра системного программирования




Поддержка структурных изменений в процессах загрузки данных

Дипломная работа студента 545 группы


Долбешкина Андрея Николаевича

Научный руководитель

………………
/ подпись /

Дольник А.С

Рецензент

………………
/ подпись /

д.ф.-м.н., проф. Новиков Б.А.

“Допустить к защите”
заведующий кафедрой,

………………

/ подпись /

д.ф.-м.н., проф. Терехов А.Н.



Санкт-Петербург

2012

Saint-Petersburg State University

Mathematics & Mechanics Faculty

Software Engineering Department


Managing ETL structure changes

Graduate paper by


Andrei Dalbeshkin

Scientific advisor

………………
/ signature /

A.S. Dolnik

Рецензент

………………
/ signature /

Professor B.A. Novikov

“Approved by”
Head of Department

………………

/ signature /

Professor A.N.Terekhov



Saint-Petersburg

2012

Оглавление


Оглавление 3

Введение 5

Постановка задачи 7

1.Обзор средств и подходов. 8

1.1 Обзор существующих решений. 8

Microsoft SQL Server Integration Services 8

Oracle Warehouse Builder 9

Pentaho Data Integration 9

1.2 Описание метода для проектирования ETL-процесса 11

Понятие онтологии 11

1.2.1 Реализация грамматики для проектирования ETL процесса 13

Подграф “Схема данных” 13

Подграф «Онтология» 13

Аннотация ХД 14

Операции ETL 14

Преобразования графа 14

Простые операции 17

Составные операции 20

Дополнительные правила 22

Организация системы слоев 23

2. Описание решения 24

2.1 Теоретическая часть 24

Классификация структурных изменений в источниках данных 24

Удаление именованных/неименованных столбцов 24

Изменение порядка столбцов 25

Переименование столбцов 25

Изменение формата данных 25

Изменения, связанные с каталогами 26

Разделение/соединение столбцов 26

2.1.2 Разработка метода диагностики структурных изменений в источниках данных 27

2.1.3 Расширение существующей модели эволюционными правилами 28

2.2 Практическая часть 30

2.2.1 Особенности архитектуры 30

Описание плагина к Kettle 30

Отображение данных на онтологию предметной области 30

Описание промежуточного формата данных 31

Построение модели процесса в виде графа 32

Сопоставление операций из модели трансформациям Kettle 32

Составление онтологии 34

Исследование необходимости поддержки структурных изменений в источниках данных 35

Заключение 37

Литература 38

Приложение 1. Онтология сокращенная Weather_Ontology.owl 40

Приложение 2. Фрагмент исходного файла с данными по температуре. 45

Приложение 3. Фрагмент измененного файла с данными по температуре. 47



  1   2   3   4   5   6   7   8   9   10   11

Похожие:

Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconПетербургский Государственный Университет Математико-Механический Факультет Кафедра Системного Программирования
Сравнение различных методов хранения xml в реляционных базах данных и в разных системах
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования Сервис для моделей оптимизации на основе рекуррентных алгоритмов
Метод подстройки пользовательских приоритетов при поиске по коллекциям изображений 28
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования Разработка системы сравнения производительности субд
Существует большое количество разнообразных субд (Система управления базами данных), предназначенных для разных задач, однако обычно...
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования «Мультиагентные платформы и их применение в сетевых задачах»
Мас концентрируют все необходимые для таких технологий свойства с наибольшей выразительностью и полнотой. Результаты внедрения агентных...
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования Генерация веб-сервисов C#. net на основе bpel
Задача кодогенерации веб-сервисов возникла в рамках проекта «К700». «К700» — это проект создания рабочих мест оператора и инженера...
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования Разработка jre на ecma cli
Виртуальная машина, включая сборщик мусора и jit компилятор, является наиболее крупным монолитным компонентом среды управляемого...
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет Кафедра системного программирования Создание режима быстрого прототипирования в case-системе qreal
Использование различных видов диаграмм и сущностей позволяет пользователям наглядно и подробно описать необходимые модули и поведение...
Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет

Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет

Математико-механический факультет Кафедра системного программирования Поддержка структурных изменений в процессах загрузки данных iconМатематико-механический факультет

Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib.znate.ru 2014
обратиться к администрации
Библиотека
Главная страница