WWW.KNIGI.KONFLIB.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 
<< HOME
Научная библиотека
CONTACTS

Pages:     || 2 | 3 | 4 | 5 |   ...   | 8 |

«Магистерская программа Прикладные интернет технологии Магистерская диссертация Алгоритмы балансировки нагрузки в сети доставки контента Работу выполнил студент Лихобабин ...»

-- [ Страница 1 ] --

Московский государственный университет имени М.В. Ломоносова

Факультет вычислительной математики и кибернетики

Магистерская программа "Прикладные интернет технологии"

Магистерская диссертация

Алгоритмы балансировки нагрузки в сети

доставки контента

Работу выполнил

студент Лихобабин Сергей Михайлович

Научный руководитель:

доцент, к.ф.-м.н. Абрамов Владимир Геннадиевич Москва 2013 Оглавление Оглавление

Аннотация

Введение

Постановка задачи

Ключевые особенности

Исследование предметной области

Анализ существующих сетей доставки контента и готовых решений для их создания

Akamai CDN

Amazon CloudFront

CacheBoy

OpenCDN

P2P-Next

CloudFlare Railgun

Обзор технологий используемых для построения CDN

Программно-конфигурируемые сети (SDN)

Архитектура SDN

Openflow

Архитектура

Сетевая операционная система

Виртуализация в SDN

Преимущества SDN

Распределение контента внутри CDN

BitTorrent

Принцип работы протокола

Алгоритм обмена данными

Общие особенности

Трекер и работа без трекера

Multicast

Статический и динамический контент

Балансировка на уровне DNS

Недостатки

BGP

Мониторинг состояния сети

SNMP

Алгоритмы распределения запросов

Реализация

Характеристика модельной сети доставки контента

Инструменты и технологии

Django

Twisted

Nginx

Numpy

Инфраструктура

Автоматизация установки и сборки

Инструменты разработки

Оптимальное распределение копий контента внутри CDN

Методика использования

Заключение

Литература

Глоссарий

Аннотация С увеличением количества пользователей проблема доставки объемного контента в интернете становится все более актуальной. Возникает необходимость располагать сервера с данными как можно ближе к пользователям, для уменьшения задержек и снижения нагрузки на магистральны каналы. Особенно это актуально для контента, который требуется одновременно раздать большому количеству пользователей.

Таким образом крупным поставщикам контента требуется распределенная сеть серверов, называемая Сетью Доставки Контента (англ. Content Delivery Network CDN). При построении CDN могут возникать различные проблемы – оптимизация трафика внутри CDN, оптимизация распределения контента по серверам.

Целью магистерской диссертации является изучение и разработка алгоритмов распределения трафика внутри CDN на основе модельной сети доставки контента.

Разработанные алгоритмы должны позволить снизить нагрузку на сетевую инфраструктуру внутри CDN.

Введение Сети доставки контента (CDN) - активно развивающееся направление. Все больше интернет-компаний нуждаются в инструменте, позволяющем быстро и надежно доставлять информацию клиенту.

На скорость загрузки веб-страницы и её содержимого сильно влияет удаленность пользователя от сервера. Это происходит из-за того, что при использовании технологии TCP/IP, применяемой для распространения информации в сети Интернет, задержки при передаче информации зависят от количества маршрутизаторов, находящихся на пути между источником и потребителем контента. Размещение контента между несколькими серверами средствами CDN сокращает сетевой маршрут передачи данных и делает загрузку сайта быстрее с точки зрения пользователя.

Использование CDN снижает количество переходов между узлами сети, что существенно увеличивает скорость скачивания контента из сети Интернет.

Конечные пользователи испытывают меньшую задержку при загрузке контента, отсутствие резких изменений скорости загрузки и высокое качество потока данных. Пропускная способность позволяет операторам CDN доставлять видеоконтент высокого разрешения (1080p, 4K), обеспечивать быструю загрузку файлов больших размеров или организовывать видеовещание с высоким качеством сервиса (QoS) и низкими затратами на сеть.

Технология CDN способна предотвратить задержки при передаче данных, возможные прерывания связи и потери на перегруженных каналах и стыках между ними. Управление нагрузкой при передаче сетевого трафика позволяет разгрузить крупные связующие каналы и узлы сети, распределив возникающую нагрузку между удалёнными серверами.

Размещение серверов в непосредственной близости от конечных пользователей может увеличить исходящую пропускную способность всей системы. К примеру, наличие единственного порта 100 Мбит/с не означает данную скорость на всех участках сети, так как свободная пропускная способность связующего канала в момент передачи может быть всего 10 Мбит/с. В случае, когда используются распределённых серверов, суммарная пропускная способность может составить 10100 Мбит/с.

Современные сети доставки и дистрибуции контента способны осуществлять автоматический контроль целостности данных на каждом из серверов сети. При этом гарантируется 100 % доступность контента для конечного пользователя в случае потери связности между узлами сети, выхода из строя центрального или удалённого сервера.

Наиболее развитые CDN предоставляют статистический контроль процессов доставки и дистрибуции контента. Контент-провайдер в реальном времени может получить всю необходимую информацию о загрузке, доступности и популярности своего контента в каждом регионе присутствия.

Постановка задачи Целью магистерской диссертации является исследование существующих решений в области сетей доставки контента.

На основе проведенного исследования предложить модель распределенной сети доставки контента С использованием модели разработать алгоритмы управления траффиком внутри сети CDN для минимизации нагрузки на канал.

Ключевые особенности Распределенная сеть граничных серверов Один или несколько серверов, на которых располагается интерфейс управления. С помощью этого интерфейса можно вручную управлять маршрутизацией в сети и распределением копий контента.

Приложение-агент на граничных серверах(модуль системы, который устанавливается на каждый из серверов, с которых будут отдаваться данные). Позволяет управлять маршрутизацией в сети, управлять локальными копиями контента, проводить мониторинг состояния сети.

Веб-интерфейс поддерживающий различные способы добавления файлов в Два уровня балансировки - DNS и HTTP Исследование предметной области Построение сети доставки контента - обширная задача. Даже при разработке модельной сети используется большое количество различных технологий. В последующих разделах рассматриваются существующие сети доставки контента, а также технологии, которые наиболее часто используется при решении подобных задач. Также рассмотрены исследования в области распределения запросов внутри сети доставки контента.

В последующих главах с использованием рассмотренных технологий и на основании проанализированных алгоритмов будет разработана модельная сеть доставки контента и предложены алгоритмы балансировки и распределения внутри сети.

Анализ существующих сетей доставки контента и готовых решений для их создания Akamai CDN The Akamai Network[2][11] - одна из крупнейших в мире распределенных вычислительных платформ. Это сеть из более чем 105,000 серверов со специальным программным обеспечением, расположенных в 78 странах. Сильной стороной сети Akamai являются алгоритмы распределения нагрузки внутри сети.

Сервера находятся приблизительно в 1,900 различных сетях, осуществляя мониторинг Интернет в реальном времени - собирая информацию о трафике, перегрузках, и проблемных точках. Akamai использует собранную информацию для оптимизации маршрутов и динамической репликации, чтобы доставлять контент быстрее и надежнее.

Основные способы оптимизации доставки контента:

Минимизация длины маршрутов, при помощи репликации и доставки контента с серверов, находящихся максимально близко к пользователю.

Оптимизация маршрутов путем построения путей через Интернет, обходящих проблемные места, сжатия контента, и репликации пакетов.

Перемещение вычислений ближе к конечным пользователям во избежание задержек.(EdgeComputing). [1][8] Amazon CloudFront Amazon CloudFront — веб-сервис для доставки контента. Amazon CloudFront интегрируется с другими Amazon Web Services. Цель сервиса — дать разработчикам и предприятиям простой способ распространять контент для конечных пользователей с минимальными задержками, высокой скоростью передачи данных.

Сервис не является свободным для пользования и входит в инфраструктуру сервисов Amazon Web Services.[25] CacheBoy Cacheboy предоставляет открытую платформу для осуществления эффективной доставки контента. Зеркальная инфраструктура открытого проекта поддерживается сервис-провайдерам по всему миру. Проект перенаправляет пользователя на ближайшее зеркало. Cacheboy распространяется под лицензией GPLv3.

OpenCDN OpenCDN - CDN уровня приложения, который реплицирует контент и разделяет трансляции и записанный контент. OpenCDN написан на Perl и использует технологию Relay для разделения медиа пакетов. Связь между узлами и источниками осуществляется по средством XML – RPC. Распространяется под лицензией Perl Artistic.[18] P2P-Next P2P-Next - программное обеспечение следующего поколения для доставки контента, которое может быть использовано для одновременной передачи миллионам людей. Оно использует мультикастинг для передачи данных миллионам пользователей одновременно. Поток данных распределяется по локальным серверам и прямой эфир может быть ретранслирован локальным зрителям. Так как IP роутеры не поддерживают мультикастинг, оптимизированные механизмы uni-cast, broadcast и multicast были адаптированы для P2P.

CloudFlare Railgun Один из путей снижения нагрузки внутри CDN - кэшировать максимальное количество контента. Но в реальности держать в кэше можно только около 66% объектов, а остальные 34% приходится заново запрашивать с сервера в случае обновления. Для сжатия этого трафика и был создан Railgun.

В Railgun используются примерно такие же алгоритмы, как при обработке последовательности кадров в видео высокой чёткости. Высокая степень сжатия в видеокодеках достигается за счёт сжатия не отдельных кадров, а отличий между соседними кадрами. Это позволяет сжать кадр размеров миллионы пикселов в несколько килобайт. Теоретически можно его сжать вообще в один байт, если он ничем не отличается от предыдущего кадра.

При изменении веб-страницы меняется только небольшая часть содержимого, и достаточно передать изменение между актуальной версией и той, которую клиент получил в предыдущий раз.

Технически, Railgun состоит из двух компонентов: отправителя (sender) и получателя (listener). Отправители установлены в каждом дата-центре CDN-сети.

Получатель — программный компонент, который устанавливается на пограничные узлы сети. Между отправителем и получателем устанавливается TCP-соединение, защищённое TLS, по которому бинарный протокол Railgun осуществляет асинхронную передачу HTTP-запросов. Для веб-клиента система Railgun выглядит как прокси-сервер, хотя на самом деле это специализированная система со специфическими функциями. Одна из них — сжатие контента, который невозможно кэшировать, за счёт синхронизации версий страниц. При обновлении версии страницы по сети передаётся только изменение между предыдущей и новой версией.



Pages:     || 2 | 3 | 4 | 5 |   ...   | 8 |
 


Похожие работы:

«Предисловие автора Перевод предисловия М. Осоргина Многие лица готовы были признать, что Ворон - представление с большой внутренней силой. Другие, не менее многочисленные, хотя и были захвачены этой силой и охотно по нескольку раз смотрели пьесу, тем не менее не хотели признать за ней существенных достоинств. Они голословно утверждали, не стараясь даже подкрепить свое мнение убедительными доводами, что веселье доблестных масок, которые, кстати сказать, очень мало участвовали в данной пьесе,...»

«1 СОДЕРЖАНИЕ Как пользоваться данным пособием Предложения для изучения в группе Введение к курсу Цели курса 1. Окружение 2. Анализ окружения 3. Библейское основание: Ветхий Завет 4. Библейское основание: Новый Завет 5. Анализ личного окружения 6. Анализ этнической группы 7. Анализ области 8. Анализ страны 9. Анализ региона 10. Анализ существующей христианской организации. 115 11. Стратегия Планирования Приложение Ответы к тестам для самопроверки Листки для заключительного экзамена...»

«5 Алмазов А.А. www.adamaz.ru ВВЕДЕНИЕ В этой книге вы узнаете новый метод анализа финансовых рынков, который поможет вам разобраться в сложной структуре поведения цен. Задачей данного материала является описание системы, которая меняет восприятие цен финансовых активов. Она будет полезна как новичкам, так и профессиональным участникам рынка. Первые найдут здесь много интересных примеров, которые быстро помогут им разобраться в хаотических изменениях цен и не попасть в ситуации, в результате...»

«СОДЕРЖАНИЕ ИНФОРМАЦИЯ ПО БЕЗОПАСНОСТИ НАЧАЛО Распаковка Телефон ЖК-дисплей на телефонной трубке Основные действия по установке Инструкция по эксплуатации Зарядка трубки ОСНОВНЫЕ ОПЕРАЦИИ В РЕЖИМЕ ОЖИДАНИЯ Ответ на входящий внешний вызов ORION OD-21 Как делать внешний вызов Обычный набор Предварительный набор Телефон стандарта DECT, 1.8ГГц, ИДЗ, Режим разговора Набор по записи телефонной книги Повторный набор сохраненного ранее набранного номера. 6 Повторный набор последнего набранного номера....»

«Рабочая программа предмета Окружающий мир для 4 А класса на 2013 – 2014 учебный год Пояснительная записка Рабочая программа по окружающему миру для 4 класса разработана на основе Примерной программы начального общего образования, авторской программы А.А. Плешакова Окружающий мир в соответствии с требованиями Федерального государственного общеобразовательного стандарта начального общего образования. Цель рабочей программы – конкретизация содержания образовательного стандарта с учетом...»

«Документ предоставлен КонсультантПлюс www.consultant.ru Дата сохранения: 08.08.2012 Конвенция, отменяющая требование легализации иностранных официальных документов Документ предоставлен КонсультантПлюс (заключена в Гааге 05.10.1961) Дата сохранения: 08.08.2012 (вступила в силу для России 31.05.1992) (вместе со Статусом Конвенции, отменяющей треб. КОНВЕНЦИЯ, ОТМЕНЯЮЩАЯ ТРЕБОВАНИЕ ЛЕГАЛИЗАЦИИ ИНОСТРАННЫХ ОФИЦИАЛЬНЫХ ДОКУМЕНТОВ от 5 октября 1961 года Государства, подписавшие настоящую Конвенцию,...»

«Данная работа условно разделена на три части: В первой части мы попытаемся разобраться с понятием государство, раскрыв его основные характерные признаки, размывание которых в дальнейшем позволит нам утверждать, что институт государства претерпевает фундаментальные структурные трансформации, результатом которых будет его исчезновение. Во второй части мы рассмотрим различные типы обществ, акцентируя внимание на проявлениях государственной власти. В третьей части мы более подробно остановимся на...»






 
© 2013 www.knigi.konflib.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.