Обоснование целесообразности создания подсистемы кэширования высоконагруженного сайта, использующего технологию Java Enterprise Edition

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ ИМПЕРАТОРА НИКОЛАЯ II»
Институт управления и информационных технологий
Кафедра «Автоматизированные системы управления»

ОТЧЕТ ПО
КУРСОВОМУ ПРОЕКТУ
по дисциплине 
«Проектирование АСОИУ»
на тему 
«Обоснование целесообразности создания подсистемы кэширования высоконагруженного сайта, использующего технологию Java Enterprise Edition»

Выполнил студент группы УВН-413 		А. С. Романов
Принял зав. кафедрой АСУ  				Э. К. Лецкий
Дипломный руководитель 				И. В. Маркова
Консультант по техническим вопросам		И. И. Чиликин

 « ___» _______________ 2017 года


Москва 2017

Оглавление
Введение	3
1.	Архитектурные особенности технологии кэширования	4
2.	Описание существующей подсистемы кэширования высоконагруженного сайта	6
3.	Обоснование целесообразности разработки	9
4.	Требования к структуре и функционированию подсистемы	11
Использованные источники информации	14



Введение

   В настоящее время интернет очень динамично развивается. Чтобы получить доступ к информации на сайте, пользователи делают запросы к базе данных. Имея ограниченные ресурсы, база данных может не справляться с тем количеством запросов, которое требуется для оптимальной работы сайта. Для понижения нагрузки на базу данных будет использоваться подсистема кэширования. Этот класс подсистем является высоконагруженным и их цель заключается в повышении эффективности работы всей системы путем сохранения часто запрашиваемых данных в оперативную память и быстрой выгрузки ее пользователю без обращения к базе данных.


 Архитектурные особенности технологии кэширования

   При любой активности пользователя на сайте происходит загрузка информации из базы данных посредством запросов. При извлечении информации из базы данных в первый раз, эта информация сохраняется во временный буфер памяти, называемый кэшем. Кэширование контента помогает существенно уменьшить время загрузки информации и нагрузку на базу данных. 
Более детальное описание технологии функционирования кэша заключается в том, что данные, содержащиеся в кэше, не будут запрашиваться из базы данных. То есть, когда действия пользователя, при использовании сайта, приводят к запросу каких-то данных, то сначала производится поиск этих данных к кэше. При обнаружении этих данных, они отправляются пользователю. В этом случае запросов к базе данных осуществлено не было. Соответственно, при отсутствии данных в кэше, информация будет запрошена из базы данных. 
Рисунок 1.1 – Диаграмма развертывания технологии кэширования
   
   Это означает, что кэширование стоит производить только тех данных, которые запрашиваются чаще одного раза за определенный отрезок времени. Также кэшированию могут подлежать объекты большого объема, такие как изображения и видеофайлы. 
   
   Технология кэширования данных может включать в себя следующие функциональные возможности:
 сохранение объектов в кэш с последующим извлечением при повторном запросе;
 возможность управления объектами в кэше;
 разделение кэша на несколько разных подобластей для разграничения типов объектов;
 содержание метаданных об объектах;
 освобождение кэша от объектов;
 идентификация объекта по ключу.
Одной из ключевых особенностей технологии кэширования является хранение всех данных кэша в оперативной памяти для более быстрого доступа.


 Описание существующей подсистемы кэширования высоконагруженного сайта

Рассматриваемый высоконагруженный сайт был создан и поддерживается настраиваемой средой Oracle Application Server Portal. Данная система предоставляет функционал для наполнения вэб-страницы сайта стандартными элементами, а именно, портлетами, а также возможности для создания и настройки собственных портлетов. Их использование облегчает процесс сопровождения сайта.
Недостатком Oracle Application Server Portal является то, что данная среда не дает возможности контролировать вложенность HTML-элементов, вследствие чего, сайт трудно перевести на мобильные устройства. Также отсутствует возможность управления url-адресами страниц сайта и это приводит к тому, что они становятся большими и сложными, результате чего, администратор не может управлять отдельными элементами в кэше. Стоит отметить, что сложные url-адреса плохо обрабатываются поисковыми системами, из-за чего осложнен поиск необходимой вэб-страницы пользователем через поисковую систему.
В состав пакета Oracle AS Portal включены инструментальные средства, облегчающие настройку и сопровождение веб-страниц[1].
В настоящее время задача кэширования данных высоконагруженного сайта решается с помощью компонента Oracle Web Cache. Данный компонент реализован в рамках среды Oracle Application Server Portal. 
Вся подсистема кэширования делится на три части:
 Кэш результатов выполнения макросов;
 HTML кэш;
 Кэш больших двоичных файлов, таких как изображения или видеофайлы.

Рисунок 2.1 – Диаграмма вариантов использования существующей технологии кэширования

В тот момент, когда браузер пользователя получил доступ к сайту, браузер посылает HTTP запросы к Oracle Web Cache. Oracle Web Cache, в свою очередь, выступает в качестве виртуального веб-сервера приложений. Если запрашиваемый контент изменился, Oracle Web Cache извлекает новый контент из веб-сервера приложений, которые, в свою очередь, получают данные из базы данных Oracle. Стоит отметить, что кэш больших файлов подгружает данные не из базы данных, а по url-адресу.

   

   Рисунок 2.2 – Диаграмма последовательности технологии кэширования


 Обоснование целесообразности разработки

   Существующая подсистема кэширования высоконагруженного сайта имеет следующие недостатки:
 Нет возможности управлять объектами в кэше. При возникновении необходимости удаления из кэша определенного элемента или группы элементов, относящихся к конкретной веб-странице, подсистема кэширования предоставляет только функцию полной очистки кэша, что повлечет за собой временные затраты на повторную загрузку данных, удаление которых не требовалось.
 При сбое или перезапуске подсистемы кэширования, кэш будет полностью очищен. Поэтому подсистеме необходима функция персистентности, которая позволяет сохранять все данные, записанные в кэш, на жесткий диск. При возвращении подсистемы в рабочее состояние, все данные с жесткого диска будут перенесены в оперативную память для дальнейшей работы.
 Решение устарело. Oracle Application Server Portal 10g был выпущен в 2004 году и на данный момент более не поддерживается. В этом случае подразумевается переход к новой версии программы и ее компонентам или полной замене[2].
Исходя из вышеперечисленных недостатков, можно сделать вывод о необходимости разработки. Новая подсистема кэширования предоставит администратору подсистемы возможности для управления объектами в кэше. Стоит отметить, что у администратора будет возможность создавать несколько зон для сохранения кэша. Это может быть необходимо для разделения кэша на зоны, каждая из которых будет отвечать за свой участок памяти или за свои типы данных. Также кэш будет персистентным, то есть при перезапуске или сбое программы все объекты, хранящиеся в кэше, останутся храниться на диске и, после запуска программы, загрузятся в оперативную память.

Нахождение предельного эффекта

 Технология предоставления данных пользователю без использования подсистемы кэширования включает в себя следующие операции:
 Получение запроса от пользователя (среднее время 0,05 секунды);
 Выполнение запроса и выборка данных из базы данных (среднее время 0,61 секунды);
 Передача данных пользователю (среднее время 0,1 секунды).
W^*= 0,05+0,61+0,1=0,76 секунды
   Технология предоставления данных пользователю с использованием подсистемы кэширования включает в себя следующие операции:
 Получение запроса от пользователя (среднее время 0,05 секунды);
 Проверка кэша на содержание запрошенных данных (среднее время 0,04 секунды);
 Выборка данных из базы данных, которые не были найдены в кэше (среднее время 0,24 секунды);
 Передача данных пользователю (среднее время 0,1 секунды).
W^*=0,05+0,04+0,24+0,1=0,43 секунды
 Использованные показатели временных затрат были получены в результате работы портала «www.miit.ru». Данные показатели использованы для расчетов.
 Нахождение предельного эффекта:
Э^*  = |W^*-W^((0)) |  
Э^*=0,33 секунды
Нахождение относительного предельного эффекта:
Э_отн^*=  Э^*/W^* *100%
Э_отн^*=43%
Предельный эффект на новую технологию работы составляет 0,33 секунды, а относительный предельный эффект – 43%.

 
Требования к структуре и функционированию подсистемы
Состав основных функций, которые должны присутствовать в подсистеме:
 Сохранение объектов в кэш;
 Управление объектами в кэше (удаление и изменение объектов);
 Выгрузка объектов из кэша пользователю;
 Вывод метаданных объектов;
 Полная или выборочная очистка кэша;
Требование к режиму функционирования подсистемы: 
Подсистема должна функционировать в режиме 24/7, т. е. круглосуточно доступ к ней должен быть обеспечен.
Требования по диагностированию подсистемы:
При возникновении сбоя аппаратных составляющих, либо ошибок в программном обеспечении, диагностические инструменты должны позволять сохранять полный набор информации, необходимой администратору для идентификации проблемы (журнал событий, логирование).
Требования к надежности:
Подсистема должна сохранять работоспособность и обеспечивать восстановление своих функций при возникновении следующих внештатных ситуаций:
– при сбоях в подсистеме электроснабжения аппаратной части, приводящих к перезагрузке ОС, восстановление подсистемы должно происходить после перезапуска ОС и запуска исполняемого файла подсистемы;
– при ошибках в работе аппаратных средств (кроме носителей данных и программ) восстановление функции подсистемы возлагается на ОС;
– при ошибках, связанных с программным обеспечением (ОС и драйверы устройств), восстановление работоспособности возлагается на ОС.
Требования по сохранности информации при авариях:
При аварии (выходе из строя аппаратных или программных компонентов) должно быть обеспечено восстановление и выгрузка данных в оперативную память. Это достигается путем периодического сохранения необходимых закэшированных данных на жесткий диск.
Требования к видам обеспечения:
Клиентские:
Для использования подсистемы кэширования необходим один из ниже перечисленных версий web-браузеров:
 Firefox
 Internet Explorer
 Safari
 Chrome
Из этого следуют, что аппаратные характеристики для персональных компьютеров определяются операционной системой, необходимой для запуска вышеперечисленных web-браузеров, и их минимальными характеристиками для установки и запуска:
 Минимальные [4] [5]:
 Windows XP (SP2)
 Оперативная память 64Мб
 Свободное место на диске 1.5 Гб
 Рекомендуемые [4] [5]:
 Windows 7
 Оперативная память 1Гб
 Свободное место на диске 20 Гб
Серверные:
Главным параметром подсистемы кэширования является оперативная память и память на диске. Каждая часть подсистемы кэширования может запрашивать различные характеристики. 
Так, HTML кэшу будет необходимо не более 1 Гб оперативной памяти.
Под кэширование больших двоичных файлов будет требоваться не менее 4 Гб оперативной памяти и 20 Гб дисковой памяти для сохранения закэшированных данных на диск.
Для кэширования результатов выполнения макросов потребуется не менее 15 Гб оперативной памяти.
Так, вся подсистема кэширования будет запрашивать следующие технические характеристики:
 Оперативная память 20 Гб
 Свободное место на диске 20Гб
 Также стоит отметить, что остальные технические требования подсистемы кэширования будут соответствовать техническим характеристикам сервера, на котором будет располагаться и функционировать подсистема кэширования.
Прочие требования, определенные по ГОСТ 34.602-89 не существенны.


Использованные источники информации

 Официальная документация по Oracle Web Cache [Электронный ресурс]: Oracle – Режим доступа:
https://docs.oracle.com/cd/A97336_01/cache.102/a86722/intro.htm
 Описание Oracle Application Server Portal [Электронный ресурс] – Режим доступа:
http://www.interface.ru/oracle/EEOracleAS10g.htm
 ГОСТ 34.602-89 [Электронный ресурс] – Режим доступа:
http://www.rugost.com/index.php?option=com_content&view=article&id=108:34-4-8&catid=25&Itemid=62
 Официальная информация о браузере Firefox [Электронный ресурс] – Режим доступа:
http://mozilla-russia.org/products/firefox/system-requirements.html
 Официальная информация о браузере Chrome [Электронный ресурс] – Режим доступа:
https://support.google.com/chrome/answer/95346?hl=en

14


.......................