Перенос модели машинного обучения в продуктивную среду

Войти в мой кабинет

Забыли пароль?

ГОТОВЫЕ РАБОТЫ / ДИПЛОМНАЯ РАБОТА, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

bogomol742		670 руб. КУПИТЬ ЭТУ РАБОТУ
Страниц:	77		Заказ написания работы может стоить дешевле
Оригинальность:	неизвестно		После покупки вы можете повысить уникальность этой работы до 80-100% с помощью сервиса
Размещено:	14.07.2022

РЕФЕРАТ В выпускной квалификационной работе содержится 2 таблицы, 9 рисунков, 45 источника. Общий объем выпускной квалификационной работы составляет 67 страниц. Ключевые слова: Машинное обучение, искусственный интеллект, продуктивная среда, машинное обучение, информационная система, данные, интеграция. В представленной работе рассмотрены наиболее интересные тенденции в машинном обучении и искусственном интеллекте, сформировавшиеся на начало 2022 г. за пределами конкретных математических методов оптимизации, обработки и анализа данных. Актуальность работы. Состоит в том, что внедрение машинного обучения в различные системы является новым и мощным инструментом для упрощения работы. Все большее внимание исследователей занимает вопрос методологий, или метамоделей (от англ. metamodel): принципов использования, комбинирования и выбора конкретных моделей и методов машинного обучения. Многолетний прогресс в разработке методов машинного обучения породил не только разнообразные математические, программные и даже аппаратные решения, предназначенные для задач предиктивного и генеративного анализа данных в самых разных областях, но встретил на своем пути немало трудностей и препятствий. Объектом исследования данной работы выступает информационная система предприятия. Предметом исследования является выступает информационная система предприятия для внедрения машинного обучения. Целью исследования является повышение эффективности обучения за счет внедрения машинного обучения в продуктивную среду. Для достижения цели необходимо рассмотреть основные аспекты внедрения ML-моделей: хранение и извлечение данных, фреймворки и инструменты, обратную связь и непрерывную интеграцию. Задачи исследования: - провести анализ данных с использованием машинного обучения; - провести обзор некоторых современных тенденций в технологии машинного обучения; - определить роль машинного обучения в задачах исследования инновационных процессов; - рассмотреть машинное обучение в производстве – возможности, проблемы и примеры применения; - провести апробацию внедрения Machine learning модели в productio; - исследовать применение машинного обучения в продуктивной среде: прогресс, тенденции и направления. Новизна научного исследования заключается в том, что в рамках работы разработана и доведена до практической реализации система, позволяющая использовать существующие подходы к использованию моделей машинного обучения на потоке событий.

Введение
Содержание
Список литературы
Отрывок из работы

Введение

ВВЕДЕНИЕ Машинное обучение концентрируется на разработке таких компьютерных программ и алгоритмов, которые сами учатся расти и адаптироваться при подаче новых данных. Этот процесс не похож на процесс интеллектуального анализа данных. Обе системы проходят через предоставленные им данные или собираются в поисках шаблонов. Однако в приложениях для интеллектуального анализа данных, данные извлекаются для понимания человеком, в то время как алгоритмы машинного обучения используют эти данные для поиска шаблонов в данных и соответственно изменения действий программы. В наше время миром все больше управляют цифровые технологии. Большие данные, искусственный интеллект, беспилотные автомобили — и это только малая часть того, что ежедневно меняет или будет менять нашу жизнь, наши привычки и то, как мы ведем бизнес. Построение систем машинного обучения является на сегодняшний день одной из самых популярных, актуальных и современных областей человеческой деятельности на стыке информационных технологий, математического анализа и статистики. Машинное обучение все глубже проникает в нашу жизнь посредством пользовательских продуктов, созданных с помощью методов искусственного интеллекта. Очевидно, что данные технологии будут развиваться и дальше, постепенно становясь частью повседневной рутины во многих областях человеческой профессиональной деятельности. Но как на практике использовать машинное обучение и почему это хорошая инвестиция в бизнес? Актуальность исследования состоит в том, что внедрение машинного обучения в различные системы является новым и мощным инструментом для упрощения работы. 10 В работе рассмотрены наиболее интересные тенденции в машинном обучении и искусственном интеллекте, сформировавшиеся на начало 2018 г. за пределами конкретных математических методов оптимизации, обработки и анализа данных. Все большее внимание исследователей занимает вопрос методологий, или метамоделей (от англ. metamodel): принципов использования, комбинирования и выбора конкретных моделей и методов машинного обучения. Многолетний прогресс в разработке методов машинного обучения породил не только разнообразные математические, программные и даже аппаратные решения, предназначенные для задач предиктивного и генеративного анализа данных в самых разных областях, но встретил на своем пути немало трудностей и препятствий. Основная трудность, с которой сталкивается человек в процессе знакомства с областью машинного обучения, - огромное количество разрозненных методов, каждый из которых обладает своими особенностями, областью использования и преимуществами. Однако такое разнообразие подчас ставит в тупик и искушенных исследователей. С развитием математических и алгоритмических методов становится все труднее хорошо ориентироваться во всех нюансах применяемых алгоритмов. К сожалению, методологическая база значительно отстает от быстрого процесса разработки новых алгоритмов обучения, и процесс выбора обучаемой модели подчас сводится к простому перебору. В индустрии машинного обучения давно назрела необходимость создания более простых в использовании подходов, которые можно применять в широком кругу неэкспертов. Часто процесс использования систем машинного обучения предполагает выполнение более или менее полного цикла прикладных исследовательских работ по обработке (препроцессингу) данных, выделения признаков, выбора вида модели, обучения параметров, гиперпараметров, и т. д. Целью исследования является проведение анализа основных особенностей, принципов и проблем внедрения машинного обучения в 11 продуктивную среду. Для достижения цели необходимо рассмотреть основные аспекты внедрения ML-моделей: хранение и извлечение данных, фреймворки и инструменты, обратную связь и непрерывную интеграцию. Объектом исследования данной работы выступает информационная система предприятия. Предметом исследования является выступает информационная система предприятия для внедрения машинного обучения. Задачи исследования: - провести анализ данных с использованием машинного обучения; - провести обзор некоторых современных тенденций в технологии машинного обучения; - изучить машинное обучение в задачах исследования инновационных процессов; - рассмотреть машинное обучение в производстве – возможности, проблемы и примеры применения; - изучить проблемы внедрения Machine learning модели в productio; - изучить применение машинного обучения в продуктивной среде: прогресс, тенденции и направления. Новизна научного исследования заключается в том, что в рамках работы разработана и доведена до практической реализации система, позволяющая использовать существующие подходы к использованию моделей машинного обучения на потоке событий. Алгоритмы машинного обучения используют для решения многих задач: прогнозирование спроса и оттока пользователей, улучшения качества ранжирования и рекомендаций, предсказание поломок оборудования, улучшения качества инструментов, использующихся в финансах, здравоохранении, работы систем компьютерного зрения и самоуправляемых автомобилей и др. Крупные компании используют в своих продуктах не одну, а десятки и сотни моделей машинного обучения одновременно. Обучение, разработка и 12 внедрение большого количества моделей, над которыми одновременно работаю команды исследователей и инженеров - нетривиальная задача. Для ее решения компании разрабатывают системы для разработки моделей машинного обучения. Ввиду увеличения популярности потоковой обработки и использования моделей машинного обучения, важным практическим вопросом представляется изучение вопроса применения моделей машинного обучения на потоке событий. В ходе работы были использованы теоретические и эмпирические методы: систематизация, анализ литературы и нормативно-правовой документации, сравнительно-сопоставительный анализ, синтез и обобщение полученных данных.

Содержание

СОДЕРЖАНИЕ ВВЕДЕНИЕ 10 1. Понятие технологии машинного обучения 14 1.1. Анализ данных с использованием машинного обучения 14 1.2. Обзор некоторых современных тенденций в технологии машинного обучения 11 1.3.Машинное обучение в задачах исследования инновационных процессов22 2. Анализ применения машинного обучения в различных системах 33 2.1. Машинное обучение в производстве – возможности, проблемы и примеры применения 33 2.2. Проблемы внедрения Machine learning модели в production 42 2.3. Применение машинного обучения в продуктивной среде: прогресс, тенденции и направления 48 ЗАКЛЮЧЕНИЕ 69 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 70

Список литературы

1. Иванов, А. А. Искусственный интеллект как основа инновационных преобразований в технике, экономике, бизнесе / А. А. Иванов, Л. И. Рожкова // Известия СПбГЭУ. – 2018. – № 3 (111). – С. 112–115. 2. Кульневич, А. Д. Введение в нейронные сети / А. Д. Кульневич // Молодой ученый. – 2017. – № 8. – С. 31–36. 3. Курников, Д. С. Использование нейронных сетей в экономике / Д. С. Курников, С. А. Петров // Технические науки. – 2017. – № 6. – C. 10–12. 4. Сейдаметова, З. С. Экономика и машинное обучение / З. С. Сейдаметова // Ученые записки Крымского инженерно-педагогического университета. – 2019. – № 1 (63). – С. 167–171. 5. Терехов, В. И. Методика подготовки данных для обработки импульсными нейронными сетями / В. И. Терехов, Р. В. Жуков // Нейрокомпьютеры: разработка, применение. – 2017. – № 2. – С. 31–36. 6. Тищенко, С. А. Методы машинного обучения в малом бизнесе: содержание и управление / С. А. Тищенко, М. А. Шахмурадян // Вестник Российского экономического университета имени Г. В. Плеханова. – 2019. – № 6. – С. 83–95. 7. Флах, П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах. – Москва : ДМК Пресс, 2015. – 400 с. 8. Хохлова Д. Бум нейросетей: Кто делает нейронные сети, зачем они нужны и сколько денег могут приносить, 12.06.2016. Режим доступа: https://vc.ru/16843-neural-networks (дата обращения: 01.05.2022). 9. Чио, К. Машинное обучение и безопасность / К. Чио, Д. Фримэн; пер. с англ. А. В. Сиастина. – Москва : ДМК Пресс, 2020. – 388 с. 10. Что такое машинное обучение? Методы, типы, задачи и примеры машинного обучения. – URL: https:// 75 mining-cryptocurrency.ru/mashinnoe-obuchenie-metody-tipy/ (дата обращения: 01.05.2022). 11. Шамин, Р. В. Машинное обучение в задачах экономики / Р. В. Шамин. – Москва : Грин Принт, 2019. –140 с. 12. Щурина, С. В. Искусственный интеллект как технологическая инновация для ускорения развития экономики / С. В. Щурина, А. С. Данилов // Экономика. Налоги. Право. – 2019. – № 12(3). – С. 125–133. 12. 13. Asynchronous I/O Apache Flink. Retrieved: May 2020. https://ci.apache.org/projects/flink/flink-docsstable/dev/stream/operators/asyncio.ht ml 14. Athey, S. The impact of machine learning on economics / S. Athey // The Economics of Artificial Intelligence: An Agenda, 2018. University of Chicago Press. – URL: https://www.nber.org/chapters/c14009.pdf (дата обращения: 01.05.2022). 15. Athey, S. Lectures on Machine Learning / S. Athey, G. Imbens. – 2015. – URL: https://goo.gl/VJvafM (дата обращения: 01.05.2022). 16. Caruana R. (1998). Multitask learning springer, Boston, MA, P. 95-133. 17. Chakraborty C. Machine learning at central banks / C. Chakraborty, A. Joseph // Bank of England. Working Paper. – 2017. – № 674, September 1. – 89 p. 18. Dai J., He K, J. Sun. (2014). Instance-aware semantic segmentation via multi-task network cascades. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_2016/app/S14-02.pdf (дата обращения: 01.05.2022). 19. Dong D., Wu H., He W., Yu D. and Wang H. (2015). Multi-task learning for multiple language translation // Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, July 26-31. P. 1723-1732. 20. Facebook. Информация о компании. Retrieved: June 2019. https://newsroom.fb.com/company-info 76 21. Ghosn J., Bengio Y. (1997). Multi-task learning for stock selection. Режим доступа: http://papers.nips.cc/paper/1221-multi-task-learning-for-stock-selection.pdf (дата обращения: 01.05.2022). 22. Google. Retrieved: April 2020 https://about.google [18] Microsoft. Retrieved: April 2020 https://www.microsoft.com 23. Hastie, T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction / T. Hastie, R. Tibshirani, J. Friedman. – 2nd ed. – Springer-Verlag, 2009. 24. Implement RESTful Web Service using Java. Retrieved: May 2020. https://habr.com/ru/post/150034/ 25. Kaiser L. [и др.]. (2017). One model to learn them all. ArXiv:1706.05137 [cs.LG]. Режим доступа: https://arxiv. org/abs/1706.05137 (дата обращения: 01.05.2022). 26. Koh P. W., Liang P. (2017). Understanding black-box predictions via influence functions // Proceedings of the 34th International Conference on Machine Learning, PMLR. Vol. 70. P. 1885-1894. 27. Leaders look to embrace AI, and high-growth companies are seeing the benefits. – URL: https://news.microsoft. com/europe/features/leaders-look-to-embrace-ai-and-high-growthcompanies-are-se eing-the-benefits/ (дата обращения: 01.05.2022). 28. Le Q. & Zoph B. (2017). Google using machine learning to explore neural network architecture // Research Blog, Wednesday, May 17, 2017. Режим доступа: https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html (дата обращения: 01.05.2022). 29. Li S., Liu Z.-Q., Chan A. B. (2014). Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_workshops_2014/W15/ 77 papers/LI_Heterogeneous_Multi-task_Learning_2014_CVPR_paper.pdf (дата обращения: 01.05.2022). 30. Looking under the hood of pipelines. Retrieved: May https://ci.apache.org/projects/flink/flink-docs-release1.8/dev/libs/ml/pipelines.html 31. LuongM.-T. [и др.]. (2015). Multi-task sequence to sequence learning. ICLR 2016. Режим доступа: https://arxiv. org/abs/1511.06114 (дата обращения: 01.05.2022). 32. Machine learning and economics. – URL: https://goo.gl/n7uYVV (дата обращения: 01.05.2022). 33. Machine learning in the service of policy targeting: the case of public credit guarantees / M. Andini, M. Boldrini, E. Ciani, G. de Blasio, A. D’Ignazio, A. Paladini // Bank of Italy, Economic Research and International Relations Area. Research paper. – 2019. – № 1206. – 83 p. 34. Misra I., Shrivastava A., Gupta A., Hebert M. (2016). Cross-stitch networks for multi-task learning. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Misra_Cross -Stitch_Networks_for_CVPR_2016_ paper.pdf (дата обращения: 01.05.2022). 35. Molnar C. (2018). Interpretable machine learning. Режим доступа: https://christophm.github.io/interpretable-ml-book/ (дата обращения: 01.05.2022). 36. Nginx. Retrieved: May 2020. https://nginx.org/ru/ [66] Apache Tomcat. Retrieved: May 2020. http://tomcat.apache.org/ 37. Olson R. (2016). TPOT: A Python tool for automating data science. Режим доступа: https://www.kdnuggets. com/2016/05/tpot-python-automating-data-science.html/2 (дата обращения: 01.05.2022). 38. Olson R.S., Moore J.H. (2016). TPOT: A tree-based pipeline optimization tool for automating machine learning. P. 66-74. 39. Paredes B.R. [и др.]. (2012). Exploiting Unrelated tasks in multi-task learning // PMLR. Vol. 22. P. 951-959. 78 40. Relise of TensorFlow Serving as an open source tool for serving machine learning model in production. Retrieved: May 2020. https://ai.googleblog.com/2016/02/running-your- models-inproduction-with.html, 41. TensorFlow - Serving Models. Retrieved: May 2020. https://www.tensorflow.org/tfx/guide/serving 42. Thornton C. [и др.]. (2013). Auto-WEKA: combined selection and hyperparameter optimization of classification algorithms ACM, P. 847-855. 43. Yao X. (1999). Evolving artificial neural networks // Proceedings of the IEEE. 1999. № 9 (87). C. 1423-1447. 44. Zhang Y., Yang Q. (2017). A survey on multi-task learning. Режим доступа: https://arxiv.org/abs/1707.08114 (дата обращения: 01.05.2022). 45. Zoph B. & Le Q.V (2016). Neural architecture search with reinforcement learning. Режим доступа: https://arxiv. org/abs/1611.01578 (дата обращения: 01.05.2022).

Отрывок из работы

1 Понятие технологии машинного обучения 1.1 Анализ данных с использованием машинного обучения Приложения машинного обучения могут быть связаны с фильтрацией спама, оптическим распознаванием символов и поисковыми системами. Машинное обучение используется данных для определения того, какой алгоритм является лучшим для создания результатов, основанных на количестве данных, качестве и характере данных. Эти данные затем используются для интеллектуального анализа различными способами, например, такими системами рекомендаций, как похожие продукты на eBay, персонализированным контентом на страницах google plus, видеорекламами на сайтах, например, YouTube, и последними, но не наименьшими предложениями друзей на Facebook. Также используется для интеллектуального поиска в поисковых системах Google и Bing. Методы машинного обучения: - контролируемое обучение. Машине задаются входные данные и их предпочтительные выходы, объекты, называемые «учителем», и цель состоит в том, чтобы изучить общее правило, которое отображает входные данные для выходов. Эти алгоритмы применяют все, что они узнали ранее, к любым новым данным; - неконтролируемое обучение. Метки / теги или объяснения не даются алгоритму обучения в отношении ввода, и он остается сам по себе, чтобы найти в нем структуру. Используется для обнаружения скрытых шаблонов в данных. Эти алгоритмы могут извлекать свои собственные выводы или выводы из данных наборов данных; - обучение в действии. Программное обеспечение взаимодействует с изменяющейся средой, в которой она должна выполнять определенную задачу (например, вождение транспортного средства), не сообщая, приближается ли она к ее месту назначения или узнает, как играть в игру, играя против кого-то; 14 - полу управляемое машинное обучение. Субъект «учитель» дает машине данные с некоторыми недостатками, выходы отсутствует. Программное обеспечение для машинного обучения широко доступно, а организации, желающие развивать возможности в этой области, имеют множество вариантов. При оценке машинного обучения следует учитывать следующие требования:

Условия покупки ?

670 руб. КУПИТЬ ЭТУ РАБОТУ

Не смогли найти подходящую работу?

Вы можете заказать учебную работу от 100 рублей у наших авторов.

Оформите заказ и авторы начнут откликаться уже через 5 мин!

ЗАКАЗАТЬ ДИПЛОМНУЮ РАБОТУ

Дипломная работа, Информационные технологии, 41 страница

700 руб.

Разработка технологического процесса на механическую обработку детали - фланец

Дипломная работа, Информационные технологии, 96 страниц

2000 руб.

Дипломная работа на тему: Разработка блога на языке программирования PHP