Книги Проза Остросюжетная проза Молодёжная литература Современная зарубежная проза Классическая литература Интеллектуальная проза Романы взросления Детство Художественная литература для детей Научно-познавательные книги для детей KUMON Чевостик Развитие и обучение детей Досуг и творчество детей Книги для подростков Для родителей Комиксы для детей Детское творчество Умные книжки Подготовка к школе Необычный формат Подарочные Психология Популярная психология Стресс и эмоции Любовь и отношения Осознанность и медитация Книги для родителей Быть подростком Защита от токсичности Бизнес Аудиокниги Менеджмент Продажи Истории успеха Развитие сотрудников Предпринимателю Управление компанией Стратегия Управление проектами Переговоры Публичные выступления HR Российский бизнес IT Культура Автофикшн и биографии Серия «Таро МИФ» Серия «Мифы от и до» Подарочные книги Культурные истории, страноведение Искусство и архитектура Театр и кино, музыка, литература Серия «Главное в истории» Саморазвитие Спокойствие и душевное равновесие Аудиокниги Мечты и цели Мотивация Мозг и интеллект Продуктивность Психология Общение Сила воли Тайм-менеджмент Деньги Обучение Выбор профессии Принятие решений Осознанность Лайфстайл Современная магия Дом и сад Кулинария Велнес, красота, мода Творчество Вдохновение и мотивация Handmade и творческий бизнес Рисование для начинающих Рисование для продолжающих Леттеринг и каллиграфия Писательство Фотомастерская Активити для взрослых Легендарная серия Барбары Шер Психология творчества Дизайн Развитие творчества Творческий бизнес Визуальное мышление Творческое мышление МАК МИФ Комиксы Детские комиксы Взрослые комиксы Молодежные комиксы Серии Познавательные комиксы Здоровье и медицина Правильное питание Спорт Долголетие Бег Фитнес Медитация Здоровый сон Диеты Научпоп Физика Математика Экономика Здоровье и медицина Мышление и психология Технологии Подарочные книги Искусство, культура и путешествия Для детей Работа и бизнес Для души и уюта Захватывающие истории Время для себя Маркетинг Маркетинг и брендинг Генерация идей Копирайтинг, блогинг, СМИ Серия «Думай иначе» Курсы и мероприятия Писательство Лектории Психология Отношения Чтение Саморазвитие Деньги Карьера Здоровье Уют Воспитание Для бизнеса Электронная библиотека Офисная библиотека Детские подарки Подарки партнерам Продвижение бренда Курсы для компаний Издать книгу Издательство Работа у нас Логотип Предложить книгу Об издательстве Авторам Вопросы и ответы Контактная информация Блоги Блог МИФа Психология и саморазвитие Творчество Проза Кругозор Книжный клуб МИФа Комиксы Бизнес-блог Бизнесхак и маркетинг Формула менеджмента Саморазвитие Корпоративная культура Опыт МИФа Обзоры книг Папамамам Развитие ребенка Психология Вот так книга! Искусство учиться
Кругозор
Что такое big data
25 декабря 2020 5 280 просмотров

Антон Бахарев
Антон Бахарев

Данные всегда важны, а в нашу эпоху цифровой трансформации особенно. Многим приложениям с искусственным интеллектом требуются огромные объемы данных, чтобы обучить и совершенствовать алгоритмы машинного обучения по мере роста объема данных. Что такое большие данные — big data — рассказываем по книге «Цифровая трансформация».

Большие данные

Понятие big data впервые появилось в астрономии и геномике в начале 2000-х годов. В этих сферах возникали большие массивы данных. Невозможно было эффективно и недорого их обрабатывать, используя традиционную централизованную архитектуру, или вертикально масштабируемую архитектуру.

Горизонтально масштабируемая архитектура для одновременной обработки данных использует тысячи или десятки тысяч процессоров. Проектам цифровой трансформации требуется возможность оперировать big data масштаба петабайтов (1 петабайт — 1015 (квадриллион) байт). Объем не единственная характеристика big data.

Большой информационный взрыв

Получение данных — всегда долгая и кропотливая работа. Организации собирали статистические данные, в основе которых лежали небольшие выборки (сотни или тысячи записей о транзакциях), и на их основе делали выводы обо всей картине в целом. Из-за малых объемов данных специалисты тратили много времени и сил на верификацию, чтобы исключить сведения, которые могли исказить результаты.

Облака дают неограниченные возможности для проведения вычислений и хранения информации. Появляется программное обеспечение, разработанное для параллельной обработки данных в огромных масштабах. Организациям больше не нужно ограничивать и отбирать исходные данные для анализа. Теперь выпадающие из общего ряда или нерелевантные данные грамотно встроены в анализ big data.


Цифровая трансформация

В итоге более 20 миллиардов подключенных к интернету смартфонов, датчиков и прочих устройств генерируют постоянно растущий поток данных, ежегодные объемы которого измеряются в зеттабайтах (1 зеттабайт данных поместится на 250 миллиардах DVD-дисков). Сегодня компании могут делать выводы на основе доступных данных практически в режиме реального времени.

Возможность применять искусственный интеллект к обработке всего объема сырых данных привела к еще одной перемене. Больше нет необходимости в экспертах для построения гипотез, объясняющих причины того или иного события.

Теперь алгоритмы ИИ способны обучаться самостоятельно и строить гипотезы о событиях на основе данных, полученных из этих систем.

Например, для определения причины просрочки платежей по ипотеке больше не нужен опытный специалист по кредитованию. Система может изучить причины и их относительную важность с высокой степенью достоверности благодаря анализу всех доступных данных по неплатежам других клиентов.

У этого явления далеко идущие последствия. Для выявления неисправностей двигателя больше не нужен опытный механик. Для выявления начальной стадии диабета у пациента больше не нужен опытный врач. Для определения оптимального места для бурения нефтяной скважины больше не нужен инженер-геолог.

Все это компьютер может узнать из данных — гораздо быстрее и точнее.

Появление машинного обучения в сочетании с неограниченной вычислительной мощностью породило новый класс алгоритмов, решающих проблемы, которые когда-то считались неразрешимыми. Например, оценка риска поломки самолетного двигателя. Определив все важные входные данные (летные часы, условия полета, записи о техническом обслуживании, температуру двигателя, давление масла) и выбрав достаточно большое количество случаев поломки двигателя (то есть выходные данные), алгоритм не только предупредит о поломке, но и определит ее причины. Для этого не нужно быть специалистом по материаловедению или термодинамике. Достаточно лишь нужных данных в большом объеме.
Подробнее: «Цифровая трансформация».

Рубрика
Кругозор
Похожие статьи