Ваши инструменты управления
  • Промышленное газовое оборудованиеПромышленное газовое оборудование
  • Оборудование для котельных и теплоснабженияОборудование для котельных и теплоснабжения
  • Резервуарные металлоконструкции. Оборудование для резервуарных парковРезервуарные металлоконструкции. Оборудование для резервуарных парков
  • Оборудование и комплектующие для сжиженного углеводородного газаОборудование и комплектующие для сжиженного углеводородного газа
  • Оборудование для строительства и монтажа трубопроводовОборудование для строительства и монтажа трубопроводов

Технологии больших данных в нефтегазовой отрасли

   Нефтегазовый сектор известен своей способностью адаптироваться под новые требования современного мира, в том числе информационных технологий. Доходность активов становится труднее предсказать, наиболее эффективным инновационным подходом для решения этой проблемы можно обозначить технологию больших данных (BigData).

    Большие данные (англ. big data) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence. В данную серию включают средства массово-параллельной обработки неопределённо структурированных данных, прежде всего, решениями категории NoSQL, алгоритмами MapReduce, программными каркасами и библиотеками проекта Hadoop.

   В качестве определяющих характеристик для больших данных отмечают «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (англ. velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных)

    В качестве примеров источников возникновения больших данных приводятся непрерывно поступающие данные с измерительных устройств, события от радиочастотных идентификаторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования Земли, потоки данных о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации. Ожидается, что развитие и начало широкого использования этих источников инициирует проникновение технологий больших данных как в научно-исследовательскую деятельность, так и в коммерческий сектор и сферу государственного управления.

 Методы и техники анализа, применимые к большим данным:

  • методы класса Data Mining: обучение ассоциативным правилам (англ. association rule learning), классификация (методы категоризации новых данных на основе принципов, ранее применённых к уже наличествующим данным), кластерный анализ, регрессионный анализ;

  • краудсорсинг — категоризация и обогащение данных силами широкого, неопределённого круга лиц, привлечённых на основании публичной оферты, без вступления в трудовые отношения;

  • смешение и интеграция данных (англ. data fusion and integration) — набор техник, позволяющих интегрировать разнородные данные из разнообразных источников для возможности глубинного анализа, в качестве примеров таких техник, составляющих этот класс методов приводятся цифровая обработка сигналов и обработка естественного языка (включая тональный анализ);

  • машинное обучение, включая обучение с учителем и без учителя, а также Ensemble learning (англ.) — использование моделей, построенных на базе статистического анализа или машинного обучения для получения комплексных прогнозов на основе базовых моделей (англ. constituent models, ср. со статистическим ансамблем в статистической механике);

  • искусственные нейронные сети, сетевой анализ, оптимизация, в том числе генетические алгоритмы;

  • распознавание образов;

  • прогнозная аналитика;

  • имитационное моделирование;

  • пространственный анализ (англ. Spatial analysis) — класс методов, использующих топологическую, геометрическую и географическую информацию в данных;

  • статистический анализ, в качестве примеров методов приводятся A/B-тестирование и анализ временных рядов;

  • визуализация аналитических данных — представление информации в виде рисунков, диаграмм, с использованием интерактивных возможностей и анимации как для получения результатов, так и для использования в качестве исходных данных для дальнейшего анализа.

    Наиболее часто указывают в качестве базового принципа обработки больших данных в SN-архитектуру, обеспечивающую массивно-параллельную обработку, масштабируемую без деградации на сотни и тысячи узлов обработки. При этом, кроме рассматриваемых большинством аналитиков технологий NoSQL, MapReduce, Hadoop, R, включает в контекст применимости для обработки больших данных также технологии Business Intelligence и реляционные системы управления базами данных с поддержкой языка SQL.

    Существует ряд аппаратно-программных комплексов, предоставляющих предконфигурированные решения для обработки больших данных: Aster MapReduce appliance (корпорации Teradata), Oracle Big Data appliance, Greenplum appliance (корпорации EMC, на основе решений поглощённой компании Greenplum). Эти комплексы поставляются как готовые к установке в центры обработки данных телекоммуникационные шкафы, содержащие кластер серверов и управляющее программное обеспечение для массово-параллельной обработки.

   Аппаратные решения для аналитической обработки в оперативной памяти, в частности, предлагаемой аппаратно-программными комплексами Hana (предконфигурированное аппаратно-программное решение компании SAP) и Exalytics (комплекс компании Oracle на основе реляционной системы Timesten и многомерной Essbase), также иногда относят к решениям из области больших данных, несмотря на то, что такая обработка изначально не является массово-параллельной, а объёмы оперативной памяти одного узла ограничиваются несколькими терабайтами.

   Кроме того иногда к решениям для больших данных относят и аппаратно-программные комплексы на основе традиционных реляционных систем управления базами данных — Netezza, Teradata, Exadata, как способные эффективно обрабатывать терабайты и экзабайты структурированной информации, решая задачи быстрой поисковой и аналитической обработки огромных объёмов структурированных данных. Аппаратные решения DAS — систем хранения данных, напрямую присоединённых к узлам — в условиях независимости узлов обработки в SN-архитектуре также иногда относят к технологиям больших данных. Именно с появлением концепции больших данных связывают всплеск интереса к DAS-решениям в начале 2010-х годов, после вытеснения их в 2000-е годы сетевыми решениями классов NAS и SAN.

    Нефтегазовые компании в процессе своей деятельности получают петабайты данных каждый день, использование больших данных открывает возможности анализа и предсказания развития трендов в области геологии, инженерии, производства и наилучшего способа использования оборудования для достижения наиболее оптимальных результатов работы на всех стадиях своей деятельности, начиная от разведки и добычи, заканчивая переработкой и реализацией готовой продукции. Наиболее успешное применение данной технологии способствует снижению издержек и получению максимальной прибыли за счет использования взаимодополняющих методов предсказания.

    Сбор данных может осуществляться не только на стадии добычи и переработки, но и при прогнозировании стоимости продукуции, что в целом дает общее представление об оптимизации бизнес-процессов компании, для выбора наилучшего производственного цикла, что в целом повышает возможности компании на рынке.

Для каждого производственного цикла можно выделить следующие преимущества использования технологии больших данных:

  1. Разведка - моделирование и предсказание наиболее вероятных участков добычи с потенциально оптимальными объемами сырья;

  2. Добыча - сбор и переработка данных в целях оптимизации использования оборудования и способов добычи.;

  3. Переработка - улучшение методов и результатов переработки сырья в конечную продукцию в зависимости от цен на рынке, а также для сохранения ресурса перерабатывающего оборудования;

  4. Транспортировка - большие данные позволят выявить потенциальные потребности того или иного сырья в соответствующих регионах а также выявить наиболее оптимальную нагрузку на средства доставки;

  5. Реализация - в данном разделе большие данные способствуют ;максимальной отдачи при прогнозировании рынка регионов, в целях определения потенциально-прибыльных потребностей в том или ином виде сырья, а также его количества.

    Обозначены наиболее общие возможности технологии больших данных в каждом цикле нефтегазовой отрасли, благодаря большим данным возможно сократить общие издержки компании на сумму от 3 млрд. долларов. Благодаря использованию этой технологии возможно превращение нефтегазовой отрасли в наукоемкую, при этом произойдет появление смежных наукоемких отраслей обработки данных и предсказаний, что в свою очередь повысит эффективность инновационной деятельности в нефтегазовой отрасли.

 

Александр Безроднов, 11.02.2016

 

Источники:

https://ru.wikipedia.org/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5

http://www.oracle.com/us/technologies/big-data/big-data-oil-gas-2515144.pdf

http://www.bain.com/Images/BAIN_BRIEF_Big_Data_analytics_in_oil_and_gas.pdf

http://bit.samag.ru/archive/article/1352

http://www.cnews.ru/news/top/liderami_neftegaza_stanut_kompanii


Назад к списку новостей

Форма обратной связи
Ваше имя*:Номер телефона*:
Email:Город:
Название организации*:
Вопрос:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Запрос на тему проектно-технической документации
Ваше имя*:Номер телефона*:
Email:Город:
Название организации*:
Вопрос:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Запрос на тему проектно-технической документации
Ваше имя*:Номер телефона*:
Email:Город:
Название организации*:
Вопрос:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Форма запроса цены
Запрос цены на
Ваше имя*:Номер телефона*:
Email:Город:
Название организации*:
Дополнительная информация:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Форма заказа
Заказ
Ваше имя*:Номер телефона*:
Email:Город:
Название организации*:
Дополнительная информация:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Форма технической поддержки
Ваше имя*:Email*:
Сообщение:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.

 
Форма заказа оборудования, стоимости и условий поставки
Ваше имя*:Номер телефона*:
Наименования:
Добавить
Email:Город:
Название организации*:
Дополнительная информация:

Поля, помеченные * обязательны для заполнения.

Нажимая кнопку "Отправить запрос", Вы соглашаетесь с политикой обработки персональных данных сайта.