Гранулярные данные: Что такое детальные данные?

Содержание

Гранулярное восстановление объектов виртуализованных приложений / Хабр

Важной функцией современных продуктов резервного копирования является возможность гранулярного восстановления файлов, электронных писем, документов в системах документооборота и других объектов различных приложений без необходимости выполнения полного отката всей системы на некую контрольную точку в прошлом, когда эти объекты еще существовали. Когда производится такой полный откат, это вынужденно «отбрасывает» всех пользователей системы «в прошлое», что создает массу бизнес-проблем, связанных с «потерей данных за период времени».

Есть два способа такого гранулярного восстановления, когда полный откат системы не производится: «универсальное» (не зависящее от конкретного приложения, осуществляемое через восстановление всей системы в тестовую лабораторию или «песочницу») и «специализированное» (разработанное для конкретного приложения, позволяющее извлечь объекты данных конкретного приложения прямо из файла(-ов) данных приложения без необходимости запуска приложения (со всеми зависимыми компонентами) в «песочнице»).

Далее суть этих подходов будет показана на примере Veeam Backup & Replication, который обладает функциональными возможностями, позволяющими использовать оба подхода, в зависимости от того, что в конкретном случае будет более оптимально для пользователя.

Технология универсального восстановления

Veeam Universal Application Item Recovery

Универсальный механизм восстановления построен на запуске набора взаимозависимых виртуальных машин в «песочнице» (среде, изолированной от продуктивной сети) прямо из репозитария резервных копий, без необходимости распаковки дисков выбранной виртуальной машины во временное местоположение.

Если говорить в терминах сценариев использования, то схематично процесс работы выглядит следующим образом:

Пользователь, которому нужно восстановить объект приложения (например, ошибочно удаленное письмо Exchange сервера), запускает мастер универсального восстановления U-AIR и посылает заявку на восстановление интересующих его объектов.

Администратор Backup Enterprise Manager получает уведомление по email о регистрации новой заявки на восстановление.

Проверяются права пользователя на запрашиваемые к восстановлению данные

Пользователю сообщается результат проверки его прав доступа, и, в случае наличия прав, Администратор запускает задачу восстановления виртуальных машин по технологии автоматизированного тестирования резервных копий SureBackup. Эта технология позволяет запускать виртуальные машины прямо из репозитария резервных копий, не требуя для этого распаковки ее дисков во временное местоположение.

Как только набор виртуальных машин восстановлен и запущен в «песочнице», пользователь получает уведомление со ссылкой на подготовленную виртуальную машину с интересующим приложением.

Воспользовавшись полученной ссылкой, пользователь может самостоятельно восстановить интересующие его объекты приложений.

По окончании процедуры восстановления, виртуальные машины выключаются автоматически или вручную (администратором).

Работа с заявками в вышеизложенном сценарии может не производится, если используется простой сценарий восстановления и у пользователя есть все необходимые права, а также в случае оценочного использования продукта.

Технология Специализированного Гранулярного Восстановления

Veeam Explorer for Microsoft Exchange

Продукт восстанавливает удаленные письма Microsoft Exchange Server, используя имеющиеся резервные копии виртуальной машины, на которой он установлен. Для восстановления могут использоваться резервные копии любого типа (полные, инкрементальные, сжатые и/или дедублицированные). Veeam Explorer for Microsoft Exchange позволяет открыть информационную базу Exchange сервера прямо с диска виртуальной машины и выполнить типовые операции, обычно выполняемые администратором при восстановлении писем: можно посмотреть содержимое почтовых ящиков Exchange, выполнить поиск по заданным пользователем критериям, и восстановить письмо в msg формате или группу писем в виде PST файла. Продукт использует простой Explorer-like интерфейс.

При данном способе восстановления не запускается каких-либо «ферм» взаимозависимых виртуальных машин в «песочнице», так как не производится запуск Exchange сервера в принципе — вместо этого прямо из репозитария резервных копий происходит монтирование диска виртуальной машины, на котором находится файл информационного хранилища Exchange сервера, после чего с ним производится работа на низком уровне с помощью парсера соответствующего формата.

Помимо собственно операций восстановления отдельных писем, Veeam Explorer for Microsoft Exchange позволяет выполнить compliance-поиск (поиск в соответствии с требованиями закона) с применением различных критериев поиска и возможностью экспорта результата в PST-файл.

Какой способ выбрать?

Универсальное восстановление может быть применено практически в любом случае, но оно может требовать запуска в «песочнице» большого количества виртуальных машин с зависимыми сервисами. Например, для восстановления Exchange сервера может потребоваться (как минимум) восстановление виртуальной машины с контролером домена и (возможно отдельно установленным) DNS сервером. В процессе запуска такой «фермы» могут возникать сетевые задержки ожидания старта виртуальных машин и сервисов, от которых зависит работоспособность восстанавливаемого сервера приложений. Весь этот процесс последовательного старта фермы серверов может потребовать значительно больше времени, чем требует специализированное восстановление, которое не запускает сервер приложения (требуется запуск только операционной системы с файлом информационной базы приложения). Но, следует отметить, что специализированное восстановление, обычно, доступно для ограниченного списка наиболее популярных серверов приложений, определяемого количеством специально разработанных или публично доступных парсеров,- поэтому оно не всегда может быть применимо.

Таким образом, можно дать следующие рекомендации:

Целесообразно применять продукты для «специализированного восстановления»:

при наличии сложной конфигурации восстанавливаемого сервера приложений, состоящей из набора взаимосвязанных виртуальных серверов (например, распределенная Exchange организация) — из соображений скорости выполнения операции восстановления;

при необходимости выполнить специализированные операции, обычно недоступные в продуктах универсального восстановления, — например, «поиск в соответствии с требованиями законов»;

при наличии возможности делегировать восстановление пользовательского документа администратору. То есть, если пользователь готов предоставить администратору (потенциальное) право ознакомиться в процессе восстановления документа со всем его содержанием. Пример запроса на восстановление: «Прошу восстановить ошибочно удаленное письмо с финансовым отчетом за 2 квартал текущего года«. Ясно, что выполняя такой запрос, администратору придется просматривать все удаленные письма за период, пусть даже предварительно отобранные по ключевым словам.

Целесообразно применять средства универсального восстановления:

если пользователь должен восстановить письмо самостоятельно, так как не хочет предоставлять администратору права на ознакомление с содержимом восстанавливаемого документа;

если сервер приложений не очень большой по сложности конфигурации и размеру, — так как универсальное восстановление не потребует много времени;

(Очевидно) Если отсутствует средство специализированного восстановления для требуемого сервера приложений.

Большие данные в законодательном процессе | Зенин

1. Alpaydin E. Introduction to Machine Learning. 3rd ed. / Ethem Alpaydin. — Cambridge : The MIT Press, 2014.

2. Ben-Shahar О. and Porat А. Personalizing Negligence Law // New York University Law review. — 2016. — Vol. 3. — No. 3.

3. Big data, artificial intelligence, machine learning and data protection. The United Kingdom Information Commissioner’s Office. — March. 2017.

4. Busch C. and De Franceschi A. Granular Legal Norms: Big Data and the Personalization of Private Law // Research Handbook on Data Science and Law / V. Mak, E. Tjong Tjin Tai and A. Berlee (eds). — Edward Elgar, 2018.

5. Busch C. Implementing Personalized Law: Personalized Disclosures in Consumer Law and Data Privacy Law // The University of Chicago Law Abstract. — 86:309.2019. — Pp. 309—331.

6. Busch C. The Future of Pre-contractual Information Duties: From Behavioural Insights to Big Data // Research Handbook on EU Consumer and Contract Law / Ch. Twigg-Flesner (ed.). — Edward Elgar Publishing, 2016.

7. Byers A. Big Data, Big Economic Impact // I/S: A Journal of Law and Policy for the Information Society. — 2015. — Vol. 10. — No. 3. — Pp. 757—764.

8. Citron D., Pasquale F. The scored society: due process for automated predictions // Washington Law Abstract. — 2014. — No. 89. — Pp. 14—15.

9. Dale R. Law and Word Order: NLP in Legal Tech // Natural Language Engineering. — 2019. — 25 (1). — Pp. 211—212.

10. Francart T., Dann J., Pappalardo R., Malagon C., Pellegrino M. The European Legislation Identifier // Knowledge of the Law in the Big Data Age. — 2019. — Vol. 317. — Pp. 137—148.

11. Francesconi Е. Reasoning with Deontic Notions in a Decidable Framework // Knowledge of the Law in the Big Data Age. — 2019. — Vol. 317. — Pp. 63—81.

12. Gardner S. Artificial Intelligence Poses Data Privacy Challenges // Bloomberg Law Privacy and Data Security. — 2016.

13. Hacker P. Personalizing EU Private Law: From Disclosures to Nudges and Mandates // 25 European Review of Private Law 651. 2017.

14. Laney D. 3-D Data Management: Controlling Data Volume, Velocity and Variety // Application Delivery Strategies. — META Group. — February 6, 2001. — URL: https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf (дата обращения: 07.05.2020).

15. Lenz R. Big Data: Ethics and Law // SSRN Electronic Journal. — 2019.

16. Lerman J. Big Data and Its Exclusions // Stanford Law Abstract. — 2013. — Vol. 66.

17. Mark A. Cohen. Why Is Law So Slow To Use Data? // URL: https://www.forbes.com/sites/markcohen1/2019/06/24/why-is-law-so-slow-to-use-data/#14ffc709b8eb.

18. Medvedeva M., Vols M. & Wieling M. Using machine learning to predict decisions of the European Court of Human Rights // URL: https://link.springer.com/article/10.1007/s10506-019-09255-y#citeas.

19. Online «Legislative Explorer» uses big data to track decades of lawmaking // URL: https://www.washington.edu/news/2014/04/25/online-legislative-explorer-uses-big-data-to-track-decades-of-lawmaking/.

20. Porat A., Strahilevitz J. Personalizing Default Rules and Disclosure with Big Data // Michigan Law Abstract. — 2014. — Vol. 112. — Iss. 8. — 1417—1478.

21. Scheirer W. J., Jain L. P., Boult T. E. Probability Models for Open Set Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI). — 2014. — № 11 (36).

22. Sharyn O’Halloran S., Sameer Maskey S., Geraldine McAllister G., Park D. K., Chen K. Data Science and Political Economy: Application to Financial Regulatory Structure // The Russell Sage Foundation Journal of the Social Sciences. — 2016. — Vol. 2. — No. 7.

23. Using NLP and ML to Analyze Legislative Burdens Upon Businesses // URL: https://medium.com/@ODSC/using-nlp-and-ml-to-analyze-legislative-burdens-upon-businesses-e5cc106b85b0.

24. van der Sloot B., van Schendel S. International and comparative legal study on Big Data // wrr. The Hague 2016.

25. Williams B. A., Brooks C. F. and Shmargad Y. How Algorithms Discriminate Based on Data They Lack: Challenges, Solutions, and Policy Implications // Journal of Information Policy. — 2018. — Vol. 8.

26. Ződi Z. Law and Legal Science in the Age of Big Data // Human Rights and EU Conditionality in the Western Balkans. — 2017. — Vol. 3. — No. 2.

27. Дэви С., Арно М., Мухамед А. Основы data science и Big Data/Python и наука о данных. — СПб. : Питер, 2017.

28. Ермакова Е. П. Ситкарева Е. В. Стратегия электронного правосудия в Европейском Союзе: правосудие в сети Интернет // Юстиция. — 2014. — № 1.

29. Крусс В. И. Конституционный федерализм и состоятельность субфедерального законотворчества // Государственная власть и местное самоуправление. — 2019. — № 12.

30. Куракин А. В., Карпухин Д. В., Попова Н. Ф. Принципы разграничения предметов ве́дения и полномочий между органами государственной власти Российской Федерации и ее субъектами // Административное и муниципальное право. — 2018. — № 11.

31. Савельев А. И. Проблемы применения законодательства о персональных данных в эпоху «больших данных» (Big Data) // Право. Журнал Высшей школы экономики. — 2015. — № 1.

32. Федосеев С. В. Применение современных технологий больших данных в правовой сфере // Правовая информатика. — 2018. — № 4.

Что такое гранулярность в анализе данных и почему это важно?

Что означает степень детализации: Определение

Определить степень детализации непросто, поскольку термин «зернистость» имеет много разных значений, но в маркетинге и программном обеспечении он относится к точности категоризации данных. Для лучшего перевода термина в данном контексте замените «точный» на «гранулированный».

Детальное определение

Детализация данных относится к уровню детализации или точности данных. Например, данные с высоким уровнем детализации будут содержать большое количество отдельных фрагментов информации, таких как отдельные записи или измерения. Данные с низким уровнем детализации будут содержать небольшое количество отдельных фрагментов информации, таких как сводные данные или агрегированные данные. Детализация данных может повлиять на то, как они используются и анализируются, а также на точность и полезность результатов.

Детальная сегментация в маркетинге

Когда дело доходит до сегментации и таргетинга, степень детализации определяет уровень детализации, используемый для разделения членов целевой аудитории или клиентской базы. Чем детальнее сегментация, тем уже критерии для каждого сегмента клиентов .

Высокодетализированная сегментация разделяет аудиторию на группы по ряду различных переменных. Это может включать такие факторы, как местоположение, частота покупок, баллы лояльности, возраст и т. д. В качестве альтернативы аудитория может быть разделена на множество отдельных групп по одной переменной, например. доход с шагом 500 долларов.

Наилучшие результаты обычно получаются при сегментации, которая находится где-то в середине шкалы детализации. Это дает точные сегменты, но не слишком точные, чтобы быть неэффективными, когда дело доходит до настройки ваших маркетинговых усилий. Помимо детальной сегментации, детальный таргетинг просто направляет маркетинговые усилия или рекламные акции на определенный сегмент аудитории.

На приведенном выше рисунке показано все более детальное сегментирование аудитории. Чем детальнее сегментация, тем больше ссылок используется для разделения клиентов.

Гранулярные данные: параметры настройки

Аналогично, программная система с высокодетализированными параметрами настройки позволяет вам выбирать очень конкретные критерии для настройки кампании и т. д. Например, это может быть опция для определения точных обстоятельств для рассылки автоматизированное маркетинговое письмо. Или, в случае рекламных акций, точные критерии активации конкретной рекламной кампании.

Преимущества систем гранулярных данных

Основное преимущество гранулярных данных и сегментации аудитории заключается в том, что вы получаете больший контроль над своими данными. В частности, при соединении различных безголовых микросервисов друг с другом они увеличивают свои потенциальные преимущества. Чем больше способов манипулировать вашими данными, тем больше вероятность того, что вы сможете достичь конкретных целей. Если вы хотите, чтобы ваши сегменты были простыми, вы можете это сделать. Но возможность контролировать их более точно, когда они вам нужны, является огромным преимуществом.

То же самое относится к параметрам детальной настройки для настройки кампаний. Возможность точно настроить каждый аспект кампании означает, что у вас гораздо больше шансов получить желаемые результаты. Например, чем больше критериев вы сможете изменить для реферального кода погашения , тем эффективнее вы сможете настроить свою кампанию для достижения конкретных целей.

Как проверить степень детализации данных

Есть несколько способов проверить степень детализации данных:

Изучите сами данные, чтобы увидеть, сколько отдельных фрагментов информации они содержат. Например, если данные представляют собой список записей, вы можете подсчитать количество записей, чтобы определить степень детализации.
Рассмотрим источник данных и способ их сбора. Данные, собранные на мелкозернистом уровне, такие как отдельные транзакции или измерения, скорее всего, будут иметь высокий уровень детализации.
Подумайте о цели данных и о том, как они будут использоваться. Данные, используемые для детального анализа или принятия решений, скорее всего, потребуют высокого уровня детализации.
Используйте инструменты и методы для анализа данных и определения их детализации. Например, вы можете использовать статистические методы для расчета изменчивости или дисперсии данных, что может указывать на уровень их детализации.

В целом степень детализации данных можно определить путем изучения самих данных, рассмотрения их источника и назначения, а также использования инструментов и методов для их анализа. Это поможет вам понять уровень детализации и точности данных и эффективно их использовать.

Что такое степень детализации данных в Power BI?

В Power BI степень детализации данных относится к уровню детализации или точности данных, которые используются в отчете или анализе. Power BI позволяет пользователям работать с данными на разных уровнях детализации в зависимости от потребностей анализа. Например, данные можно агрегировать для отображения сводной информации или детализировать для отображения отдельных записей или измерений. Степень детализации данных в Power BI можно изменить, применяя фильтры, группируя данные или используя другие методы для управления уровнем детализации, включенным в отчет или анализ. Регулируя степень детализации данных, пользователи могут создавать отчеты и анализы, обеспечивающие нужный уровень детализации и точности для своих конкретных потребностей.

Что такое степень детализации в хранилище данных?

В хранилище данных степень детализации относится к уровню детализации или точности данных, которые хранятся и управляются. Хранилища данных предназначены для хранения и управления большими объемами данных, часто из нескольких источников, а степень детализации данных может варьироваться в зависимости от потребностей организации. Например, данные в хранилище данных могут храниться с высокой степенью детализации с отдельными записями или измерениями или могут храниться с более низкой степенью детализации с агрегированными или сводными данными. Детализация данных в хранилище данных может повлиять на доступ к ним, их анализ и использование, и это важный фактор при проектировании хранилища данных и управлении им.

Насколько полезны ваши данные? Важность детализации

Блог по маркетингу и продажам

Ознакомьтесь с аналитическими материалами, которые помогут вам в планах оценки эффективности маркетинга и продаж.

Андреа Вестмайер

11 октября 2018 г. 14:52:00

Многие компании используют анализ комплекса маркетинга. Этот подход направлен на то, чтобы понять влияние различных видов маркетинговой деятельности (например, цифровые медиа, программы выступлений, рекламные объявления в журналах и т. д.), чтобы определить рекомендуемые уровни расходов для каждого из них. Хотя это может дать некоторую полезную информацию, руководству не хватает конкретики. Подробная информация, которая может дать информацию о немедленных действиях, гораздо более ценна, чем этот широкий спектр подходов, особенно в фармацевтическом маркетинге. Повышенная степень детализации данных, позволяющая мгновенно получать ценную информацию, делает ваш маркетинг более эффективным и действенным.

Что такое гранулярность данных?

Детализация данных — это уровень детализации, учитываемый в модели или процессе принятия решений или представленный в отчете об анализе. Чем больше степень детализации, тем глубже уровень детализации. Повышенная степень детализации может помочь вам детализировать детали каждого маркетингового канала и оценить его эффективность, результативность и общую рентабельность инвестиций.

Для фармацевтической отрасли знание того, какие маркетинговые каналы работают для каждого сегмента бренда или даже для HCP, гораздо более информативно, чем знание того, что работает для компании в целом. Повышенная степень детализации может помочь вам изучить производительность каждого бренда и внести конкретные целевые корректировки в отдельные переменные для повышения продаж и прибыльности. Вместо того, чтобы использовать метод дробовика, увеличение детализации данных позволяет вам сфокусировать свой маркетинг с точностью лазерного прицела.

Что такое данные, требующие немедленного действия?

Иметь слишком много неправильных данных так же плохо, как и не иметь доступа к нужным данным. Если ваша измерительная компания использует строгие измерения и аналитические данные для отслеживания и анализа данных, но не может предоставить действенную информацию, общие усилия не будут иметь большого значения для вашей компании. Данные, требующие немедленного действия, — это информация, которая дает достаточную конкретику и понимание, чтобы действия, которые следует предпринять, были понятны лицам, принимающим решения.

Например:

Фармацевтическая компания ежегодно тратила более 4 миллионов долларов на платный поиск
Определенная поисковая система была определена как выпадающая с показателем 1111 долларов США за конверсию по сравнению с более эффективными поисковыми системами со средней стоимостью 366 долларов США за конверсию

Было рекомендовано удалить эту исключительную поисковую систему, что уменьшило бы количество конверсий только на 3%, но позволило бы сэкономить 920 тыс. долл. США или 23% бюджета

Повысьте эффективность и производительность за счет увеличения детализации данных

Повышенная степень детализации данных помогает использовать их для разработки стратегий и принятия конкретных мер. Партнер по стратегическому измерению, такой как Measurement Mojo, может предоставить информацию на тактическом уровне, чтобы каждый бренд знал, какие маркетинговые тактики следует прекратить, начать и продолжить, а также какие каналы использовать, отказаться или развивать. В сочетании с дизайном контроля тестирования и строгими аналитическими данными эти виды анализа могут помочь брендам определить оптимальные расходы на канал и повысить общую эффективность своих кампаний. Свяжитесь с нами сегодня, чтобы узнать, как мы можем помочь вам более точно измерить ваши данные и научиться точно понимать, что они говорят вам делать.