mikaprok (mikaprok) wrote,
mikaprok
mikaprok

Categories:

Очень большие данные



Не знаю, насколько это будет интересно широкой общественности в лице узкого круга моих читателей :-), но мне интересно, поэтому напишу об одной небольшой служебной истории.

Есть такая крамольная идея «цифрового правительства». Никто достоверно не знает, что это такое, хотя на эту тему написано только толстых монографий штук 20.

Подходы ищутся по крайней мере с конца 70-х и народ породил ветвистое дерево разнородных концепций, как и что нужно делать и чего делать не следует.

С начала 90-х в практическую плоскость стали одна за другой ложится фрагменты этой бесперебойной фабрики смыслов.




Разумеется, лидером в этом направлении с самого начала были США. Сейчас они утратили первую, а может и сошли с пьедестала, но успели двинуть вперед саму технологию с помощью гигантского рычага крупнейшего в мире ИТ-рынка.

Что мы имеем на сегодняшний день?

Как правило всё мыслительное богатство выливается в очередную инициативу «единого окна». В принципе вещь не бесполезную и экономящую в ряде случаев силы и время, однако так и не доросшую до сквозного процесса принятия конечных решений ни в одном государстве мира.

И понятно почему.




Вторым, и на мой скромный взгляд куда более важным, начинанием является раскрытие некоторого количества общегосударственной статистики.

Она практически всегда кусочно фальсифицируется и при желании можно указать где конкретно, но по большей части представлена достоверна и даже где-то избыточна.

Как правило процесс сопоставления ноликов и единичек кросс-проверяем, т.е. в одном из представленных разрезов информация не бьется по причине ее отсутствия на низовом уровне, неправомерного округления и прочей бюрократической абракадабры. Провода ведут в бетонную стену.

Тем не менее, в ряде случаев это единственная мерка, которой в принципе можно пользоваться при сопоставлении макроэкономических или производственных показателей. И если приноровиться, то выводы можно сделать самые богатые.

По принципу: картина висит криво, но хоть дырку в стене закрывает. Поэтому диаметр дырки мы +/- понимаем.
Когда я пишу о проблемах США, то, как правило, беру за основу материала исследования, ищу популярные обзоры проблем и всегда проверяю представленную информацию в одном из нескольких hard data источников.
Самый крупный из них это Data.gov, существующий с 2009 года и агрегирующий большую часть публичной статистики в США.

Также очень хорошим сервисом обладают несколько продуктов OpenGov, стартапа, центрирующего усилия по верхнеуровнему государственному бюджетированию.

Разумеется, там нет самых вкусных кусков: расходов на силовые структуры, а косвенно связанные с ними контракты тщательно замалеваны под одной «шапкой». Но и имеющихся данных более, чем достаточно.
Другой разговор – это слабо читаемо. Какой-нибудь один изолированный график построить еще можно, а встроить это в другие показатели, показать взаимосвязи и не потратить на это 3 вечера с лопатой и знаменитым бубном, не всякому под силу.




В 2015 году бывший глава Microsoft Стив Балмер и студия Artefact с подачи набора заокеанских государевых людей приступили к реализации единой витрины правительственных данных, представленных в удобном и более-менее читаемом виде.

В апреле 2017-го они выползли с бетой, называемой USAFacts, и ваш покорный слуга был в числе первой сотни подписантов, попробовавших руками покопаться в цифровых богатствах лысого весельчака.

Освоил проект по официальным данным $10 миллионов и подбил под одной крышей 30 последних лет сбора данных всех крупных федеральных агентств США. А их больше 70, на всякий случай.

По словам самого главного босса, было затрачено, в общей сложности, 100000 человеко-часов на оцифровку всей макулатуры из обкомов и крайкомов.

Получилась гигантская инфографика, при печати ложащаяся на лист в 30000 футов, т.е. 10000 метров.

По утверждению г-на Болмера в полноценном проекте можно будет «провалиться» в любой верхнеуровневый график и получить детальную картину происходящего.

С мая они выложили в открытый доступ какую-то небольшую часть данных «на поиграть».
Если концепция будет реализована в заявленном масштабе, USAFacts станет самым крупным хранилищем связанных госданных на Земле.

На его основе можно, в частности, посимулировать работу всех этих комитетов-подкомитетов-рабочих групп крупного государственного организма и сделать вкусные выводы.

Считаю, полезное развлечение для неранодушных и вдумчивых строителей собственного национального государства.

Тамада хороший


и конкурсы интересные!



https://telegram.me/mikaprok

Tags: #egovernment, #steve ballmer, #usa, #usafacts, #статистика, #сша, trivia
6
А фальсифицировать теперь на каком уровне будут?
На всех, как и до
А кто сегодня стоит в лидерах ИТ?
В смысле eGovernment лидеры это UK, скандинавы, Австралия, Сингапур. В смысле размера рынка бизнес-IT все еще Штаты.
UK? Разве есть что-то сходное с нашими Госуслугами?
:-) "неплохая шутеечка"
Я серьёзно. Ругать огульно всё отечественное - удел инфузорий
Возвеличивать, умножая на 100, скромные достижения удел межгалактических титанов. Это понятно.

Я не охаивал российскую систему "единого окна". У нее есть свои плюсы, но есть и некоторые минусы, отсутствующий в ряде других мест.

Зато есть гигантский пробел, не закрываемый ничем -- отсутствие проверяемой хотя бы на верхнем уровне страновой статистики. Это БЕДА. С этого нужно начинать.

Все никак не доберусь до экзекуции Росстата, а надо себя заставить.
Кто же возвеличивает? Я лишь спросил, есть ли нечто подобное в UK. Насколько я наслышан, нет.
Статистика - это немного другое. В смысле, не показатель слабого развития IT в нашей стране (я как участник IT-процесса имел счастье наблюдать разработку весьма передовых решений, и вообще), а показатель нежелания раскрывать статистику
Ну а я не преуменьшал :-)

В UK менее централизованный процесс и много решается на локальных и странных уровнях иерархии. Тем не менее вот эти кусочки хорошо сшиты между собой и есть несколько интерфейсов, сглаживающих объективный юридический ад.

IT - это инструмент, развитие которого на высоких уровнях связано с решением определенного класса задач. Если их нет, то и eGovernment не нужен, как технология.

Если вообще, без привязки к теме, то у нас очень много, даже слишком много хороших и средних инженерных кадров, но нет ни одного визионера, в частности (но и не только) из-за отсутствия амбициозных задач.

Статистика не показатель IT и я этот разговор с ним не связывал. Однако, в сторону замечу, что если бы народ вошел в ум и не занимался ерундой, то все бы уже было сделано. Ее не всегда нужно раскрывать, достаточно уметь обрабатывать открытые данные и делать исторические срезы.

А то доходит до смешного -- неизвестен уровень реальной инфляции. Согласитесь, это край.

Anonymous

May 27 2017, 14:18:55 UTC 2 years ago

Касательно инженерных кадров, и слова "слишком" это быстро исправляется. Давления со стороны более молодых поколений на проверенные кадры никакого нет, в плане компетенции. Отдельные выученные кунштюки в плане владения инструментами не закрывают зияющие провалы в основах. Что касается визионеров, хорошо им становиться имея трамплин в десяточек миллионов у.е., как один наш визионер от философии мечтал. Это не про российских анжинеров.
Молодое поколение дееспособно.
Десяточек миллионов нейронов бы, чего уж там.

Anonymous

May 27 2017, 16:14:19 UTC 2 years ago

Дееспособно, да. Но кадрового давления на старшие поколения нет (за исключением совсем уж дедов 60+, там картина интересная). Хотя казалось бы на ужавшейся экономике всем не поместиться.

А по факту сосуществуют два экономических пространства, почти непересекающихся. Отсюда нюанс.

Anonymous

May 28 2017, 00:08:02 UTC 2 years ago

>по факту сосуществуют два экономических пространства, почти непересекающихся. Отсюда нюанс.

Рыночное и госмонополистическое?

Ну, по мере возвращения социализма, скорее, остается одно, не?
Социализм возвращается? :-)
По крайней мере госмонополизм с популизмом, а также с угнетением интеллектуального сегмента и с выдавливанием из страны интеллигентских и конкурентноспособных в области интеллектуального продукта корпораций, в нулевые-десятые все же создали.
Сильно :-) я в общем-то не против, а примеры интеллектуальных продуктов сможете привести?
Госмонополистическое и рыночное?

Но по мере возвращения к социализму и борьбы с пережитками НЭПа и идеями реванша буржуазии, остается только одно, не?
Кончился НЭП - страна полетела в космос. Вот вам и основа для технологического прорыва :)
аутистичное замечание: 10 млн нейронов это всего 0.01% от нейронов в мозгу гомосапиенса
В нужом месте :-)
Симуляция нейронов для обработки данных?
Не без того :-)
Визионер вчера навизировал, что дроны будут разносить кэш по банкоматам (тут картинка философа с рукой на лбу).
Но, кмк, это он специально. Основное в докладе было - скорый переход на полный безнал.

ps. Уровень инфляции вполне себе оценивают авторитетные дядечки и даже некоторые фирмочки. Опять же, это всё производная от гиперцентрализации власти и, соответственно, необходимости с ней не спорить
Если вы про блестящего выпускника заочного юрфака Воронежского техникума, то аджайла было достаточно для понимания вообще всего и о нем и о жизни.

Оценивают многие, но цифры в массы не запущены и никак не проверяемы, хотя даже мы с коллегами собираем данные из продуктовых магазинов и универмагов по потребителтским ценам в куче разрезов практически по всем крупным регионам. Картина разительно отличается от транслируемой.
//Картина разительно отличается от транслируемой.
Как?
Напишите кстати пост про инфляцию, реально интеерсная тема.
Во-первых, она выше объявленной, что не новость. Во-вторых, она скачет
Интересно, где мы в этом списке находимся.

Anonymous

May 26 2017, 15:13:02 UTC 2 years ago

Часть первичных данных по всему миру была самым беспардонным образом раскрыта с появлением общедоступных геоинформационных сервисов, включая данные всяких там силовиков. На сервисах быстро завелись сообщества любопытных, лихо подсчитывающих всякое-разное. Особенно хорошо получилось с ВМФ и ВВС, и вообще отлично с экологической обстановкой (вырубки, цветение водоемов, площади под свалками). Кое-кто вынужден был задуматься насчет прибрать за собой, после такого рода статистики о масштабах и уровне дикости на кладбищах кораблей у крупных баз.
Да, но даже тут есть цензура :-)

Anonymous

May 26 2017, 15:43:42 UTC 2 years ago

Было много надежд, что первоклассные системы заведутся у любого, кто может осилить спутник фоторазведки. С перекрестной демонстрацией безобразий всех участников.
«Не знаю, насколько это будет интересно широкой общественности в лице узкого круга моих читателей :-)»– очень интересно!

а сколько вас в среднем-таки читает? подписчиков в жж прибавилось с момента моего первого изумления их малым числом, но и помимо же есть... вы пытаетесь расширить круг? вам надо это?
Спасибо :-)

Я поставил счетчик не так давно. Получается около 1000 человек в день.

Я рад аудитории, обсуждениям и тому, что народ ценит мои скромные усилия.

Пока никак не рекламирую сознательно, но я вскоре думаю расширять поле общения с аудиторией. Прибавится материалов и каналов.
Спасибо:)
1000, круто.
А чем обусловлен выбор ЖЖ как площадки?
Так сложилось, что я продолжительное время читал жж, а потом просто завел себе журнал.
Тут была и где-то даже осталась подготовленная аудитория.
Я с определенного момента все зеркалирую на Medium, который удобнее читать в Telegram и Blogger, в качестве резервной площадки.

words_and_pix

May 27 2017, 12:02:29 UTC 2 years ago Edited:  May 27 2017, 12:04:14 UTC

Да, в жж есть интересные блоггеры и подготовленная аудитория. С другой стороны, многие зачем-то переезжают на фейсбук.

Как думаете, какие у ЖЖ перспективы? Не разбегутся ли отсюда остатки юзеров лет через 5-10? Хотя вот на украине стараются дать сервису вторую жизнь. Если это единственная незабаненная русская соцсеть, сюда неизбежно будет стекаться часть выгнанной из остальных сетей аудитории.
Да можно и на фейсбуке. Там все просто пишут в режиме кратких сообщений, а не stories, и сложно форматировать текст/читать длинные посты.

Я думаю перспективы именно технологической платформы туманны. Они очень сильно ушли не туда, вероятно специально.
Вообще же, для РФ сильно нужна площадка для свободного цивилизованного обмена мнениями с цифрами в руках. Думаю, ее нужно делать.
Про цифры это пожелание к культуре самой площадки или что-то техническое? Я могу только представить какую-то систему сохранения "пруфов".

Ниже шутки про скачивания интернета, а между тем, бывает, зайдешь в киберчертоги разума, а там с порога - "товарищь, вы по какому вопросу?"


Да нет, это просто проверяемая низовая статистика. Все массовые лозунги пока бьют мимо именно по причине их несверямости с реальностью. А тут можно зайти и проверить.

Ну да, пока анархия побеждает. На соответствующих ресурсах :-)

Срочно все качайте, пока не закрыли! : )

На заре туманной юности просили "качать интернет", пока доступ есть :-)
Вы иронизируете, а во времена моей юности были даже специальные программы, которые выкачивали весь сайт, чтобы потом его можно было быстро и спокойно посмотреть в офлайне : )
IE 3.0? Mosaic? Да, были времена
это во времена моей юности было)) Да и недавно совсем вроде. Лет пять десять назад всего