Организаторы переписи о том, как не угадали с нагрузкой в 50 000 посещений в секунду, но «подняли» систему за 2 часа

С начала переписи в Беларуси прошла всего неделя, но событий вокруг неё становится всё больше. 4 октября «упали» сайты для переписи, множатся слухи о «принудительном» волонтёрстве студентов и странной работе планшетов с опросниками. dev.by посетил Белстат, чтобы узнать, как перепись устроена изнутри.

Онлайн-перепись не планировалась

Утром 11 октября сайт Белстата показывал, что 775 тысяч человек приняли участие в переписи с помощью интернета (утром 14 октября — уже 1+ млн). Это много или мало? 

Вячеслав Проволоцкий, начальник отдела сопровождения и разработки информационных систем. Хотелось бы больше: чем больше людей пройдет перепись через интернет, тем меньше придётся волонтерам ходить по квартирам. Мы заинтересованы в интернете, чтобы облегчить работу переписчиков.

Жанна Василевская, заместитель председателя Белстата. Это была наша основная цель. В ходе пробной переписи (которую мы проводили силами только органов государственной статистики) мы включили дополнительный вопрос о способе участия в переписи. До этого мы планировали проводить только устный опрос с использованием планшетов. Но почти треть опрошенных высказалась за использование интернета. Мы провели ещё одно исследование — таких мнений оказалось уже порядка 25%. Таким образом было принято окончательное решение о дополнительном методе участия населения в переписи. Давайте согласимся: это очень удобно. 

Разрабатывала сайты для переписи компания Erpbel. Расскажите, как происходил отбор разработчика. 

Жанна. Всё проводилось в соответствии с законодательством Республики Беларусь. Был объявлен тендер. Заявку подали три компании. По итогам тендера был выбран разработчик программного продукта.

Компания LWO запросила больше запланированной суммы за разработку сайтов. А по каким критериям выбирался победитель тендера из двух оставшихся компаний?

Антон Мучковский, начальник отдела организации проведения переписи населения. Любой отбор проходит в два этапа. На первом мы предъявляем ряд стандартных требований к организации: подтверждение регистрации юрлица, справки о доходах и прочее. Как раз одна из трёх компаний (PST Labs — прим. dev.by) не прошла квалификацию на первом этапе — не смогла предоставить полный набор документов.

На втором этапе мы определяем победителя из компаний, прошедших квалификацию. Существует особая формула, в которую входит стоимость проекта, количество схожих выполненных проектов — это два главных показателя. Также, например, учитывается, будет ли компания сама выполнять разработку или дополнительно наймёт субподрядчиков. Дальше математически рассчитываются баллы и определяется победитель. 

​

Несколько не подрассчитали

В первый день переписи, 4 октября, «упали» сайты переписи. Ваша версия событий?

Вячеслав. Мы предполагали, что будет огромный наплыв людей, но несколько не подрассчитали.

Мы бюджетная организация — делать с десятикратным запасом не можем. Из наших расчётных показателей выбрали количество серверов, рассчитали нагрузку, но ошиблись.

Как рассчитывали нагрузку?

Жанна. Все работы велись с компанией, которая отвечала за разработку ПО. Мы консультировались с ними и с организациями, которые были задействованы в процедуре переписи: МСИ (Межбанковская система идентификации), Национальным центром электронных услуг (НЦЭУ). Когда мы встречались с представителями ЕРИП и обсуждали события, те рассказывали о своём опыте и об эффекте первого дня. Мы говорили о потенциальной нагрузке в 50 тысяч, но предположить такой скачок…

70 тысяч посещений в секунду?

Вячеслав. В пиковые моменты было больше 120 тысяч. В тот момент, когда надо было отвечать, что случилось, — 70 тысяч. Но, согласитесь, за 2-2,5 часа поднять систему — это небольшой промежуток времени. 

Жанна. В тот момент, когда «легли» сайты, отработали все слаженно. Сейчас ситуацию контролируют и мониторят как наши специалисты, так и специалисты со стороны разработчика сайтов и разработчика приложения для планшета.

Антон. Когда мы приступали к интернет-переписи, то обратились за опытом наших коллег из соседних стран. Все говорили: «Первый день будет самым трудным. Все пойдут смотреть». В Эстонии, где 67% участников переписи отвечали на вопросы в интернете, в первый день сайты «лежали».

Жанна. Мы были в Эстонии, и нам рассказывали, как ночью «поднимали» интернет. Руководитель австралийской статистической службы вспоминал, как там «поднимали» сайт целые сутки после DDOS-атак и были даже вынуждены продлить срок проведения переписи. Говорил, что эффект первого дня никто не может предвидеть и практически невозможно рассчитать нагрузку на сайт в пиковые моменты.

Вячеслав. Начиная со второго дня и по текущий нагрузка держится в рамках расчётной. Мы искренне приносим свои извинения тем людям, которые в первые часы не смогли переписаться.

Раз упомянули DDOS-атаки — сталкивались с ними за первые дни переписи?

Вячеслав. У нас атаки блокируются на нескольких уровнях. Глобально до нас ничего не дошло.

​

Понадобилось время, чтобы понять, каким путем пойти

Сколько времени подрядчик занимался разработкой сайтов? 

Жанна. В феврале мы заключили договор. Вот и считайте. 

Не слишком длительный срок, учитывая, что перепись проводится раз в десять лет.

Вячеслав. Давайте учитывать, что сама перепись — довольно краткосрочное явление. 

Жанна. Как только предыдущая перепись прошла, уже рекомендуется готовиться к следующей. Текущую перепись мы начали фактически готовить с 2014 года. Нужно было понять, каким путём мы пойдём. Сегодня существует три основных метода проведения переписи. Первый — традиционный, когда переписчик посещает респондентов на дому. Второй — метод на основании регистров (когда население непосредственно не участвует в переписи, а данные берутся из административных источников — dev.by). И третий — комбинированный, когда регистры совмещаются с опросами. Мы выбрали третий вариант: используем регистры для формирования и проведения переписи, проводим интернет-опрос и пользуемся планшетами.

Перепись как имидж страны

Спустя неделю после начала переписи вы довольны работой разработчика сайтов?

Вячеслав. Мне кажется, это некорректный вопрос. Естественно, мы работаем в очень тесной сцепке. Вы хотите вбить клин между нами? 

Жанна. По-моему, я ответила на этот вопрос, когда рассказывала о ситуации первого дня. Никто не остался в стороне.

По клавишам били все: и представители компании разработчика, и наши специалисты, и сотрудники МСИ и НЦЭУ. Мы и сейчас так работаем. Я знаю всех в лицо, знаю всех по именам.

Мы 24 часа в сутки на связи. Не считаю зазорным, что я разговариваю и с обычными специалистами из компании подрядчика, и с руководством тех же МСИ или НЦЭУ.

Вячеслав. Скажите, по истечении этих шести дней система работает?

Да.

Вячеслав. Вот вы и ответили на вопрос, довольны ли мы своими подрядчиками. 

Антон. Все участники процесса понимают, что мы работаем на имидж страны на мировой арене. 

Жанна. За нами сейчас следят все страны СНГ и не только.

​

Планшеты от МТЗ, ПВТ и Белкалия на временное пользование

Не могу не задать вопрос про финансирование переписи. Пока известно, что почти 2 млн долларов выделил Всемирный банк в качестве гранта.

Жанна. Абсолютно верно. 1,9 млн, если быть точным. Это то, что мы официально анонсировали. Удельный вес расходов республиканского бюджета составит всего лишь 35%. Но пока все работы не будут закончены, мы не можем озвучить полную стоимость переписи. Например: фонд ООН в области народонаселения в качестве помощи снял для нас два видеоролика. Они проводили свои тендеры, сами выбирали победителя, сами заключали договоры. Мы даже не знаем стоимость этих работ. Как считать подобные вещи?

Проведение переписи — одно. Но мы отвечаем и за популяризацию её результатов. Например, мы запланировали разработку геостатистического портала. Сегодня мы не можем сказать, сколько это будет стоить.

Бурно обсуждалось, что мы провели тендер на закупку сервера. Честно говоря, повеселили.

Мне даже пришлось прокомментировать в соцсетях, что все сервера для сбора данных давно работают. А мы объявили тендер на покупку резервного сервера для обработки и хранения данных. Приобрести его рекомендовали международные эксперты. 

ПВТ фигурирует в списке спонсоров и партнёров переписи. Какую спонсорскую поддержку он оказывал?

Жанна. Спонсором выступала администрация ПВТ. Мы встретились и объяснили, что нам нужны будут планшеты. Заключили трёхстороннее соглашение. Администрация ПВТ выступила спонсором закупки планшетов для Министерства образования, которые нам передали во временное пользование.

После переписи мы возвращаем планшеты в министерство, где их передадут в средне-специальные учебные заведения.  

Давайте уточним общее количество планшетов. 

Жанна. Порядка 1000 планшетов нам во временное пользование передал Минздрав. Калийная компания выделила спонсорскую помощь для 1700 планшетов. Их передадут Министерству здравоохранения для терапевтов и врачей скорой помощи. Насколько я знаю, 5100 планшетов закупила администрация ПВТ. За средства республиканского бюджета закуплено всего 1500 планшетов. 3000 закупили за счёт средств Всемирного банка. Часть планшетов закупил МТЗ. С учётом всей спонсорской помощи — 13000 планшетов. 

В чём интерес БКК, МТЗ и других спонсоров в закупке планшетов?

Жанна. Когда мы встречались с представителями Тракторного завода, нам сказали: «Мы готовы, но планшеты должны передать в учебные заведения». 

Это были двусторонние переговоры, или решение сверху?

Жанна. Скажу честно: на личных контактах. Мы встречались с руководителями организаций и обсуждали все возможные варианты. С администрацией ПВТ у нас были трёхсторонние переговоры: руководители Белстата, Министерства образования и администрация ПВТ. С Калийной компанией разговаривали сами. Для них укрепление материально-технической базы Министерства здравоохранения — социальный проект.

У какого производителя закупали планшеты?

Жанна. Всё на тендерной основе. Но за спонсорскую закупку (например, закупку МТЗ) мы не отвечали.

То есть планшеты разных производителей?

Антон. Да. Вся закупка была разбита на несколько конкурсов. В один подалось 8 организаций, в другой — 15.

​

Что за организации: производители или дистрибьюторы техники?

Антон. Дистрибьюторы. Даже были ипэшники. Требования к планшетам: система Android, 2 гигабайта оперативной памяти — обычный планшет среднего сегмента. Главное требование, самое болезненное для наших организаций, — весь товар должен быть сертифицирован.

Нам поступали заявки с предложением 20 моделей, но ни одна не была сертифицирована.

Жанна. Мы работаем в рамках Евразийской экономической комиссии и строго регламентированы. Понимаем, что планшеты после переписи пойдут в школы. 

Большинство планшетов какого производителя?

Антон. Зачем мы будем рекламировать?

Какие приложения установлены на планшет? 

Вячеслав. На планшеты установлены основное ПО и антивирус. 

Кто занимался разработкой ПО для планшетов?

Антон. Компания-разработчик из ПВТ — LWO (Light Well Organization). 

Жанна. Конкурс был ещё в начале 2017 года, потому что в пробной переписи уже использовались планшеты с установленным прототипом приложения. 

Данные обезличиваются

Как работает приложение на планшете? 

Антон. Переписчик приходит в помещение, вводит адрес, заполняет анкету и нажимает кнопку «Сохранить». Анкета закрывается, шифруется сертифицированным средством и отправляется на сервер. Если вдруг отправка завершилась неудачно (например, пропала мобильная связь), анкета лежит в зашифрованном виде на планшете. У переписчика доступа к файлу нет. Планшет каждые три минуты проверяет возобновление связи с сервером. 

Жанна. И вернуться снова к заполнению анкеты и внести правки невозможно. 

Когда данные попадают на сервер Белстата, что с ними происходит?

Антон. Сейчас они хранятся и ждут очереди, когда мы приступим к их обработке. К данным никто не имеет доступ. 

Жанна. Вначале они обезличиваются. Все задают вопрос: зачем в анкетах указывают ФИО и адрес. Пример: муж и жена зашли под разными идентификационными номерами и одновременно переписали семью из четырёх человек. Указание имени переписчика позволяет убрать эти повторы. Мы берём за основу одну анкету.

Антон. Удаление дубликатов автоматизировано. Написан сложный алгоритм, который в несколько этапов ищет подобные анкеты. 

​

Зачем понадобилось в перепись через интернет вводить регистрацию с помощью Межбанковской системы идентификации?

Вячеслав. А как нам идентифицировать человека? Хотелось бы, чтобы переписались люди, которые проживают в Беларуси. 

Жанна. Это международное требование: переписываем только тех, кто проживает на территории страны. Учитываем, конечно, тех, кто временно отсутствует. Но мы не переписываем тех, кто больше года постоянно проживает в другой стране. Есть исключения: например, сотрудники посольств переписываются как временно отсутствующие граждане Республики Беларусь. 

Добровольные волонтёры

Большинство волонтёров — студенты?

Жанна. По-разному. Зависит от района или области. Например, в Минской области студентов-волонтёров почти нет, потому что и вузов там практически нет. Но подбором персонала занимался не Белстат, а местные органы власти. Каждый исполком (например, облисполком) сам определял для себя, кого он может привлечь в качестве переписчиков. Среди волонтёров есть и госслужащие, и студенты. У нас около 12 тысяч переписчиков. Для сравнения: в переписи 2009 года было задействовано 43 тысяч переписчиков. Мы уменьшили число людей за счёт автоматизации процесса переписи.

Разве у местной власти нет полномочий заставить госслужащего или студента пойти работать волонтёром?

Жанна. Я не могу комментировать действия и подходы, которые используют местные власти по подбору переписчиков. Но поверьте: власти сами заинтересованы в подборе качественного персонала.        

Помогаете devby = помогаете ИТ-комьюнити.

Засапортить сейчас.