Импорт из Excel, CSV, ODS

Импорт позволяет загрузить данные показателей таблицей вместо того, чтобы вводить значения по одному. Это удобно, когда данные уже собраны в Excel или выгружены из учётной системы. На этой странице по шагам разобрано, какие форматы и размеры принимаются, как система сама определяет кодировку и разделитель, как работают предпросмотр первых 100 строк и сопоставление колонок (маппинг), что означает итог импорта и почему обработка идёт в фоне. Импортированные значения проходят те же проверки, что и ручной ввод.

Когда импортировать вместо ручного ввода

Импорт оправдан, если данные уже лежат в таблицах. На шаге 5 мастера нажмите «Импорт из файла» справа от заголовка шага — кнопка ведёт в раздел импорта и видна при праве ввода данных.

Поддерживаемые форматы и лимиты

Принимаются форматы XLSX, XLS, CSV, ODS, максимальный размер файла — 100 МБ. Для устаревшего формата .xls (BIFF) действует отдельный, гораздо более жёсткий потолок размера, потому что такой файл читается в память целиком. Потолок зависит от памяти, отведённой на сервере обработке импорта: при стандартной настройке это около 6 МБ. Точное значение страница загрузки называет рядом с зоной загрузки и отказывает сразу, ещё до отправки, если .xls больше. Такой файл пересохраните в XLSX — для него действует общий предел 100 МБ.

Не путайте лимиты: импорт данных — до 100 МБ (xlsx/xls/csv/ods), а файл свидетельства — до 20 МБ и другой набор форматов. Это разные ограничения.

Как загрузить файл

Перетащите файл в зону загрузки («Перетащите файл сюда») или нажмите кнопку «Выбрать файл» и выберите его в проводнике. Во время отправки виден ход загрузки («Загружаем файл…»).

Фоновая обработка

После загрузки файл ставится в очередь и разбирается в фоне. Карточка импорта обновляется сама — обновлять страницу вручную не нужно. Пока файл ждёт своей очереди, видно «Файл ждёт свободного слота»; когда разбор идёт, показываются индикатор и счётчик «Обработано строк: N» — по нему видно, что работа продолжается, а не зависла. Процент не показывается намеренно: общее число строк становится известно только по завершении разбора, и любой процент до этого был бы выдуманным. Действует ограничение «один импорт за раз» (память сервера ограничена 2 ГБ) — не запускайте второй импорт, пока обрабатывается первый.

Автоопределение кодировки и разделителя

Система сама определяет:

• кодировку файла (UTF-8, Windows-1251 и другие, с учётом BOM);
• разделитель для CSV (точка с запятой ;, запятая ,, табуляция, вертикальная черта |).

Под именем файла виден его статус, а формат, кодировка и разделитель — по раскрытию «Детали файла». Если в предпросмотре видны «кракозябры», проверьте определённую кодировку — источник мог быть сохранён в неожиданной раскладке.

Образец строк файла

После разбора система показывает образец — первые 5 строк с заголовками («Образец строк файла»); остальные из первых 100 открываются кнопкой «Показать первые 100 строк». Убедитесь, что колонки и значения распознаны корректно, прежде чем сопоставлять поля.

Сопоставление колонок (маппинг)

Каждой колонке источника нужно назначить целевое поле. Доступны ровно пять полей:

• metric_code — код показателя (обязательно);
• value — значение (обязательно; только это поле числовое);
• unit — единица измерения;
• currency_code — код валюты денежного значения (ISO-4217);
• note — примечание.

Колонки с привычными названиями — «Код показателя», «Значение», «Единица», «Валюта», «Комментарий» (и их казахские и английские варианты) — подбираются сами; над списками появляется подсказка «Колонки подобраны по названиям в файле — проверьте их перед импортом». Подбор — только предложение: проверьте и при необходимости поменяйте поле в списке.

Чтобы пропустить колонку, выберите «— не импортировать —». Без назначенных metric_code и value импорт не запустится.

Сохранение и запуск переноса

Нажмите «Сохранить сопоставление», затем «Импортировать с этим сопоставлением» — запускается полный разбор строк файла (статус «Проверяем строки файла»). В оценку строки попадают позже, отдельным переносом — см. ниже.

Итог импорта

Когда строки разобраны (статус «Строки разобраны»), итог виден одной фразой: «Можно перенести в оценку: N из M строк» и, если есть потери, «Требуют исправления: K (в карантине …, с ошибками …)». На этом этапе в карантине — строки, которые не удалось разобрать (в таблице ниже они помечены «Не распознана»), в ошибках — структурно битые строки; ни те, ни другие в оценку не переносятся.

Чтобы данные появились в показателях, выберите оценку в блоке «Применить к оценке» и подтвердите перенос: диалог называет число переносимых строк и предупреждает, что значения по совпадающим показателям будут заменены, а их верификация сброшена.

Принятые строки приводятся к базовым единицам и валюте так же, как при ручном вводе: величины — к базовым единицам СИ, денежные суммы — по курсу НБ РК (см. Единицы измерения и валюта). Перенос в данные — это ещё не подтверждение: принятые значения остаются непроверенными, пока автор не поставит им самооценку или другой пользователь не выполнит внутреннюю проверку (см. верификацию и разделение обязанностей).

Какие строки и почему отклонены

Под итогом выводится таблица «Отклонённые строки» с номером строки в исходном файле, её статусом, причиной и сопоставленными значениями. Список фильтруется (только карантин, только ошибки, все строки), а кнопка «Выгрузить причины (CSV)» отдаёт те же строки файлом — вместе с исходными ячейками, «как есть». Факт выгрузки записывается в журнал аудита.

Статусов в таблице три, и исправляются они по-разному:

• «Не распознана» — строку не удалось разобрать (правила — ниже). В оценку она не переносится: исправьте её в файле и загрузите файл заново.
• «Карантин» — значение уже перенесено в оценку, но система отложила его на ручную проверку (например, не нашлось курса валюты на дату). Разбирается оно в оценке, в карантине, а не в файле.
• «Ошибка» — строка структурно битая или отвергнута при переносе.

Итог обновляется и после переноса в оценку: строки, отклонённые уже на этом шаге (неизвестный код показателя, расчётный или экспертный показатель, отказ базы данных), переходят в ошибки — с причиной в той же таблице.

Исходный файл импорта удаляется по сроку хранения (по умолчанию через 7 дней). Если переносить из импорта уже нечего — всё принятое перенесено или принятых строк нет, — вместе с файлом удаляются и разобранные строки с причинами. Строки, которые ещё ждут переноса в оценку, хранятся дольше — по умолчанию 30 дней; если за это время их не перенести, они удаляются, и в карточке импорта появляется сообщение, что строки удалены по сроку хранения и файл нужно загрузить заново. Разберите отклонённые строки до истечения срока — потом останутся только счётчики.

Что уходит в карантин при импорте

По тем же правилам, что и при ручном вводе: пустые обязательные поля, нечисловое значение в числовой колонке, неоднозначное число «1,234». В таблице такие строки помечены «Не распознана». Эти строки не подменяются и не отбрасываются молча — они остаются в таблице с причиной и ждут исправления в файле (правила проверки — в Валидации и карантине).

Ещё одна причина — повтор кода показателя. В оценку переносится одно значение на показатель, поэтому если код встречается в файле больше одного раза, система не выбирает «последнюю» строку молча: все строки этого кода уходят в карантин с причиной «Показатель … повторяется в строках …». Сведите их в одну и загрузите файл заново.

Что считается ошибкой строки

Строка попадает в «Ошибки», если число её ячеек не совпадает с числом колонок шапки — это структурная поломка (съехавшие или лишние ячейки).

Что НЕ делает импорт в Фазе 1

В Фазе 1 импорт работает только с файлами. Автоматический сбор данных из ERP / CRM / BI, версионирование наборов и нечёткая дедупликация — это возможности Фазы 2 (в текущей версии недоступны).

Частые ошибки

• Не назначены обязательные поля metric_code и value — импорт не запускается или строки уходят в карантин/ошибку.
• Разбор отклонённых строк отложен «на потом» — построчные причины удаляются вместе с исходным файлом импорта (по умолчанию через 7 дней; строки, ещё ждущие переноса, — через 30 дней), после чего остаются только счётчики.
• Один показатель несколькими строками (например, по подразделениям) — все строки этого кода уходят в карантин; сведите их в одну строку до загрузки.
• Запуск второго файла, пока обрабатывается первый — действует лимит «один импорт за раз».
• CSV с разделителем-запятой и числами вида «1,234» — массовый карантин из-за неоднозначности.
• Большой .xls (BIFF) упирается в отдельный жёсткий лимит размера (около 6 МБ при стандартной настройке сервера) — пересохраните в XLSX.
• Съехавшие колонки (лишняя или недостающая ячейка) → строки попадают в «Ошибки».
• Неверная кодировка в источнике (кракозябры в предпросмотре) — проверьте определённую кодировку в карточке импорта.