Автоматизация отчётности: как собрать данные из CRM, 1С и маркетплейсов в один дашборд

Во многих компаниях отчёт для собственника собирают руками: выгрузка из CRM, выгрузка из 1С, выписка из банка, скриншот из Директа, три файла из кабинетов маркетплейсов. Дальше всё это склеивают в Excel, и через месяц процедура повторяется с нуля. Ниже разбираем, откуда реально берутся данные, что мешает их свести, какие отчёты нужны каждый день, а какие раз в месяц, и сколько стоит собрать дашборд вместо ручной сводки.

Почему отчёты до сих пор собирают руками

Дело не в лени сотрудников. Данные компании физически лежат в 5-8 разных системах, и ни одна из них не знает про остальные.

CRM знает сделки, но не знает себестоимость. 1С знает отгрузки и закупку, но не знает, из какого канала пришёл клиент. Банк знает движение денег, но не знает, к какой сделке относится платёж. Кабинет маркетплейса знает заказы, но комиссии и логистику покажет отдельным отчётом и с задержкой.

Человек становится живым интегратором. Он открывает шесть вкладок и сводит их головой. Это работает ровно до того момента, пока человек на месте и пока цифр немного.

Сколько это стоит в часах

По совместному исследованию Association for Financial Professionals и APQC (2019 год, опрошено более 430 специалистов по финансовому планированию и анализу), на сбор данных уходит 42% рабочего времени, на администрирование процессов 33%, а на сам анализ остаётся 25%. То есть на подготовку цифр уходит в 1,7 раза больше времени, чем на выводы по ним.

Посчитайте свой вариант. Ниже пример расчёта для компании с производством и продажами на маркетплейсах, цифры условные, подставьте свои:

ОтчётЧастотаЧасы за разЧасов в год
Недельный свод по продажам48 раз4192
Месячный P&L и ДДС12 раз12144
Отчёт по маркетплейсам12 раз672
Итого408

408 часов это 51 рабочий день. Десять рабочих недель в году один сотрудник занят копированием чисел из одного окна в другое.

Три потери, которых не видно в часах

Задержка решения. Отчёт за август готов 10 сентября. Решение по августу принимают в середине сентября, а действовать оно начинает в октябре. Реакция на проблему опаздывает на полтора месяца.

Расхождения. У продаж своя таблица, у финансов своя. На совещании числа не сходятся, и вместо решения начинается сверка. Час совещания уходит на выяснение, чья выгрузка правильная.

Отчёт живёт в одном человеке. Формулы, ручные правки и «тут я всегда вычитаю возвраты» держатся в голове автора файла. Он уходит в отпуск, и отчёта нет.

Откуда берутся данные и что мешает их свести

Прежде чем строить дашборд, нужно честно описать источники. У каждого свой способ отдачи данных и свои подводные камни.

ИсточникЧто даётКак забираетсяЧто мешает
CRM (своя, Битрикс24, amoCRM)Сделки, этапы, суммы, менеджер, UTMAPIДубли, сделки без источника, суммы правят задним числом
Отгрузки, себестоимость, взаиморасчёты, складOData, обмен файлами, промежуточная базаЗакрытый контур, данные появляются после закрытия периода, своя номенклатура
БанкФактические приходы и расходыAPI выписки, у мелких банков выгрузка файлом в формате 1СПлатёж без внятного назначения не привязать к сделке
Яндекс ДиректРасход, клики, кампанииAPIРасход приходит с НДС или без в зависимости от параметра IncludeVAT, корректировки задним числом
Яндекс МетрикаВизиты, цели, источникиAPIВизит не равен человеку, часть трафика теряет метки
Ozon, WildberriesЗаказы, продажи, комиссии, логистика, рекламаAPI, включая отчёты о реализацииФинансы не сходятся с заказами, возвраты приезжают через недели, методы API периодически отключают
LamodaЗаказы, остатки, ценыAPI, финансы только файломВ API нет финансовых методов, комиссии и суммы к перечислению приходят отчётом комиссионера через ЭДО
Телефония и коллтрекингЗвонки, источник звонкаAPIЗвонок без номера сделки повисает

Битрикс24 и amoCRM мы не внедряем, но данные из них забираем по API так же, как из любой другой системы. Разбор источников и настройка регулярных обменов входят в автоматизацию процессов.

Пять причин, по которым данные не сходятся

Нет общего ключа. В CRM клиент это «ООО Ромашка», в 1С это ИНН, в банке это строка назначения платежа. Пока не выбран один идентификатор, склейка держится на ручном сопоставлении.

Разные календари. CRM считает по дате закрытия сделки, банк по дате поступления денег, 1С по дате отгрузки. Одна и та же продажа попадает в три разных месяца.

Разные определения выручки. Отдел продаж считает выручкой сумму сделки, финансы считают выручкой то, что отгружено, собственник считает деньгами то, что пришло на счёт. Все трое правы, но числа разные.

Данные меняются задним числом. Возврат на маркетплейсе приезжает через три недели и переписывает прошлый месяц. Отчёт, собранный один раз, устаревает молча.

Тихие ограничения выгрузок. Многие API отдают ограниченное число строк за запрос и не предупреждают, что данные обрезаны. Отчёт выглядит нормально, а часть заказов в него не попала. Частая причина, по которой аналитика врёт, а никто этого не замечает.

Часть данных вообще нельзя взять программно. В Lamoda Seller Partner API финансовых методов нет: комиссии и итоговые суммы к перечислению приходят раз в месяц отчётом комиссионера через ЭДО (документация Lamoda Seller Academy). Факт по деньгам живёт только в этом файле. Такие случаи закладывают в проект отдельно: загрузка файла в систему и разбор его по строкам.

Что такое сквозная аналитика на практике

Сквозная аналитика сводится к одной таблице: в одной строке стоят расход на канал и деньги, которые этот канал принёс. Графики поверх неё вторичны.

Выглядит она примерно так: источник, кампания, визиты, лиды, сделки, выручка, прибыль, стоимость лида, доля рекламных расходов. Слева данные из рекламных кабинетов и Метрики, справа данные из CRM и банка.

В нашем проекте сквозной аналитики в такую строку сводятся 12 источников: расход из Директа, визиты из Метрики, лиды и сделки из CRM, звонки из коллтрекинга, деньги из банка. Руководитель открывает строку и читает: канал забрал 180 000 ₽ и вернул 620 000 ₽.

Чтобы это работало, нужны четыре правила.

Последнее правило чаще всего и отличает рабочую систему от разовой выгрузки. Разовая выгрузка фиксирует момент, система показывает актуальную картину каждый день.

Какие отчёты нужны каждый день, а какие раз в месяц

Главная ошибка при заказе дашборда: попытка вывести на один экран всё сразу. Получается панель на 40 показателей, которую никто не открывает.

Разделите отчёты по частоте решений, которые они запускают.

ПериодЧто смотримКакое решение запускает
ЕжедневноДеньги на счетах, приход за вчера, лиды и стоимость лида, план-факт по отделам, сделки без движенияОперативное вмешательство сегодня
ЕженедельноВоронка по этапам, конверсия по менеджерам, доля рекламных расходов по каналам, оборачиваемость товараПерераспределение бюджета и нагрузки
ЕжемесячноP&L (прибыли и убытки), ДДС (движение денег), юнит-экономика, когорты и LTV, ФОТ и зарплатыИзменение цен, ассортимента, структуры расходов

Ежедневный отчёт: короткий и без действий

Ежедневная сводка не должна требовать от человека ни одного клика. В проекте KPI отделов план и факт по каждому отделу приходят к 9 утра сами: руководитель открывает экран и за минуту видит, где отставание. Ничего собирать не надо, цифры приезжают ночью.

Держите на дневном экране 5-7 показателей. Всё остальное прячьте на второй уровень.

Месячный отчёт: тут можно и нужно копать

Месячные отчёты наоборот требуют разбора. Юнит-экономика имеет смысл только в глубину, до каждой позиции. Общая строка «маркетплейсы принесли 4 млн» решений не даёт. В проекте по Ozon и Wildberries прибыль считается до SKU, с учётом комиссии, логистики, возвратов и рекламы. На этом уровне становится видно, что половина ассортимента работает в минус.

Отдельная категория: отчёты, на которых считают деньги людям. Зарплаты, премии, процент за ведение клиента. Здесь важна не столько красота, сколько повторяемость расчёта и блокировка закрытых периодов, чтобы прошлый месяц никто не переписал задним числом.

Сколько занимает и сколько стоит

Сроки зависят от числа источников и от того, есть ли у них нормальный доступ по API.

Порядок работ

Первая версия появляется быстро специально: пока вы не увидели свои настоящие цифры на экране, обсуждать состав отчётов бессмысленно. В системе учёта агентства первая версия заработала за шесть дней, а полный контур с финансами, зарплатой, CRM и задачами на 26 человек собирался дальше по частям.

Цены

ЗадачаСтоимость
Дашборд с аналитикойот 100 000 ₽
Автоматизация одного процессаот 80 000 ₽
Автоматизация нескольких процессов150 000-350 000 ₽
Сопровождение и доработки45 000-60 000 ₽ в месяц

Полный прайс по остальным задачам собран на странице услуг.

Что двигает цену вверх:

Что цену снижает: готовность зафиксировать определения показателей на старте и не менять их каждую неделю.

Когда хватит выгрузки в таблицу, а когда нужен дашборд

Дашборд нужен не всем и не всегда. Иногда автоматическая выгрузка в Google Sheets решает задачу за неделю и за меньшие деньги.

Хватит таблицы

В этом случае нормальное решение это скрипт, который забирает данные по расписанию и кладёт их в таблицу. Файл остаётся привычным, ручной сбор исчезает.

Нужен дашборд

Последний пункт встречается часто. Excel и Google Sheets прекрасно живут на десятках тысяч строк и начинают тормозить на сотнях тысяч. У обоих есть жёсткий потолок: лист Excel вмещает 1 048 576 строк, файл Google Таблиц 10 млн ячеек на всю книгу (Google поднял лимит с 5 до 10 млн в 2022 году). К этому моменту у файла обычно уже есть пять версий, и никто не знает, какая настоящая.

Промежуточный вариант

Если непонятно, какой отчёт вам действительно нужен, начните с автоматической выгрузки в таблицу по паре ключевых показателей. Через месяц станет видно, на что вы смотрите каждый день, а что открыли один раз. Дальше эти показатели переносятся в дашборд, и он получается коротким и рабочим.

Если CRM у вас пока нет вообще или текущая не отдаёт данные, начинать надо не с дашборда, а с учётной системы: выводить на экран нечего, пока сделки живут в переписке.

Что вы получаете на выходе

Результат автоматизации управленческой отчётности выглядит просто: утром вы открываете один экран и видите актуальные цифры, собранные без чьей-либо ручной работы.

Практический результат выглядит так:

Если хотите заказать разработку дашборда с аналитикой, начните с простого шага: выпишите, из скольких систем сейчас собирается ваш месячный отчёт и сколько часов на это уходит. Этих двух чисел достаточно, чтобы оценить объём работ и понять, окупится ли автоматизация в вашем случае.

Частые вопросы

Можно ли забрать данные из 1С, если она стоит локально и наружу не смотрит?

Да. Вариантов три: опубликовать стандартный интерфейс OData на веб-сервере внутри защищённого контура (поддерживается с платформы 8.3.5, состав публикуемых объектов задаётся вручную и по умолчанию пуст), настроить регулярную выгрузку файлов по расписанию, либо поставить промежуточную базу, в которую 1С пишет сама. Первый вариант удобнее, третий надёжнее, когда 1С сильно доработана. Конкретный способ выбираем после аудита источников.

Сколько времени займёт первая версия дашборда?

Первая рабочая версия с реальными данными занимает 5-10 рабочих дней. До неё идёт аудит источников и согласование определений показателей, ещё 3-5 дней. Полный контур на 8-12 источников собирается дальше по частям. Срок зависит от того, как быстро дают доступы и есть ли у источников нормальный API, ориентир 1,5-3 месяца.

Что делать, если у маркетплейса в API нет финансовых данных?

Такое встречается. Например, в Lamoda Seller Partner API финансовых методов нет: комиссии и итоговые суммы к перечислению приходят отчётом комиссионера через ЭДО. В этом случае в системе делается загрузка файла: вы кладёте отчёт, система разбирает его по строкам и подставляет в общие цифры. Всё остальное продолжает собираться автоматически.

Чем это отличается от Power BI или готового BI-сервиса?

В Power BI есть свой слой подготовки данных, Power Query и потоки данных. Но основная работа остаётся снаружи: получить доступы, разобрать восемь разных API, привести клиентов к одному ключу, пересчитать историю при возвратах. Мы делаем именно этот слой, а витрину показываем в веб-интерфейсе с разграничением прав. Power BI Desktop бесплатен, но за публикацию и общий доступ платят подписку на каждого пользователя, и обслуживать модель кому-то придётся. Здесь этого не нужно: система своя, права настраиваются внутри неё.

Кто будет поддерживать систему, когда кабинеты поменяют свои API?

Это регулярная история: маркетплейсы и рекламные кабинеты меняют форматы несколько раз в год. Поддержка входит в сопровождение, 45 000-60 000 ₽ в месяц: следим за источниками, чиним обмены, добавляем показатели в рамках согласованного объёма часов. Без сопровождения система продолжит работать, но обновлять её при изменении внешних API придётся отдельными задачами.

Сколько показателей стоит выводить на главный экран?

На ежедневный экран 5-7. Всё, что требует разбора, а не быстрой реакции, уносите на второй уровень и в месячные отчёты. Панель на 40 показателей обычно перестают открывать через пару недель после запуска.