Easy Data Transform

О ПРОГРАММЕ

Easy Data Transform – это профессиональная программа для быстрого и наглядного преобразования сырых структурированных текстовых данных. На вход подаются файлы в различных форматах или содержание буфера обмена, к этим данным применяются различные трансформеры в виде нод преобразований, на выходе получается таблица очищенных данных, пригодных для просмотра, визуализации и для экспорта примерно в тот же набор форматов текстовых данных.

ИНТЕРФЕЙС

Интерфейс программы логичен и лаконичен.
СЛЕВА находится панель с нодами (трансформерами). Список можно выводить весь целиком или включать фильтр по категории, или искать ноду по ее контексту в ее названии.
ПО ЦЕНТРУ находится холст для композиции нод в целях преобразовать входные данные так, чтобы на последней ноде или промежуточных нодах получать результат или набор результатов.
СПРАВА ВВЕРХУ находится панель свойств выделенной ноды. Когда вы вытаскиваете новую ноду на холст, то, как правило, обязательно требуется настроить параметры на этой панели для уточнения желаемого результата.
СПРАВА ВНИЗУ находится результат преобразований, осуществленных до выделенной ноды включительно. Эту таблицу можно раскрыть на полный экран кнопкой .

НОДЫ

Главной особенностью программы является эффектная и эффективная система нод, с помощью которой пользователь проводит преобразования поступивших данных. Список нод находится слева, откуда пользователь их перетаскивает в центральное окно, присоединяя к выделенной ноде. Обычно ноды последовательно присоединяются друг к другу, создавая этапы преобразований. Результат каждого этапа можно просмотреть мгновенно без необходимости разрыва цепочки, просто выделив нужную ноду. Как правило, одна нода присоединяется к одной родительской ноде. Но есть ноды, которые требуют двух выделенных родительских нод – это, например, [Join] или [Cross]...
После того, как вступила в действие дочерняя нода, можно посмотреть результат ее преобразования справа внизу или открыть эту таблицу на весь экран по кнопке , расположенной вверху справа. У каждой ноды есть панель настроек справа вверху, на которой пользователь уточняет параметры преобразования. Для удобства расположения нод на холсте их можно перетаскивать мышкой. Связь между нодами можно разорвать, если выделить стрелку, и клавишей [Delete] ее удалить. Потом можно восстановить, если навести мышь на ноду и, ухватившись на плюсик, потянуть на соседнюю ноду (обратите внимания, что после восстановления связи надо снова отредактировать параметры транформера).
Для изменения источника данных для цепочки, т.е. для изменения самой первой ноды, рекомендую это делать не путем разрыва связи, а путем изменения имени файла на панели свойств этой ноды (если, конечно, структура данных совпадает).
Преобразования данных можно ветвить. То есть, от одной ноды провести разные пути преобразований параллельно. Потом, выделяя ноды то на одной ветке, то на другой, вы сможете мгновенно перескакивать от одного результата к другому.
Очень полезной фишкой является нода [JavaScript]. Если что-то не дано преобразовать с помощью стандартных нод, то на помощь приходит эта нода, с помощью которой преобразования можно проводить скриптом. Пишется код, где значение ячейки столбца, например, Team1 выглядит как $(Team1), а все остальное - стандартный js. Нода создает новый столбец, в каждую ячейку которого выводит функцией return результат изучения ячеек строки. Нюанс: следите за последней строкой – если последняя строка закомментирована, то скрипт не срабатывает – делайте тогда последнюю строку пустой, а комментарий пусть будет предпоследней строкой.
Наконец, на холст можно добавлять блоки комментариев, что будет полезным при большом количестве нод и необходимости просмотра различных результатов.

ВИЗУАЛИЗАЦИЯ

Кроме табличного другого вида результата транформации в программе не предусмотрено. НО есть удобные бесплатные сервисы в интернете, которые вам сделают визуализацию на любой вкус и цвет. В руководстве пользователя Easy Data Transform даже дается прямая ссылка на такой сервис: Rawgraphs.io. Скопировав результат своих преобразования кнопкой в буфер обмена, их можно вставить в соответствующее поле в этом сервисе, выбрать вид графика, настроить поля отображения и получить красивую картинку, которую возможно будет сохранить в векторный формат изображения SVG. Рекомендую этот сервис попробовать – получите эстетическое удовольствие.

СРАВНЕНИЕ С MS EXCEL

Хотя это программы разных весовых категорий, но сравнить хочется. Быстрый взгляд:

• Конечно, Excel фундаментальнее, это еще и редактор таблиц, а в Easy Data Transform можно только обрабатывать готовые данные, кстати, не только таблицы.
• В Excel надо знать много кнопок и много формул. В Easy Data Transform работа интуитивнее, есть четкий список трансформеров в одном месте с понятными параметрами в другом одном и тот же месте. Погружение и работа в общем в Easy Data Transform проходит быстрее.
• В Excel есть встроенная визуализация в виде графиков. В Easy Data Transform такого нет, надо пользоваться сторонними сервисами.
• Для решения нестандартных задач в Excel есть формулы, а в Easy Data Transform есть ноды [If] и [JavaScript]. Здесь паритет. Хотя в Excel есть еще VBA, но этот язык программирования сложнее чем JavaScript.
• Для того, чтобы по одному и тому же набору данных иметь разные выборки/преобразования в Excel надо потрудиться и, например, на разных листах настроить вывод разных результатов. В Easy Data Transform это делается легче, в одном месте на холсте, а разные результаты можно просматривать просто кликая на разные ноды.
• Работа в одном проекте с несколькими источниками данных, расположенных в разных файлах, проще проходит в Easy Data Transform.

НЕБОЛЬШОЙ ПРИМЕР

Допустим, нам надо сравнить два списка, расположенных в двух разных нодах каждый в своей колонке. Для сравнения двух входящих колонок используется нода [Substract]. Входящие списки сортировать не обязательно.
Надо выделить две входящие ноды (c нажатой клавишей [Ctrl]), выбрать ноду [Substract], а в ее параметрах выбрать Top key и Bottom key. Имеет значение местоположения ноды на холсте (вверху/внизу)! В результате из верхнего списка будут исключены все записи, встречающиеся в нижнем списке. То есть, в [Substract], останутся записи верхнего списка, не встречающиеся в нижнем. Для того, чтобы получить обратный эффект, т.е. записи нижнего списка, не встречающиеся в верхнем, не обязательно перетаскивать копию нижней входящей ноды вверх. Можно кликнуть на кнопку [Explore Keys] на панели параметров и получить наглядную табличку, где присутствуют оба варианта, описанные выше.

Скачать, почитать, посмотреть

📥 Скачать Easy Data Transform v.1.33.0 портабельную сборку под Windows (пароль для разархивирования newart.ru). Проверял на Windows 10 64bit.

📗 Руководство пользователя Easy Data Transform на английском на сайте разработчика.

📺 Playlist of Easy Data Transform от разработчика на английском.