Удалить всё, что не *.mp3

Возникла необходимость удалить из каталога все файлы, за исключением mp3. В каталоге 60 подкаталогов, в каждом подкаталоге 10-20 разных файлов. Руками такое делать бесконечно утомительно. Но можно открыть консоль и набрать там такое:

find /media/sdcard -type f -not -regex ".*.mp3" -exec rm {} \;

эта команда отыщет все файлы в каталоге /media/sdcard и его подкаталогах, которые подходят под два условия:

  • - type f — простой файл (исключаем каталоги)
  • - not -regex ".*.mp3" — имеют любое расширение, кроме .mp3

А дальше команда все эти файлы передаются в команду rm и благополучно удаляются.

Текущий IP-адрес из консоли в MacOS

Мы продолжаем играться с докером и периодически возникает необходимость достучаться из одного контейнера до другого. По-правильному нужно поднимать docker network, но если лень и сетевая производительность не очень важна, то можно ходить из контейнера в контейнер по ip-адресу хост-машины, на которой запущен Docker for Mac.

Тут нас поджидают небольшие грабельки под названием DHCP — нет гарантии, что ip-адрес выданный ноутбуку сегодня не изменится завтра, и с вероятностью, близкой к 100%, мы получим другой ip, вернувшись в офис после выходных.

Очевидно, что ip-адрес нужно бы не хардкодить в скриптах, а получать его динамически. Для этого можно ввести в терминале эту команду:

$ ipconfig getifaddr en0

Если у нас активно несколько интерфейсов, например, есть WiFi и подключен Ethernet-шнурок, то просто меняем имя сетевого интерфейса:

$ ipconfig getifaddr en1

Самые умные и ленивые конечно же создадут алиас и запишут его в .bashrc/.zshrc.

Передача переменных окружения в Docker

Мы на работе немного угорели по микросервисам и всё заворачиваем в docker-контейнеры. Зачем — это тема для отдельного поста, сейчас об этом не будем. Просто поверьте, что оно нам действительно надо.

Что особенно удобно — легко поддерживается идентичность среды у разработчика на маке и винде и на серверах с линуксом. Но есть некоторые вещи, например подключения к БД и другим сервисам, ключи от всяких API и т.п. должны быть разными на разных окружениях.

Первым подходом было создание конфигурационных файлов и их подмена при сборке, всё это выглядело крайне костыльно и доставляло определённые неудобства.

Потом к нам пришли переменные окружения, их можно передавать при запуске контейнера поодиночке или все сразу, используя специальный файл (или несколько файлов).

$ docker run --rm --env DB_HOST=postgres_1.local --env-file=dev-env ubuntu env

В этом примере мы запускаем контейнер с убунтой и передаём в него пачку переменных из файла dev-env, а также явно указываем значение для переменной окружения DB_HOST. В результате в терминал выведется список всех переменных окружения внутри запущенного контейнер, после чего контейнер самоуничтожится (потому что он был запущен с ключом --rm).

Всё очень хорошо и красиво, но когда я начал переводить старый проект на эти новые рельсы, то наткнулся на несколько странное поведение. Проект написан на питоне, поэтому для чтения переменных окружения мы используем библиотеку environs. Она позволяет валидировать значения переменных во время чтения, и для одной такой переменной (пусть это будет тот же DB_HOST) был ограничен набор возможных значений.

Но для удобства разработки переменные брались из .env-файла, монтируемого прямо в контейнер и считывались прямо из него всё-той же библиотекой environs. Всё было прекрасно, пока не пошли деплоить на стейджинг. Тут приложение внезапно стало валлиться с ошибкой, что для DB_HOST передано недопустимое значение.

Проверяю env-файл на сервере — всё в нём правильно, ну ладно иду читать, что на самом деле пришло в контейнер и вижу, что значение переменной передано вместе с кавычками (то есть "postgres_1.local" вместо postgres_1.local). Мы давно привыкли всегда заключать значения переменных окружения в кавычки, потому что bash их игнорирует, но зато это позволяет нормально передать значения из нескольких слов, да и вообще, файлы лучше читаются. Но делать нечего, пришлось вычищать все кавычки из значений переменных, чтобы приложение смогло запуститься.

Но что ещё печальнее, такая внимательность к кавычкам у Докера проявляется только для переменных из env-файла, если переменная передаётся явно, через --env, то значение переменной преспокойно можно заключать в кавычки и в контейнер придут правильные данные.

По случаю этой ошибки была Issue на гитхабе, но что-то её закрыли ничего не починив.

Про сравнение объектов Immutable.js

Примерно год назад я начал переводить проект, над которым работаю в Charge.auto с жутко запущенного легаси на реакт-редакс-вот это всё. Для представления данных в сторе решил взять Immutable.js. Граблей было исхожено не одно поле, но на днях до меня наконец-то дошло, как разрешить одну из самых раздражающих меня проблем.

В приложении с сервера прилетает множество разных массивов данных, эти массивы раскладываются туда-сюда в сторе в List и дальше забираются в редакс-контейнерах и передаются как пропсы в компоненты. И вот тут начался праздник. Как правило, нужно выводить не весь список, а какую-то выборку по нему. Сначала я делал что-то типа

function mapStateToProps(store) {
  const items = store.get('beans').get('items');
  const activeItems = items.filter((item) => item.get('isActive'));

  return { activeItems };
}

Но почти сразу же я заметил, что компоненты постоянно обновляются, даже если данные не менялись. Причина проста — List.filter() создаёт новый инстанс отфильтрованного списка при каждом вызове, а в shouldComponentUpdate() использовалась просто строгое неравенство. На тот момент я ещё не до конца понимал всей кухни реакта и как писать реакт-компоненты правильно, поэтому просто стал передавать из контейнера в компонент полные списки, а фильтрацию и всё остально делать уже в компонентах. Но меня постоянно бесил тот факт, что приходится гонять туда-сюда жирные объекты, а компоненты получаются с излишней логикой.

Но вот на днях я нашёл целых два решения проблемы.

Во-первых, все объекты Immutable.js имеют метод .equals(), так что его и нужно использовать в shouldComponentUpdate()

shouldComponentUpdate(nextProps) {
  return !nextProps.activeItems.equals(this.props.activeItems);
}

Ну а во-вторых, можно пойти упарываться функциональщиной дальше и использовать мемоизацию (например, из библиотеки rambda)

function mapStateToProps(store) {
  const items = store.get('beans').get('items');
  const filterActive = R.memoize((list) => list.filter((item) => item.get('isActive')));
  const activeItems = filterActive(items);

  return { activeItems };
}

Такое вот простое решение. Теперь осталось отрефакторить всё.

Установка Node на убунту

Мы же тут все фронтендом балуемся? Где фронтенд — там и нода, а иногда приходится устанавливать её на сервера. Вот и мне пришлось снова заняться этим во время переезда с Clodo в Digital Ocean.

Самая большая сложность в том, что на официальном сайте лежат только скомпилированные бинарники и исходники, а deb-пакетов нет. Раньше я ставил ноду из бинарников, но каждый раз нужно было делать кучу лишних действий, а про обновление версий я лучшее вообще тактично промолчу.

Сейчас, в 21 веке всё стало немного лучше — есть nodesource.com, который собирает пакеты и поддерживает их. Теперь установка ноды сводится к двум (трём на совсем свежем сервере) шагам.

Скачиваем скрипт и запускаем скрипт, который пропишет нужные репозитории в систему и обновит apt:

curl -sL https://deb.nodesource.com/setup_6.x | sudo bash -

Если curl не установлен — установите его через sudo apt-get install curl

Опция -s включает «молчаливый» режим для curl, а -L просит следить за редиректами. Если обратите внимание на url, то заметите, что мы запросили установочный скрипт самой свежей версии 6-й ноды.

Скрипт будет скачан и запущен в bash. В процессе выполнения он будет информировать вас о выполняемых шагах.

Как только скрипт завершит свою работу — можно установить ноду:

sudo apt-get install nodejs

Всё, нода установлена и, что особенно важно, готова к будущим обновлениям через apt-get upgrade.