Лига Сисадминов

Смотрели вакансии жене, заодно посмотрел, что там в IT по рынку родного города и тут

Вот это я понимаю. Сидит Главный Одмин, а помошник ему напитки подает и порядок поддерживает.

Итак, несколько человек под прошлым постом сказали, что им будет интересно почитать про переезд компании.

Сразу скажу - история не про то, как классно все данные и сервисы размещены в облаке или ЦОДе, как у всех макбуки и мы провели сертифицированный тренинг по их правильному отсоединению от зарядки и складыванию в сумочку. Нет. История о большой компании, которая давно отделилась от другой большой компании, с кучей костылей, множеством «так исторически сложилось» и ограниченным бюджетом. Обычная, короче, компания, не модный стартап со смузи.

Вводные – переезжал головной офис. Сотрудников около 170 человек. Две с половиной стойки оборудования (сеть и сервера). На этих серверах крутятся те сервисы, которые централизованы для филиалов (филиалов на тот момент было чуть больше 30, от Камчатки до Калининграда часовые пояса). На тот момент уже появился круглосуточный call-центр, который тоже крутился у нас. То есть, для call-центра перерыва связи быть не должно. Некоторые сервисы, которые используются в филиалах – перерыв может быть с 20:00 до 00:00, всё остальное должно заработать к понедельнику. Ну и конечно, у бухгалтерии был квартальный отчет и им лучше бы к воскресенью всё сделать. Нас команда: четверо айтишников, включая меня и всех начальников, плюс один безопасник, плюс еще двое ребят от принимающей стороны скорее в качестве физической силы. Это был уже второй такой переезд и что-то мы учли, что-то нет.

В филиалах локально есть контроллеры домена, сервер со специфическим ПО, которое нужно для работы. То есть филиал со скрипом, но может работать автономно. Но без почты, документооборота, лицензий на 1с и прочего ему немного грустно.

Про то, что «скоро переезд, морально готовьтесь» мы узнали за месяц. Про точную дату – дней за 10. Переезд был в ночь с пятницы на понедельник.

Подготовка, первый этап:

Как только известно помещение и туда начинают пускать – выдвигается бригада туда на осмотр. Смотрят помещение под серверную – оно есть или его надо выделять и оборудовать. Смотрят на помещение серверной – должна быть железная дверь, кондиционирование, отсутствие окон, либо решетки на них, должно быть место, чтоб влезли стойки, желательно газовое или порошковое пожаротушение, но ни в коем случае не водяное. Смотрят на расположение серверной относительно офиса – от каждого рабочего места не более 100 метров по изгибам потолка, а если больше, то планируется дополнительно кроссовая (под патч панели и свичи). Смотрят на рабочие места – расшиты ли сетевые розетки, сколько на рабочее место, есть ли запас под всякие принтеры и прочее. Завхоз рисует план рассадки.

Мы переезжали с одного на два этажа, соответственно проверяли ещё, что есть пучок проводов с одного этажа на другой.

При необходимости ищутся подрядчики и заключаются договора по прокладке СКС, монтажу кондиционеров и прочей лабуды.

Подготовка, второй этап:

Решение вопроса с интернетом и телефонией. У нас это выглядело следующим образом:

- запрашиваем КП у текущих провайдеров на перенос канала на новое место + еще парочку провайдеров на подключение на новом месте.

- Выбирается одно лучшее из новых и одно лучшее из старых провайдеров.

- готовимся все сервисы ужать в одного провайдера, который остается на старом месте

- Договариваемся примерно по срокам, они начинают протяжку и подключение, но час Х обговаривается позже. Обычно это за 3-5 дней до переезда у старого провайдера и за 7-10 дней до переезда у нового провайдера, чтоб успеть туда съездить и протестировать.

- Договариваемся с провайдером телефонии о переноси, они тоже тянут кабели. Тут час Х обычно в день переезда часов в 14-16.

- У нас 8800 приходит по IP, потому уведомляем Ростелеком, что в цепочку IP добавится еще один адрес (нового провайдера).

Как только известны IP нового провайдера, на них прописываются MX с низким приоритетом, договариваемся, что они на почтовик нам обратную зону пропишут и прочее такое, чтоб при переезде подрубиться частично к новому провайдеру. Также всем филиалам рассылается новый будущий IP для подключения по IPSec, у кого есть возможность (D-Link), он прописывается в адресную книгу. Всем составляется инструкция – как менять самим по отмашке.

Подготовка, третий этап

Выясняем план рассадки у завхоза, едем сверять его с помещением. Обязательно найдутся места, где нет не то что сетевых, а даже электрических розеток. По срокам смотрим: успеют сделать монтаж или нет, и если нет, срочно закупаем пару бухт витухи и удлинители.

Пытаемся понять, есть ли на новом месте стойки в серверной для монтажа. В этот раз 2 стойки ехали с нами и полторы в сумме были свободны у принимающей стороны для точечного втыкания чего-нибудь. Это важно, от этого зависит план переезда.

За неделю начинаем накидывать поэтапный план на день переезда, но об этом дальше.

Уговариваем начальство, что сотрудников перевозят специальные грузчики (Они отсоединяют компы, пакуют, подсоединяют на новом месте по плану рассадки). Поясню – один админ в средне физической форме может распаковать, расставить и подключить в среднем 20-25 рабочих мест за рабочий день без перекуров. То есть, если не тянуть кабели, быстро кроссировать куда попало, то нам на четверых как раз 2 дня не разгибаясь, а, как вы понимаете, сервера сами себя не поставят в стойку и не настроят. Да, у этих перевозчиков куча косяков, но это не ваши косяки, а их. Примерно 20% они подключат не так или не воткнут моник или еще что, но это можно будет решить в понедельник, главное, они всё расставят, снимая с вас физическую работу.

Думаем, что-как распределить в кроссовой и серверной и не надо ли чего купить (нам нужны были гребёнки для проводов и дополнительные розетки в стойку).

Смотрим, что там с электричеством и сколько киловатт надо на наши UPSы. Мы этот этап продолбали и срочно искали электриков за день до переезда, так что советую озаботиться заранее – там ещё и предохранители иногда надо менять. Также для подключения большого UPS может понадобиться электрик на месте – надо озаботиться, чтоб он там в ночь дежурил.

За три дня до переезда

Всем сотрудникам напоминаем, что надо подписать всё своё оборудование – наклейки на комп, монитор, ИБП, телефон, наушники и т.д. Для фирмы-перевозчика еще и номер рабочего места пишут, а у них есть план рассадки с этими номерами – по нему расставляются рабочие места в новом офисе.

Собираем по максимуму личные вещи и всякое со стеллажей. Выкидываем весь хлам (мертвые списанные принтеры «авось пригодится», старые доки на гарантию, разбитые моники и прочее барахло). Иногда можно договориться с фирмой на утилизацию, которая всё бесплатно заберет – мы так делали. Всё, что не хлам – пакуем под переезд (не новое, но рабочее оборудование, которое лежит про запас, для тестов).

Откладываем: консольные кабели ко всем железкам, один удлинитель, пару полутораметровых патчиков, 2 мышки, 2 клавиатуры, 2 монитора, обжимка. Один комплект монитор-мышка-клава можно увезти в новую серверную, провода пойдут вам в рюкзак в день переезда.

Сверяем схему сети с текущим положением вещей – освежаем, если что не так. На схеме должны быть подписаны все транковые порты с указание VLAN в них, порты на всяких криптошлюзах и все неочевидные соединения, а также все порты, куда приходят белые IP напрямую, порты в LACP, зазеркалированные порты. Мы разъезжались на два этажа, а потому я рисовала еще прикидочную схему для нового расположения.

Проверяем, что все сервера подписаны.

Еще раз дублируем филиалам, что скоро мы переезжаем, да, сервисы будут недоступны, можно не звонить, сервер будет в машине ехать. Дублируем им инструкции, говорим, что переключаться после 23:00 в пятницу. Или можно раньше для дальневосточных регионов.

Если что-то требует ребута после установки обновлений – вечерком всё ребутаем. В день переезда сервера должны выключаться быстро.

Проверяем работу провайдеров в новом офисе.

Проверяем наличие всех бэкапов.

Оформляем круглосуточные пропуска в новый и в старый офис на всю команду.

Окончательно формируем план на день переезда.

Договариваемся, кто принесет шуруповерты из дома – необходимо минимум 2 шуруповерта и 2 большие плоские отвертки из фикспрайса (ими удобно поддевать крепления в стойках, а также из них получается отличный рычаг, если что поддеть, поднять и т.д.).

День переезда (пятница)

Приезжаем на работу с ноутбуком, зарядкой к нему. Помним про 2 шуруповерта. Я ещё беру набор фломастеров – рисовать поверх схем. Рекомендую моток малярного скотча.

Проверяем еще раз наличие бэкапов.

На сайт вешаем баннер, что «с 18:00 технические работы, возможны перебои в работе call-центра».

Все инструкции по восстановлению, IP адресацию, схемы сетей, телефонные справочники копируем на ноутбук. Вы же помните, ваша справочная система и шары будут отключены. Еще хорошо бы дистрибутивы серверной винды и live-cd к линуху. А также Putty, tftp32, Wireshark.

Распечатывается в 4 экземплярах текущая схема сети и будущая схема сети. Печатаются все контакты всех поддержек провайдеров, а также то, что они спрашивают: ИНН, номер личного кабинета или что ещё. Печатается телефонный справочник админов филиалов.

К 12 дня выключаются все дублирующие контуры: по 1 серверу из кластеров. 1 контроллер домена, один почтовик, один edge и т.д. Также к 12 ИТ выключает свои ПК и переходит на ноутбуки. Эта первая партия грузится кому-то в машину и уезжает в новый офис.

У организации в пятницу рабочий день до 16, но все всё равно пакуют вещи и трындят, так что основной народ выпинывают по домам в 14. Но бизнес-процессы филиалов завязаны на ГО. Так что грузчики носят мебель, пакуют людей, а мы пока выключаем вторую партию – то, что не нужно для работы филиалов или без чего можно пережить – это сервер антивируса, FTP, мониторинг, сервер видеоконференций, WSUS, все пользовательские коммутаторы и телефония ГО.

Также где-то в 15 у нас назначено переключение городских телефонов. Как только доезжает но нового офиса партия с телефонией – я подключаю и проверяю. Городской телефон – последний резерв для нашего 8800, а значит должен работать хотя бы один аппарат. В новый офис уезжает один из маршрутизаторов и проверяется, что остальные специалисты call-центра из ночной смены смогут подключиться через него по VPN. Эту ночь они будут работать на удалёнке, кроме одного на физическом городском телефоне в самый переезд.

Начиная с 16 стараемся освободить одну стойку и UPS, на новом месте всё ещё некуда втыкать сервера. 2 сетевухи в NIC Team и два блока питания на разных упсах этому способствуют. Сервер можно переставить из стойки в стойку попеременно отключая по одной паре проводов. Часть серверов просто кладем на пол работать. Ребята разбирают стойку, отдают грузчикам. И один UPS (120 кг) тоже.

Кто-то в новом офисе собирает стойку и подключает ИБП, у остальных перерыв до восьми вечера где-то.

В 20:00 выключается всё, кроме call-центра и того, что нужно операторам для работы (а им нужна почта, единая БД с данными, маршрутизатор, коммутатор под это… короче, в сумме серваков 5 + кусок сети). Разбираем вторую стойку. Все грузимся и едем монтировать на новом месте.

Я занимаюсь сетью: первая задача инет, всё распределить, всё связать, коммутаторы под серваки и IPMI. У нас инет получился на одном этаже, а все сервера и большая часть сетевого оборудования на другом, соответственно, всё прокинуть через межэтажные розетки, всё подписать на схеме, потом DHCP, Контроллеры домена, почта. Проверяю каналы с филиалами дальше, чем +5 часов от мск – если не осилили по инструкции, перенастраиваю (да, авто-failover там очень херово отрабатывает, поэтому ручками). Перебиваю вся внешнюю зону DNS под новые адреса.

Все монтируют сервера, проверяют их работу. Это не быстро, так как грузчики их замотали в пупырку, а снаружи они не подписаны, а начать хочется опять же с критичного.

Где-то в 22 прерываемся и едем за call-центром в старый офис. Всё отрубаем, всё забираем – всё, сюда больше не вернёмся в ближайшее время.

Врубаем всё для call-центра на новом месте, проверяем, что операторы могут работать. Параллельно продолжаем монтировать сервера.

Добиваю каналы со всеми филиалами. Попутно разгребаем неизбежные косяки, втыкаем сеть в соответствии со схемой. Проверяем, что всё запустилось. Втыкаем остальные сервера (те, что еще в первой партии – дубли и ненужное). Синхронизируем и реплицируем всё, что рассинхронизировалось. Кроссируем кабинет для операторов контакт-центра. Всё, к 3-4 утра разъезжаемся спать.

В 8 нас будит следующая смена операторов – им косячно перевозчики подключили компы. У двух нет сетевого кабеля, одной не подключили монитор и т.д. Но у них есть пара работающих мест и они пока переживут.

К 10 утра мы снова в офисе. Теперь делимся – один идет проверяет компы по списку приоритеа – у нас это call-центр, бухгалтерия, топ-менеджмент. Потом сколько успеет остальных. Много где надо тянуть кабель, много где наоборот - длинную мотню заменить коротким. Всех нужно скроссировать. Попутно принтеры надо подключить и тоже скроссировать отдельно, проверяем на свежую голову, что всё работает. Рассасываемся дальше спать часов в 18. В Воскресенье все появляемся на пару часов в разное время – подключить свои рабочие места, помочь бухгалтерии, у которой отчет, проверить еще сколько-то компов на местах у юзеров, порешать всё, что не работает.

Понедельник – решаем проблемы по мере поступления – у кого-то умер винт при переезде, у кого-то моник коцнули, у кого-то розетка не туда скроссирована. Часть телефонов попали в сеть другой организации и требую теперь только шифрованный конфиг и прочие мелочи. Ну и начинается месячник "мне дует" и "меня облучает, пересадите".

Итого:

У нас был большой косяк с электричеством, мы про него забыли.

У меня был косяк с тем, что Ростелеом не отрабатывал failover как обещал, а я не проверила заранее.

Еще косяк с контакт-центром, можно было взять ip АТС c десятком номеров на месяц – на время переезда было бы проще, не подумала.

Если у вас есть пустые стойки в новом офисе – всё гораздо быстрее.

Перевозить много юзеров малым составом эникейщиков не стоит, лучше нанять фирму. Фирма косячит, но это лучше, чем самим, просто поверьте (если у вас конечно нет бригады в 4 эникейщика в хорошей физической форме).

Послесловие:

Я не буду как в прошлом посте отвечать на каждый коммент и оправдываться, почему так, а не иначе. С удовольствием почитаю ваши советы и что-то мы возьмем на вооружение в следующий раз. А что-то проигнорирую, ибо на то есть причины.

Цель данного поста – описать переезд глазами админа. Мне бы такой пост очень помог в первый наш переезд, когда у нас был косяк на косяке. Постаралась упомянуть всё, что вспомнила. А на хабре пишут ванильные посты про супер-современные офисы.

Кому не интересно, можно сразу переходить к блоку «как лечить».

Симптомы:

Итак, ранним осенним утром внезапно отвалились почти все сервисы для одного из филиалов. Симптомы: один пинг проходит и дальше «тишина». Иногда может пролететь еще 1 icmp, но редко. При повторном запуске пинга даже одного пакета уже не пролетает, если не выдержать паузу в несколько минут. Отвалились не все сервисы, но большинство.

Та часть схемы сети, которая нас интересует:

Понятно по схеме, что грешить сразу стали на красный ящик WatchGuard Firebox, но на нём явно никаких блокировок в логах не обнаружено. Поэтому коллега пока пускал трафик до самых важных сервисов в обход, а я ставила WireShark на то, что не столь нужно вот-прям-щас.

Что происходит:

Итак, что показал WireShark:

А показал он нам, что после первой же пары request/reply нам прилетело от Watchguard сообщение ICMP redirect (type 5; code 1), в котором сказано примерно следующее «братюнь, да что ты мне своими реквестами отвечаешь, я тут посмотрел – у меня есть более крутой маршрут для этого хоста – шли всё на шлюз 10.77.10.254».

Вот тут и дошло до меня, что ICMP – это не только пинги, но и «Internet Control Message Protocol». Из вики: «ICMP-сообщения с типом 5 используются маршрутизаторами для обновления записей в таблице маршрутизации отправителя». Далее, собственно, request по-прежнему приходит с WatchGuard, а reply уходит на D-Link. При этом, на сервере есть статический маршрут в сеть 10.97.0.0/16 (через 10.77.10.3), а системе строго срать на этот маршрут! Всё потому, что на самом деле при получении сообщения redirect, маршрут на хост (то есть более специфический) добавляется в таблицу маршрутизации на 10 минут. Но route print его не показывает. И не нужно гнать на винду: во всех debian были всё те же симптомы.

Почему это происходит:

Беда Особенность Watchguard, как и микротиков, что Site-to-Site IPSec не является интерфейсом, не участвует в таблице маршрутизации, и, соответственно, маршруты на сеть за поднятым туннелем вы в ней не увидите. На нашем ватче был маршрут 10.0.0.0/8 на 10.77.10.254, так как за D-Link находятся все остальные филиалы (агрегированные по /16 каждый), чтоб не писать маршрут на каждый филиал (их 50, а динамической маршрутизации нет). Из-за особенностей Watchguard получилось так, что на 10.97.0.0/16 маршрута он не видел. Раньше, кстати, всё было ок до последнего обновления прошивки.

Почему некоторые сервисы и все компы были доступны: на них стоял касперский с сетевым модулем, который отбрасывал эти сообщения как небезопасные.

Что было сделано и не помогло:

Попробовали задрать метрику на маршруте 10.0.0.0/8 на WatchGuard – не помогло. Попробовала сделать правило фильтрации по типу ICMP и блочить эти сообщения – не помогло, через это правило трафик с сообщением редиректа не проходил.

Ну и были перечитаны кучи мануалов по отключению редиректа на WatchGuard – ничего рабочего не нашлось.

Как лечить в итоге:

На линухе лечится тремя командами (2 чтоб прям вот сейчас, одна, чтоб прям вообще).

Запрет приёма редиректа:

/sbin/sysctl -w net.ipv4.conf.eth0.accept_redirects=0

Запрет отправки редиректа:

/sbin/sysctl -w net.ipv4.conf.eth0.send_redirects=0

И чтоб вообще:

echo 0 > /proc/sys/net/ipv4/conf/all/accept_redirects

Ну и может networking рестартануть, делала машинально.

При этом редиректы продолжают падать, но эффекта не оказывают:

На винде правится параметрами реестра, но эффекта до перезагрузки не оказывает (даже если выключить-включить сетевой интерфейс). Параметр в ветке

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters

называется EnableICMPRedirect и выставляется в 0. По некоторым советам гугла (про Windows 2000 простихосподи), добавляла еще EnableICMPRedirects (во множественном числе). НО! После ребута сообщения redirect на машинах с исправленном параметром вообще не регистрируются WIreShark’ом, что меня несколько смутило (а вдруг вернутся?). Ну и ребутать over 100 серваков – такая себе идея.

Так что в итоге убрала маршрут 10.0.0.0/8 и добавила вместо него два:

10.0.0.0/10 и 10.64.0.0/11 – получились все сети от 10.0 до 10.95 включительно, а 97-ая, как видите, не вошла, что нас в принципе устроило. Проблема ушла.

То, что обычно пишут в начале поста:

Предыдущий мой пост на ИТ тематику был более 2 лет назад.

Чуть раньше этого я познакомилась на пикабу с классным чуваком, а полтора года назад мы поженились. Сисадмин и программист – норм сочетание оказалось =)

Я попробовала писать на хабр (мне даже одобрили аккаунт за тот пост), но мне не понравилось – на пикабушечке и аудитория поживее и можно не так цензурить текст.

А ещё наш офис вместе с серверной, которая уже стала мини-ЦОД для компании два раза за два года переехал. Если кому интересно – напишите в комментах, могу сделать пост о том, как происходит такой переезд, что мы планируем на каких этапах и т.д. На идеал не претендуем, происходит та ещё трешанина, но рассказать могу.

Здарова Хабр, не знаю на сколько актуальна сейчас данная тема, но по крайней мере точного решение этой проблемы я так и не нашёл, пришлось как то применять все сразу и в разных порядках. Это своего рода ответ или подробный гайд на тему Pre-boot authentication для Acer ноутбуков.
И так, столкнулся с этой проблемой на своём Acer Nitro 5 и уже было думал нести его в СЦ прежде разгромив ТП Acer и оставив о себе там плохое мнение. А способ решения был очень прост.
1. Отключить ноутбук от питания
2. Отключить батарею на задней крышке, иголкой или скрепкой для лотка сим карт.
3. Вытащить ОЗУ
4. Найти контакты JCMOS1 и замкнуть их
5. Вставить питание в ноутбук
6. Включить его и замыкать спикер в течение 5 секунд
7. Выключаем ноутбук но не перестаём замыкать
Как только ноутбук включиться можно расслабить свои пальчики.
Далее ноутбук будет перезапускатся в течении 5-10 минут (это не нормально, но все же) и после нормального запуска заходим в биос.
Что же мы сделали? Мы сбросили биос а в месте с ним и аварийный код восстановления который появляется после 3х неудачных попыток ввода пароля.
8. Берём этот код и идём на сайт bios-pw.org и вводим там наш аварийный код.
9. Получаем 2 пароля и вводим их в этом же окне где нам биос выдал аварийный код. В моем случае это был первый 12 символьный.

P.S Спасибо магазину @DNS города Саянск за такой геморой с биосом(ведь компания Acer заверила что ноутбуки выходят с завода чистые и без паролей) и спасибо компании @ACER за то что как всегда не можете мне помочь и отправляете в свои СЦ за деньги решать проблемы которые можно решить удалённо ❤️

А ну и ещё хочу пометить что я сам точно не мог поставить пароль на биос а мой ноутбук всегда при мне и кто то пошутить поставить пароль точно не мог😉

Всем привет! Друзья, если сказать, что голову сломал, ничего не сказать. Приехал к родителям, у них делали ремонт примерно год назад и проводили витую пару в стене для подключения интернета. К роутеру линия приходит нормально, но дьявол кроется дальше.

Рядом с роутером установили розетку Schneider Electric ethernet-мама, чтобы соединиться с Lan портом, а в другой комнате такую же, чтобы от неё подключить к компу. То есть получается, Роутер~розетка~стена~розетка~комп.

Тестирую скорость - максимум 90-100mbs, хотя должно быть 300 от провайдера.

1) решил проверить не в сетевой ли карте на компьютере или портах роутера проблема. Кинул провод напрямую, работает, скорость 300. Значит исключаем.

2) думаю, ну может одна из 8 жил перебита при монтаже, проверяю провод RJ-45 тестером. Все проходит проверки, лампочки загораются последовательно от 1-8, значит провода целые!

3) на всякий случай разобрал розетки и снова по схеме B в обеих обжал, все равно не работает как должно.

4) решил тестер проверить, в розетке один провод снял и тестер это видит, значит рабочий.

5) пытался в свойствах адаптера на компьютере принудительно выставить 1Gbs Full Duplex, просто пропадает интернет соединение вообще. В авто возвращается к 100Mbs Full Duplex.

6) проверял маркировку провода - проложен именно Cat-5e.

Я искал информацию в нете, но ничего толкового не нашел. Просто прокладывать новый кабель не вариант, так как это надо бить стенку и снова заниматься ремонтом. Поэтому надеюсь на силу Пикабу найти тот самый коммент, который подскажет, где может таится проблема и как ее можно устранить!