none
Анализируем логи SMTP - как выделить одну сессию? RRS feed

  • Общие обсуждения

  • Добрый день, господа. Периодически возникает задача анализа логов STMP на PowerShell - http://sergey-s-betke.blogs.novgaro.ru/checkemailflowbyps. Однако корректно выделить одну SMTP сессию из логов сложно. Коллеги, подскажите пожалуйста, что можно сделать с логами SMTP, чтобы там был ну хотя бы идентификатор сессии в каждой записи, или ещё что. Неужели все так мучаются?
    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
    • Изменен тип Yuriy Lenchenkov 6 июня 2011 г. 10:58 обсуждение анализа логов сессий
    • Перемещено Tina_Tian 18 марта 2012 г. 8:03 forum merge (От:Exchange Server 2003/2000/5.5)

Все ответы

  • и как говорится - слава богу , что нет (про идентификаторы) -)) ибо идет тупая т.е. примитивная запись в файл (реже в базу). что повышает как скорость записи так что не менее важно надежность работы
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Я же не против. А кто мешает в каждую строку добавлять, кроме всего прочего, ещё и некий session id. ну или какую иную информацию, комбинация которой даст возможность отобрать строки журнала, касающиеся конкретной сессии.

    Сформулирую вопрос иначе: может быть есть сторонние решения по логгированию smtp сервиса, которые позволили бы выделять сессию?

    Задача то ведь достаточно типовая, неужели нет решения?

    Я пока вынужден действовать очень "тупо": выделяю записи журнала по времени от первой записи нужной мне сессии и до времени +5 минут. Потому их них отбираю те, что идут с того же ip либо на тот же ip. Такой подход "почти" работает, если только не приходит множества писем с одного сервера сразу, либо мы сами сразу множество писем одному домену/серверу не отправляем.

    Помогите советом, прошу...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • чисто теоретически создать такого писателя возможно , но не встречал (возможно есть закрытые ком.разработки под конкретный заказ) - правда с моей т.з. это оченно плохо скажется как на производительности так и на надежности системы в целом по такому пустяковому собственно говоря поводу

    п.с. в том же MTC id то уже есть

    п.п.с. чисто теоретически возможно создать\привязать и своего собственного smtp сервера , правда для чего это нужно практически я мало себе представляю - ну кроме одного : после такого создания с вероятностью 99 % пригласят в группу разработчиков exch -))


    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Хорошо, как, анализируя MTC, я увижу и проанализирую ошибки SMTP при получении / отправке? А кое-что идёт и чисто через SMTP (те же принтеры/ISA/SQL пишут письма админам). А ошибки этих сессий вовсе будут утеряны...

    И потом, если на входе сессия убита по DNSBL / SPF / etc, я её в MTC вообще не увижу, а анализировать такие вещи тоже хочется...

    Поэтому и задал вопрос по логам smtp.


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Хорошо, как, анализируя MTC, я увижу и проанализирую ошибки SMTP при получении / отправке? А кое-что идёт и чисто через SMTP (те же принтеры/ISA/SQL пишут письма админам). А ошибки этих сессий вовсе будут утеряны...

    И потом, если на входе сессия убита по DNSBL / SPF / etc, я её в MTC вообще не увижу, а анализировать такие вещи тоже хочется...

    Поэтому и задал вопрос по логам smtp.


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru


    логи MTC собственно говоря пишутся все темже IIS-SMTP И были просто напросто приведены в качестве примера того , что расширить писательство можно

    а вот писательство логов чистого smtp оставлено собственно говоря без изменений - как было написано для pure IIS-Smtp , так и оставили


    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Вы не подскажете, может где пробегали доступные примеры написания собственных log writer for iis-smtp, или каких "аддонов" к существующим, чтобы вывести таки session id?

    Или же может быть пробегали где-либо сторонние врайтеры, расширяющие "сознание" smtp логов до идентификации сессии?

    Решаю ряд задач, требующих выделения сессии из логов (в частности - контроль входящих сессий от "vip" контрагентов / серверов, ну и доставки им). решение уже указал выше, но сессия зачастую выделяется неправильно со всеми вытекающими...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • А почему Вы считаете, что при добавлении sessionid в каждую строку лога производительность существенно деградирует? и устойчивость? Не очень понял...
    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Вы не подскажете, может где пробегали доступные примеры написания собственных log writer for iis-smtp, или каких "аддонов" к существующим, чтобы вывести таки session id?

    Или же может быть пробегали где-либо сторонние врайтеры, расширяющие "сознание" smtp логов до идентификации сессии?

    Решаю ряд задач, требующих выделения сессии из логов (в частности - контроль входящих сессий от "vip" контрагентов / серверов, ну и доставки им). решение уже указал выше, но сессия зачастую выделяется неправильно со всеми вытекающими...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru


    надо посмотреть ибо на вскидку не помню бо не работают в прямую с данной версией года как 3 уж ...

    но гляну


    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Огромное спасибо!, буду ждать...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • А почему Вы считаете, что при добавлении sessionid в каждую строку лога производительность существенно деградирует? и устойчивость? Не очень понял...
    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru

    хм ... кстати я тут более тщательно прикинул ни черта она (производительность) не деградирует , а вот с т.н. надежностью возможно сложнее - там точнее не надежность ,а генерация GUID сессии чтоб поспевала за приемом сессий вследствии чего могут быть выданы GUID'ы одни и теже разным сессиям , но всего скорее разработчики (exch) просто напросто этот вопрос вообще не рассматривали чтоб выводить полностью трассировку обрабатываемого потока - а поскольку вероятнее всего разрабы Exch и разрабы IIS-smtp это совершенно разные люди - отделы , то имеет место  быть внутриведомственная несогласованность - до 2000\3 и после - smtp был\есть самостоятельный в рамках Exch модуль, а не пришлый со стороны аки IIS-SMTP


    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Блин, вот беда с exch 2003. а в 2007/10 в логи smtp можно вывести session id или его и там нет?


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Блин, вот беда с exch 2003. а в 2007/10 в логи smtp можно вывести session id или его и там нет?


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru

    есть
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Вот блин... Будем переходить... Спасибо!


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Вот блин... Будем переходить... Спасибо!


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru

    кстати ... хм ... но id сессии есть должен быть и в 2003 -) у меня просто напросто под рукой его сейчас нет - вы там гляньте в настройках логгирования - по идее должон быть
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • извнияюсь про последнюю запись - перепутал -) session.id для процесса в IIS есть , а вот в логе нету -))
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Глядел неоднократно, пока сценарий писал. Нет его там для SMTP. Я когда сценарий начинал, у меня даже мысли не было, что не смогу отобрать записи одной сессии из журнала. Вот тебе и сюрприз....


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Да что же это такое? у нелюбимых linux решений есть в логах всё, что надо, а у любимых exch - нет! Да как же так! (P.S. может всё-таки MS предлагает решение, но мы о нём не догадываемся? Ведь "внутри" то сессии явно есть, их не может не быть!, хотя session id в явном виде может и не быть...
    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Глядел неоднократно, пока сценарий писал. Нет его там для SMTP. Я когда сценарий начинал, у меня даже мысли не было, что не смогу отобрать записи одной сессии из журнала. Вот тебе и сюрприз....


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru


    в 2000\3 нет - и Exch тут совсем не при делах, есть он (ID) в 2007\10-м

     


    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Да что же это такое? у нелюбимых linux решений есть в логах всё, что надо, а у любимых exch - нет! Да как же так! (P.S. может всё-таки MS предлагает решение, но мы о нём не догадываемся? Ведь "внутри" то сессии явно есть, их не может не быть!, хотя session id в явном виде может и не быть...
    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru

    при чем здесь Exch ? smtp и собственно сам механизм писания этих логов целиком и полностью лежит на IIS-SMtp - разрабы Exch не трогали его ,а взяли как есть расщирив только то что требовалось для работы Exch ибо IIS-Smtp оченно позволяет себя расширять , за что собственно его и взяли подумав об унификации - время показало, что для дальнейшего роста системы от унификации придется отказаться и вернуться к старой теме , а в 2010 пошли еще далее по возвращению к предыдущему состоянию (это уже не касаемо smtp)
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Другими словами - решения нет? Задача то практически типовая...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Другими словами - решения нет? Задача то практически типовая...


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru

    Решения со стороны возможно , что и имеются - а типовая задача не казалась типовой 12-13 лет назад -))
    Exchange MVP. _ This posting is provided "AS IS" with no warranties, and confers no rights.
  • Тогда повторюсь - если вдруг наткнётесь на какое-либо решение для IIS SMTP - сообщите пожалуйста сюда. Буду Вам безмерно благодарен :-)


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru
  • Анализатор логов может восстановить сессию по полям лог файла  c-ip s-ip cs-method
    Сазонов Илья http://www.itcommunity.ru/blogs/sie-wl/
    Модератор
  • Уважаемый Илья, спасибо за отклик. На самом деле именно таким образом сейчас и действую (ссылку на сценарий Powershell давал в вопросе). Плюс к этим полям также фильтрую по диапазону времени. Но в пределах короткого интервала времени может быть несколько сессий с одного сервера к нам, например - на несколько наших адресов по одному письму/адресу в одной сессии. И начинаются они, допустим, "одновременно", то есть строки лога будут "перемешаны" от этих разных сессий. И здесь мне уже фантазии не хватило, каким образом разделить таких "близнецов".

    Ещё идеи?


    С Уважением, Бетке Сергей Сергеевич, http://sergey-s-betke.blogs.novgaro.ru