Отчёт о конференции SQA Days 2008 Minsk Опции

[barancev]

Завершилась очередная конференция из серии SQA Days, которая на этот раз прошла в Минске, столице Республики Беларусь.

Конференция была разделена на два трека -- про тестирование и про QA. Тестированию достался большой зал, а QA -- зал поменьше. На треке про QA я почти не присутствовал, на мой взгляд доклады были чересчур сухими, да и подборка весьма специфическая -- сплошные тяжёлые процессы и стандарты. Мне на треке про тестирование было интереснее, поэтому про него и расскажу.

Продолжение...

[tandrew]

Добрый день, Алексей.
Первым делом - спасибо за сайт www.software-testing.ru и за твой доклад на конференции. (IMG:style_emoticons/default/acute.gif)

Ты вот написал в отчете о конференции:

цитирую "...Елена Петровская рассказала об автоматизации тестирования веб-сервисов. Рассказала хорошо, но этот доклад у меня вызвал массу возмущения и несогласия с технической точки зрения. Я бы никогда не стал автоматизировать тестирование веб-сервисов предложенным способом. С моей точки зрения, это всё равно, что лезть по отвесной стене на крышу дома, когда рядом есть лестница и даже лифт. Героизм романтичен, но я прагматик..."

Тема тестирования веб-сервисов лично для меня нова и мне хотелось бы узнать твою точку зрения на эту проблему.
Мог бы ты описать ее ... на форуме или может на сайте статейкой.

А так согласен - конференция отличная получилась!

[barancev]

Веб-сервисы по своей сути есть просто новый модный способ реализации удалённых вызовов RPC. То есть фактически это программный интерфейс. Соответственно и тестировать его нужно примерно так же, как его используют программисты -- генерируется клиентский стаб на любимом языке программирования, потом берётся любимый инструмент тестирования -- и вперёд.

Если с программированием напряги, тогда берётся специализированный инструмент, который, конечно, часть гибкости при разработке тестов отнимет, но зато всю эту вышеописанную техническую сложность спрячет.
Если хочется бесплатно или не очень дорого -- берите soapUI (Free или Pro, соответственно).
Если финансовые возможности позволяют -- лучше взять Parasoft SOATest, на текущий исторический момент это выбор настоящего SOAмурая.

[Elena Petrovskay...]

Привет Алексей,

"...Елена Петровская рассказала об автоматизации тестирования веб-сервисов. Рассказала хорошо, но этот доклад у меня вызвал массу возмущения и несогласия с технической точки зрения. Я бы никогда не стал автоматизировать тестирование веб-сервисов предложенным способом. С моей точки зрения, это всё равно, что лезть по отвесной стене на крышу дома, когда рядом есть лестница и даже лифт. Героизм романтичен, но я прагматик..."

Этот абзац вызвал у меня "массу возмущений", но я не стала держать их в себе, а решила все-таки обсудить их :)

1. Я рассказывала не про автоматизацию веб-сервисов, а про особенности тестирования веб-сервисов - на что нужно обратить внимание, когда вы их тестируете. Рассказ про автоматизацию был всего лишь одной небольшой частью моего доклада - основной идей было сказать "Автоматизированное тестирование - это самый эффективный способ тестирования сервисов. Можно использовать предложенные средства, можно написать свое - это не так уж сложно".

2. "Я бы никогда не стал автоматизировать тестирование веб-сервисов предложенным способом." А какой был предложен способ? К сожелению, мне было дано всего 20 мин, рассказывать про "наш способ" совсем не было времени. Что конкретно вызвало бурю возмущений?

3. И совсем непонятно, почему буря возмущений вылилась только в одном предложении, а не в серии вопросов ко мне во время выступления.

[barancev]

Лена, хороший доклад -- это тот, который потом можно обсуждать, так что моё мнение -- доклад однозначно хороший (IMG:style_emoticons/default/good.gif)
Почему вопросы не сразу во время выступления -- формат, регламент. Вот сейчас и обсудим в спокойной обстановке.

Перейдём сразу к сути. Наверное я не уловил, в чём же особенности тестирования веб-сервисов, на что нужно обратить особое внимание?

Почему нельзя остаться на уровне API, зачем нужно было опускаться на уровень XML-запросов? Если бы в докладе было сказано, например, что вы тестировали на совместимость с разными версиями стандартов SOAP -- без вопросов, однозначно идём на уровень XML. Но это не прозвучало. Если бы Вы сказали, что не доверяете серверному WS-движку, так что пытаетесь передавать запросы неправильного формата (и такой вопрос после доклада прозвучал) -- тоже было бы всё понятно. Но ведь это не было явно подчёркнуто!

А если мы тестируем просто веб-сервисы как программные компоненты -- почему нужно отказываться от обычного способа их использования и вручную (ну, пусть даже при помощи темплейтов) оформлять запросы и парсить результаты. Почему программисты так не делают? Потому что модель использования веб-сервисов иная, и я её указал -- генерируется клиенский стаб и дальше он используется в программе. С какой стати при тестировании нужно поступать иначе?

(Если вы мне скажете, что и программисты у вас вручную генерируют XML-текст запроса -- я вообще удивлюсь очень сильно (IMG:style_emoticons/default/crazy.gif) )

Опускаясь на уровень XML мы своими руками раскладываем себе массу граблей. Фрейморки для того и пишутся, чтобы спрятать и обезопасить грабли. Да, вы это попытались сделать, разработав собственный фреймворк, но на мой взгляд недостаточно. Работать на уровне XML во-первых трудно и граблеопасно, во-вторых медленно.

Отдельный вопрос -- почему я написал достаточно резкий отзыв? Потому что выступление на конференции накладывает весьма большую ответственность. Особенно с такой темой доклада -- "практические (sic!) рекомендации". Вы -- Гуру. Они вернутся с конференции и будут делать так, как Вы их научили! А после моего критического отзыва может быть кто-то задумается (IMG:style_emoticons/default/wink.gif)

[Elena Petrovskay...]

Еще раз хотелось бы подчеркнуть, тема назвалась «практические рекомендации по функциональному тестированию веб-сервисов». Здесь нет слова автоматизация. Самая главная мысль была такой для того чтобы тестировать веб-сервисы, надо знать и понимать, что это такое и для чего они используются. Все остальные ркомендации просто вытекают из этого. Жаль, что не удалось это донести.

И я никого не учила, это был доклад, а не тренинг. Любой нормальный человек не бросится сразу использовать то, что он услышал, а скорее попробует применить данный метод и посмотрит, подходит он ему или нет. О нашем способе тестирования я рассказывала как Пример собственного решения. В самом начале там было сказано, почему мы пришли к этому: различные типы сервисов, которые используются бесконечным числом клиентов, и отсутствие навыков программирования. Без навыков программирования трудновато писать клиентские стабы и их поддерживать.

Я абсолютно согласна, что тестировать надо веб-сервисы, примерно так же, как их используют. И безусловно правильным является генерация и отправка запросов с использованием программного кода (особенно если мы говорим о soap). Только проблема в том, что даже программным путем это можно делать по-разному, а клиентов может быть много и использовать они могут различные утилиты для генерации прокси, а в случае с POX каждый будет писать своего клиента. И мы еще для тестирования напишем своего. Можем ли мы в таком случае говорить, что мы тестируем сервис так же как он будет использоваться? А ведь тестируемому веб-сервису по сути все равно, каким образом был сформирован и отослан запрос. На мой взгляд и тот и другой метод имеет право на жизнь, а их комбинация вообще отличный метод. Тем более, что тестирование через Soap UI (который ты советуешь) это тестирование на уровне XML, там нет полноценного клиента. В soapUI используется такой же подход, который ты критикуешь у меня. И еще долго можно рассуждать на эту тему. Но не это было темой моего доклада.

[DrVal]

Алексей, а можно как-то ознакомиться с Вашим докладом?

На it-conf видео высступления нет, в презентации и тезисах информации немного.

Спасибо.

[barancev]

Алексей, а можно как-то ознакомиться с Вашим докладом?

На it-conf видео высступления нет, в презентации и тезисах информации немного.

Организаторы обещают, что видео будет. Судя по тому, что вторую секцию всю уже выложили, скоро дойдёт дело и до первой.

[DrVal]

Похоже, что просто забыли добавить ссылки на it-conf.
Сами ролики я нашел (абсолючно случайно):
http://rutube.ru/tracks/1386524.html?v=5a3...253342b6f7e0745
http://rutube.ru/tracks/1386564.html?v=540...1820b1eb6443896

Организаторы обещают, что видео будет. Судя по тому, что вторую секцию всю уже выложили, скоро дойдёт дело и до первой.

[VLDCORP]

Похоже, что просто забыли добавить ссылки на it-conf.
Сами ролики я нашел (абсолючно случайно):
http://rutube.ru/tracks/1386524.html?v=5a3...253342b6f7e0745
http://rutube.ru/tracks/1386564.html?v=540...1820b1eb6443896

Организаторы обещают, что видео будет. Судя по тому, что вторую секцию всю уже выложили, скоро дойдёт дело и до первой.

Ничего не забыли, ролики на rutube выкладывались раньше чем появились ссылки.
Сейчас все ролики залиты. Прямые ссылки на ролики также выложены http://it-conf.ru/ru/content/34.htm

[VLDCORP]

Еще раз хотелось бы подчеркнуть, тема назвалась «практические рекомендации по функциональному тестированию веб-сервисов». Здесь нет слова автоматизация. Самая главная мысль была такой для того чтобы тестировать веб-сервисы, надо знать и понимать, что это такое и для чего они используются. Все остальные ркомендации просто вытекают из этого. Жаль, что не удалось это донести.

Лена, главное ты главное не переживай.
Твой доклад был вполне на уровне. Это кстати подтверждается отзывами, которые люди оставили в анкетах.
А критика здесь надеюсь будет воспринята вполне адекватно, т.к. это поможет тебе улучшить результаты.

Буду рад видеть тебя в рядах докладчиков 5-й конференции в Питере.

Огромное спасибо за участие в осенней конференции.

[barancev]

Еще раз хотелось бы подчеркнуть, тема назвалась «практические рекомендации по функциональному тестированию веб-сервисов». Здесь нет слова автоматизация. Самая главная мысль была такой для того чтобы тестировать веб-сервисы, надо знать и понимать, что это такое и для чего они используются. Все остальные ркомендации просто вытекают из этого. Жаль, что не удалось это донести.

Лена, главное ты главное не переживай.
Твой доклад был вполне на уровне. Это кстати подтверждается отзывами, которые люди оставили в анкетах.
А критика здесь надеюсь будет воспринята вполне адекватно, т.к. это поможет тебе улучшить результаты.

Буду рад видеть тебя в рядах докладчиков 5-й конференции в Питере.

Огромное спасибо за участие в осенней конференции.

Ага, так и я то же самое написал -- хороший доклад, однозначно хороший. Хотел был я, чтобы мои первые опыты публичных выступлений были бы столь же хороши. То, что у меня возникло несогласие с техническими моментами -- мне кажется, что в этом нет ничего плохого. Во-первых, это моё личное мнение, которое не претендует на объективность и тем более на Истинность. Во-вторых, Лена, у вас в команде всегда по всем вопросам все согласны друг с другом? Не возникает ситуаций, когда один говорит, что идея классная, а второй считает, что фигня полная? Это тоже нормально, это просто повод для обсуждения.

[Tuchka_84]

Буду рад видеть тебя в рядах докладчиков 5-й конференции в Питере.

Огромное спасибо за участие в осенней конференции.

Здравствуйте,

Скажите когда будет конференция в Санкт-петербурге?

Заранее спасибо.

[VLDCORP]

Здравствуйте,

Скажите когда будет конференция в Санкт-петербурге?

Заранее спасибо.

Конференция в Санкт-Петербурге запланирована на апрель 2009

[Victoria]

Подскажите, пожалуйста, когда начнется процедура регистрации для участия в конференции (Санкт-Петербург, 2009) и как будет проходить отбор участников?
(интересует позиция участника - как слушателя).

=Спасибо.

[VLDCORP]

Подскажите, пожалуйста, когда начнется процедура регистрации для участия в конференции (Санкт-Петербург, 2009) и как будет проходить отбор участников?
(интересует позиция участника - как слушателя).

=Спасибо.

Планируем открыть регистрацию в феврале - марте. Сразу после небольшого рефакторинга IT-CONF.
До этого времени на сайте будет постоянно появляться информация.
Никаких строгих критериев для слушателей у нас нет. Главное чтобы Вам самим интересно было.
Единственным препятствием, если хотите отбором, служим плата за участие. На текущий момент она еще не установлена.