Возможность протестировать нельзя рассматривать как условия (т.е. свойства и признаки).

Т.к. на самом деле первоначальный вопрос звучит как необходимые и достаточные условия возможности проведения тестирования, просто на русском языке так не говорят

а Нужность тестирования (правильнее тогда необходимость) ну это не относится к данной теме вообще.

тогда вопрос стоял бы типа необходимые и достаточные условия целесообразности проведения тестирования


чет как-то непонятно я написал.

В общем смысл: с точки зрения тестирования, его нужность - неважна (это уже к бизнесу)

Вопрос первоначально стоял вот как



Слова "возможности" не было!

ну и ладно

тогда в необходимые и достаточные условия необходимо включить окружение и инструментарий хотя, это уже уходит все дальше

Алексей,

предлагаю более четко уточнить границы вопроса, уж слишком он абстрактен, или так и задумывалось

что является проведением? процесс без конца?

и еще Алексей объясни разницу между двумя фразами

Хочу узнать ваше мнение по теме: Необходимые и достаточные условия для проведения тестирования.

Хочу узнать ваше мнение по теме: Необходимые и достаточные условия для того чтобы было возможно провести тестирование.

В общем необходимо уточнение, а то мы играемся словами

Начну с конца.

Я считаю достаточным условием проведения тестирования наличие отчёта о тестировании.
То есть, если есть финальный отчёт, то тестирование было проведено :-) Если его нет, то могло быть, а могло и не быть.

Это если использовать математическое определение достаточности.


А необходимыми условиями само собой являются:
1. объект тестирования (программа, требования и т.п.),
2. субъект тестирования (исполнитель роли тестировщик: кто или что будет это делать - не суть важно).

Рассматривать всё остальное имеет смысл только в частных случаях того или иного вида тестирования. То есть, для автоматического тестирования нужно иметь соответствующий тул, а для ручного - не обязательно. Но наличие тестовой документации точно не обязательно, так как в принципе любые виды тестирования можно выполнить без тест-планов и т.п. С ними эффективнее, но они не являются необходимыми.

Можно поговорить в качестве необходимого условия о наличии задачи на тестирование, в которой будет сформулировано какой результат от нас ожидают, какое именно тестирование нужно провести.
Ну и тогда в довесок к этому пункту необходимым также будет удовлетворение в техническом плане условиям поставленной задачи.


А вообще, конечно, автору вопроса пора бы уже уточнить что же он хотел услышать.

Да, по-моему тоже это уходит все дальше. Вопрос окружения, я бы включил в пункт "Наличие объекта тестирования", а инструментарий - не является ни необходимым ни достаточным условием, т.к. и без него тестирование будет продвигаться. Он скорее всего нужен для упрощения работы тестеровщика.



Вообще-то он и задумывался достаточно абстрактным, для получения максимального кол-ва ответов, уходящих в разные стороны. НО с целью, определения "истины".


Хороший вопрос... думаю, что ответ кроется именно во втором: проведение - процесс без конца. Думаю, что так будет правильнее


Разница в темах:
В первом случае мы не ставим под сомнение возможность проведения тестирования и говорим только об условиях проведения.
А во втором, мы ищем именно условия ВОЗМОЖНОСТИ проведения тестирования, сужая тем самым область необходимых и достаточных условий.

И если я не ошибаюсь, то список достаточных условий для проведения тестирования из первой темы будет аналогичен списку необходимых условия для возможности провести тестирование. Т.е. первая темя включает в себя вторую.

вроде так...

За базу вы взяли свое определение тестирования, с которым можно спорить, можно соглашаться.
Но тогда вопрос такой (я кстати не зря спросил первым делом, о чем опрос):
Я пользуюсь каким-либо ПО. Например купленное или опенсоурсное. Нахожу в нем ошибку. Пишу в саппорт или прямо в дефект-трэкер. Был ли совершен акт тетсирования ПО в данном случае?
Если да, то зачем тогда мне тест-план и тест-кейзы?
Если нет, то чем занимаются, например, бета-тетсеры игр или приемщики у клиета?

И еще, вопрос. Можете ли вы протестировать ПО написанное под MacOS не имея мака? Или программу написанную на Brew не имея Qualcomm-ского девайса или тулкита?


Это верно, у нас в каждом тест-плане есть критерии начала тестирования и кретирии его завершения. Они все процесс-специфичные. Хотя, после данной дискуссии, появилось желание несколько их расширить :)

Почему?
Можете протестировать программу, если у вас нет компьютера? Нет.
Можете протестировать программу, если дистрибутив в виде zip-файла с паролем, которого вы не знаете? Нет.
Можете протестировать программу, которая требует конекцию по RS232 порту, если у вас нет кабеля или второго COM-порта или второго компа? Нет.
И тд.
Вы сперва обязаны решить такие проблемы, т.е. подготовить какой-то environment необходимый для тестирования. Только потом сможете что-то протестировать.


Является ли абстрактный набор действий совершенный над программой тестированием?
Тестируете ли вы программу, написанную под винды, когда пытаетесь запустить ее на линуксе?
Занимаются ли тестированием люди, которым запрещено сообщать о найденых проблемах разработчикам и руководству?
Действия хакера, который взломал программу, можно считать тестированием? Согласитесь, что никому не нужно, чтобы он это сделал. Хотя результат будет примерно такой, как если бы это сумели найти тестеры - баг, фикс, патч.

У меня встречный вопрос: как вы понимаете, что есть Тестирование?
Для меня, то что вы во время использования системы случайно нашил баг - не является тестированием системы.

По поводу бета-тетсеров игр - это другая песня. И можно сказать абсолютно другой вид тестирования. Не имел опыт работы с такими людьми и не работал сам в этой отрасли, но думаю, что перед началом тестирования, они хотя бы в голове имеют план действий (тест план). А раз есть план, то уже есть и тест кейзы, даже если они не документированы. Если мы говорим об обыкновенных кликерах, то они тоже работают по какому-то плану, как я уже писал, необязательно документированному.
Приведу пример: прислали мне до селе не известную программу на тестирование. Я о ней не знаю ничего. Но уже вижу, что это допустим десктоп приложение, что в ней реализован ряд функций типа логин, логаут, создание, редактирован и удаление записей и документов... Я уже в голове составляю план как и что буду делать, какие тест кейсы я буду использовать при тестировании той или иной фичи. Т.е. существование плана "налицо".

По поводу приемщиков у клиета: если я правильно понимаю, вы имеете ввиду User Acceptance testing, тут все прозрачно и не чем не отличается от того что я предложил. У них есть список функционала, который должен работать, они его и тестируют. Т.е. по существу у них есть тест план и они выполняют свои тест кейсы.


Good catch!!!
Согласен, надо дополнить пункт:
1. Наличие объекта тестирования, доступного для проведения испытаний.

Т.е. это значит, что ПО под МАК должно быть установлено на МАК и команда тестирвоания должна иметь доступ к этому ПО.


Для этого мы здесь и обсуждаем подобные вопросы. Все для того, чтобы повысить качество!!! Рад, что наше обсуждение вас навело на мысли о усовершенствовании тестовой документации и возможно процедуры тестирования. :)

Во-первых, все зависит от целей, которые вы преследуете во время совершения действий над программой!!! И конечно же вашей точки зрения на цели преследуемые тестированием!!!

Во-вторых, я думаю, что это уже относит теме к обсуждаемой теме.

От вас я вижу только вопросы... но ваши мысли по этому поводу отсутсвуют...
Можно ли конкретно написать, что, по вашему, является Необходимыми, а что достаточными условиями для проведения тестирования?

Спасибо

Приятно когда тебе указывают ошибку, а потом говорят, что ты прав. Спасибо.


Эти необходимые условия подходят для любой деятельности вообще. Для деятельности нужен тот(то) кто(что) будет ее проводить и тот(то) над кем(чем) эта деятельность проводится.


И как это соотносится с необходимыми условия приведенными в том же посте? Два разных набора необходимых условий? Минимально необходимые и какие-то еще? Так не бывает.

Спасибо за пояснения. Мнение это хорошо, но при формулировке вопроса "необходимые и достаточные условия ..." мнение в расчет не идет.




Определение сформуллированное по результатам опроса? Я вам пишу цитату из "букваря" в которой сказано, что в алфавите 33 буквы, а вы приводите результаты опроса по которым их 30. Разговор получится странный.


Достаточные условия всегда включают необходимые т.к. если необходимые условия не выполнены, утверждение неверно, в нашем случае это значит, что провести тестирование невозможно или это не тестирование.

Давайте не будем пытаться изменить постановку вопроса, тем более автор против.

Я тут еще раз подумал и понял, что согласно приведенному мной определению тестирования.
"Тестирование это проверка соответствия между реальным поведением программы и ее ожидаемым поведением на конечном наборе тестов, выбранном определенным образом" [IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004].

Для проведения тестирования программа не является необходимой.

Необходимыми условиями являются:
* реальное поведение программы
* ожидаемое поведение программы (требования/оракулы назовите как нравиться)
* конечный набор тестов, выбранный определенным образом

Снова приведу пример. Как протестировать программу под Mac не имея компьютера и тем более Mac`а.
Для этого нам необходимо:
* реальное поведение программы - например в виде видео записи
* ожидаемое поведение программы - некая информация о том, что программа должна делать
* конечный набор тестов, выбранный определенным образом
Это конечно полное извращение, так тестировать что-либо. Но это тестирование согласно приведенному определению.

все правильно: вверху были написаны необходимые, потом дописано достаточное и в итоге получены необходимые и достаточные

Как так отсутствуют?
А тут или тут

А вопросы потому, что коллега Oldman (@ 17.1.2008, 16:31) подверг сомнению два из моих необходимых условий. Я вот и решил наводящие вопросы задать.


Об том и речь. Я утверждаю, что одно из необходимых условий - "желание всех заинтересованных сторон в проведении тестирования". Т.е его нужность или как меня поправляют, его необходимость.
Представьте, я скачал продукт, разрабатываемый параллельной командой, взял их тест-кейзы. И в тайне ото всех, потестировал продукт, к которому не имею никакого отношения. Возможно нашел дефекты, но никому ничего про них не сказал. Потом пошел пить пиво.
При этом у меня были и объект тестирования и все необходимые ресурсы. У меня даже были тестовая и проектная документация. Все вами предложеные условия удовлетворены. Но я бы не сказал, что было проведенено именно тестирование продукта. Были сделаны какие-то бестолковые акции. А все потому что, никто в этом не был заинтересован - ни я, ни команда, работающая над этим параллельным для меня проектом. Если бы это последнее, имхо, необходимое условие было бы достигнуто, эти действия можно сбыло бы назвать тестированием. И я тогда был бы просто обязан сообщить о его результатах - Passed\Failed(баги в трэкере).


А это, простите, не понял.

LeshaL, как я уже писал выше для коллеги Alfa вы ошибаетесь, но вы правы :)

С точки зрения реальной ситуации, я полностью согласен с вами что "желание всех заинтересованных сторон в проведении тестирования" есть одно из необходимых условий (хотя можно поспорить, какая разница есть ли у меня желание выполнять тестирование данного продукта, есть слово надо).

Но исходя из того что Алексей задал вопрос в очень абстрактной форме и потом в ответ на мой вопрос об уточнении подтвердил данную абстрактность. И в этом случае это желание/необходимость не являются необходимым условием.

А вообще получилась очень интересная дискуссия. Я так полагаю Алексей по результатам данного опроса напишет статью. И у каждого будет возможность написать свой ответ чемберлену.

Спасибо всем участникам дискуссии.

Полагаю надо сделать такие вещи на постоянной основе. Типа сделать раздел - дискуссионный клуб (насколько я помню когда-то был подфорум - Круглый стол (то ли я его сейчас не нашел, то ли его уже нет)) и каждую неделю обсуждать одну тему из спорных - по результатам выходит хороший материал для статьи, а спорных тем навалом.

Спасибо, не учел, что "Достаточные условия всегда включают необходимые". А вот на счет "провести тестирование невозможно или это не тестирование" есть вопрос, если мы не проводим тестирование, то и деятельность проводимая нами не является тестированием... или я не прав?



Немного мыслей вслух вокруг вашего поста:

* реальное поведение программы в любом случае берется в результате воздействия на нее из-вне, что явно указывает на ее существование.

* ожидаемое поведение программы берется, предположим, из требований. По которым создается тест план, наличие которого в свою очередь явно указывает на проведение тестирования, как на цель.

* конечный набор тестов, выбранный определенным образом, или просто - наличие тест кейсов или тестов

Вопрос о необходимости исполнителя:
Разобъем процесс тестирования на три этапа: подготовка к проведению тестирования, тестирование, анализ результатов.
На этапе подготовки исполнитель нужен, для написания тест плана, тест кейсов, тестов. На этапе тестирования - для проведения испытаний. На этапе анализа результатов - для анализа и подготовки отчета о приведенном тестировании.

Если все описанное верно, то не вижу ничего противоречащего тому что я писал ранее с некоторыми оговорками и дополнениями:
Достаточные условия:
1. Наличие объекта тестирования, доступного для проведения испытаний
2. Наличие исполнителя(ей) (в зависимости от вида деятельности на разных фазах им может быть как человек, так и машина или комбинация человек+машина)
3. Наличие плана тестирования
4. Наличие тест кейсов / тестов
5. Наличие отчета, подтверждающего выполнение задач и достижение целей, по тестированию объекта


Необходимые условия:
1. Наличие объекта тестирования, доступного для проведения испытаний
2. Наличие исполнителя(ей) (в зависимости от вида проводимых испытаний им может быть как человек, так и машина или комбинация человек+машина)

Совершенно точно.


Действительно это указывает на существование программы в момент воздействия на нее из вне, но не указывает на ее существование в момент тестирования. Возвращаясь к примеру про видео запись: запишем видео реальных действий над программой и уничтожим программу. Тестирование будет проведено и существование программы для этого не требуется.

Если мы остаемся в рамках определения тестирования по IEEE, то там нет этапов. Если мы не остаемся в рамках определения по IEEE, то тогда какое определение?

Но вот исполнитель все равно получается нужен, потому что при формулировке вопроса "Необходимые и достаточные условия для проведения тестирования" нам нужен кто-то, который будет тестирование проводить. Я уже сам про это написал, когда согласился с Oldman вот тут http://it4business.ru/forum/index.php?show...ost&p=51607. Написал это и сам не понял, что для проведения необходим исполнитель.

Итого необходимые условия (версия 3.0):
* реальное поведение программы
* ожидаемое поведение программы (требования/оракулы назовите как нравиться)
* конечный набор тестов, выбранный определенным образом
* исполнитель (субъект) тестирования (человек, машина)

Отчеты об ошибках принимаются с благодартностю!


Определение вычитано тут http://www.ispras.ru/~barancev/SoftwareTesting_3.ppt и просто переписано в форум.
Мнение получено путем логических рассуждений, последующих исправлений и просто переписано в форум.

Как часты вы сталкивались с такой ситуацией? На сколько это необходимо и целесообразно тестировать программу которой уже нет? Скорее всего это будет не тестирование программы, а анализ выполняемых ею функций.
Как мы уже говорили выше, определение необходимых и достаточных условий зависит так же от методологии/процесса, вида тестирования и т.д. Поэтому ваш пример подпадает под частный случай какого-то странного вида тестирования. Для которого, предложенные вами условия можно считать правильными:


В остальном у меня вопросов нет :) Но пока я остаюсь при своем мнении.
Как говорится, истина где-то рядом... И мы стремимся познать ее в споре :)

Драфт статьи выложил в своем блоге. Жду разгромных комментариев либо здесь, либо на странице блога.

Спасибо

Решил свои 5 копеек вставить...
(IMG:style_emoticons/default/aggressive.gif)

Замечательная вещь - Интернет! Как он облегчает жизнь! Вот не было у меня толкового словаря, раз, и нашелся такой на ресурсе Yandex. Итак читаем словарь (кто хочет собственными глазами убедиться или дословно прочитать статью словаря, нужно искать "необходимые и достаточные условия").

Так вот. В математике существует такой термин - необходимые и достаточные условия. Он обозначает список таких условий, когда выражение истинно в ЛЮБОМ случае. Пример, целое положительное число делится на 2, если последняя цифра числа оканчивается на 0, либо делится на 2 - это и есть "необходимые и достаточные условия".

Если дословно воспринимать вопрос, то я его трактую следующим образом. Когда можно считать, что есть тестирование программы? Для ответа на этот вопрос предлагаю представить процесс тестирования при помощи нотификации EDIF0. Это будет выглядеть следующим образом.

Прямоугольник с надписью "тестирование" обозначает процесс. Левая стрелка, направленная внутр процесса, обозначает входные артефакты. Стрелка, направленная в верхнюю часть процесса, - управляющее воздействие. В нижнюю - ресурсы. Исходящая правая стрелка - выходные артефакты. Теперь рассмотрим детально каждый поток.

Входные артифакты:
- программа для тестирования
- данные о программе
- функциональные и не функциональные требования к системе
- требования к тестовому стенду

Управляющее воздействие:
- методология разработки, применяемая в проекте
- методики тестирования
- полиси компании
- best practices

Ресурсы:
- исполнитель (тестировщик)
- оборудование (включая тестовый стенд)
- средства коммуникации
- средства управления и документирования
- средства тестирования

Исходящие артефакты:
- протестированная программа
- отчет о результатах тестирования
- база дефектов
- база тест кейсов
- тестовые скрипты
- проектная тестовая документация

Итак "необходимые и достаточные условия" - это "Входные артефакты", "Управляющее воздействие", "Ресурсы". Их объединение и есть искомые условия. Другими словами, все то, что должно подаваться на вход процесса, что бы он состоялся и "был истинным".

Что из них "достаточно", а что "необходимо" для тестирования? Судить об этом я не берусь.