Kako se odvija testiranje. Testovi u procesu razvoja softvera. Alati i infrastruktura

Ovaj članak pruža prošireni popis pitanja (i odgovora) koje potencijalni poslodavac može postaviti ispitivačima softvera. Članak je strukturiran u obliku pitanje-odgovor, a posebice sadrži pitanja u vezi s automatizacijom testiranja, certifikacijom ISTQB i CSTE i mnogo više, što omogućuje procjenu razine pripremljenosti. Nadamo se da ćete se nakon čitanja članka moći pripremiti za eventualne intervjue ili barem sigurnije odgovarati na pitanja.

NA.Što je dinamičko testiranje?

O. Ovo je testiranje izvršavanjem koda ili programa s različitim ulaznim vrijednostima i provjerom valjanosti rezultata.

NA.Što je GUI testiranje?

O. Testiranje GUI (grafičkog korisničkog sučelja): sučelje softvera se testira kako bi se osiguralo da ispunjava zahtjeve.

NA.Što je formalno testiranje?

O. Verifikacija softvera, prema planu testiranja, testnim procedurama i pripadajućoj dokumentaciji, uzimajući u obzir želje naručitelja.

NA.Što je testiranje temeljeno na riziku?

O. Određuju se najvažniji dijelovi sustava, utvrđuje se redoslijed njihovog testiranja, a zatim slijedi samo testiranje.

NA.Što je rano testiranje?

O. Testiranje se provodi što je ranije moguće kako bi se rano otkrili nedostaci u SDLC-u. To omogućuje brže otkrivanje i uklanjanje nedostataka, čime se štede troškovi.

NA.Što je iscrpno testiranje?

O. Testiranje funkcionalnosti korištenjem nevažećih i valjanih ulaznih podataka i preduvjeta.

NA.Što je nakupljanje nedostataka?

O.Čak i mali modul ili funkcionalnost može sadržavati niz nedostataka, stoga je potrebno više pažnje posvetiti testiranju funkcionalnosti.

NA.Što je paradoks pesticida?

O. Ako postojeći testni slučajevi ne uspiju otkriti nedostatke, možda bi bilo vrijedno dodati/revidirati testne slučajeve kako bi se moglo pronaći više nedostataka.

NA.Što je statičko testiranje?

O. Ručna provjera koda bez programa. U ovom procesu, problemi se pronalaze u kodu dok se pregledava i uspoređuje sa zahtjevima.

NA.Što je pozitivno testiranje?

O. Testiranje koje se provodi na aplikaciji kako bi se utvrdilo koliko dobro sustav radi. Ovaj pristup je poznatiji kao "test prolaza".

NA.Što je negativno testiranje?

O. Testiranje negativnih scenarija u softveru: izbacuje li sustav pogrešku kada bi trebao ili ne bi trebao.

NA.Što je end-to-end testiranje?

O. Testiranje cjelokupne funkcionalnosti sustava, uključujući integraciju podataka u module.

NA.Što je eksploratorno testiranje?

O. Ovo je studija aplikacije kako biste dobili ideju o njezinoj funkcionalnosti, dodavanjem (ili) mijenjanjem postojećih testnih slučajeva za bolje testiranje.

NA.Što je testiranje majmuna?

O. Testiranje aplikacije bez ikakvog plana, testiranje selektivnih mjesta kako bi se pronašli neki složeni kvarovi sustava, a zatim nedostaci koji su doveli do toga.

NA.Što je nefunkcionalno testiranje?

O. Validacija različitih nefunkcionalnih aspekata sustava, kao što su korisnička sučelja, kompatibilnost, performanse itd.

O. Provjera koliko je lako krajnjim korisnicima razumjeti i upravljati aplikacijom.

O. Provjerava se koliko su svi sigurnosni uvjeti implementirani u aplikaciji.

O. Analiza učinkovitosti različitih karakteristika sustava - vrijeme odziva, ukupne performanse kako bi se ustanovilo koliko brzo sustav radi pod opterećenjem.

NA.Što je testiranje opterećenja?

O. Analiza funkcionalnosti i performansi aplikacije u različitim uvjetima.

NA.Što stres-testiranje?

O. Provjera stabilnosti sustava u uvjetima prekoračenja granica normalnog rada. Ili smanjenje resursa sustava i održavanje opterećenja na određenoj razini kako bi se provjerilo kako se aplikacije ponašaju.

NA.Što je proces?

O. Proces je skup praksi za postizanje određenog cilja; mogu uključivati ​​alate, metode, materijale i ljude.

NA.Što je upravljanje konfiguracijom?

O. Proces pronalaženja, organiziranja i kontrole promjena u razvoju softvera. Ili metodologiju za praćenje i upravljanje projektom razvoja softvera.

O. Izrada nacrta:

• plan testiranja
• Testni scenariji
• testni slučajevi
• Izvođenje testnih slučajeva
• Provjera rezultata
• Prijava nedostataka
• Praćenje kvarova
• Nedostaci zatvaranja
• Testno izdanje

NA. Kako je CMMI skraćenica?

O. Capability Maturity Model Integration (Model zrelosti razvojnih procesa).

NA.Što je analiza programa?

O. Neformalna analiza izvornog koda programa kako bi se identificirali nedostaci i provjerile tehnike programiranja.

O. Testiranje pojedinačnih programa, modula ili elemenata koda.

NA.Što je testiranje razine integracije?

O. Testiranje relevantnih programa, modula (ili) jedinica koda.

NA.Što je testiranje na razini sustava?

O. Testiranje cjelokupnog računalnog sustava za sve module. Ova vrsta ispitivanja može uključivati ​​funkcionalna i strukturna ispitivanja.

NA.Što je alfa testiranje?

O. Testiranje cijelog računalnog sustava prije faze korisničkog testiranja (UAT).

NA. Što je UAT?

O. Testiranje računalnog sustava od strane klijenta kako bi se provjerilo ispunjava li sustav zahtjeve.

NA.Što je plan testiranja?

O. Dokument koji opisuje opseg, pristup, resurse i raspored testiranja, koji identificira ispitne stavke, pojedinačne dijelove funkcionalnosti, testne zadatke, osobe koje će provoditi specifične testove i sve rizike koji zahtijevaju dodatno planiranje.

NA.Što je testna skripta?

O. Identifikacija svih mogućih ispitnih područja.

NA.Što je ECP (Equivalence Class Partition)?

O. Metoda za generiranje test slučajeva.

NA.Što je defekt?

O. Svaka nesavršenost u radu softvera. Ili kada očekivani rezultat ne odgovara stvarnom radu aplikacije.

NA.Što je kritičnost?

O. Definira razinu greške s funkcionalnog gledišta, tj. koliko je nedostatak kritičan za aplikaciju.

NA.Što je prioritet?

O. Označava hitnost otklanjanja kvara.

NA.Što je ponovno testiranje?

O. Ponovno testiranje aplikacije da se vidi jesu li nedostaci ispravljeni.

O. Provjera postojećih funkcionalnih i nefunkcionalnih područja nakon izmjene pojedinih dijelova aplikacije ili dodavanja novih funkcionalnosti.

NA.Što je testiranje oporavka?

O. Provjerava se sposobnost sustava da se nosi s nekim neočekivanim situacijama.

NA.Što je testiranje globalizacije?

O. Ispituje se sposobnost pokretanja aplikacije bez obzira na geografsko i kulturno okruženje. Provjerava se mogućnost promjene jezika, datuma, formata i valute ako je aplikacija razvijena za korisnike iz više zemalja.

NA.Što je testiranje lokalizacije?

O. Provjera je li aplikacija prikladna za određenu lokalnu skupinu korisnika, kulturne i geografske uvjete.

NA.Što je testiranje instalacije?

O. Provjerava se sposobnost uspješne instalacije softvera, sukladno instalacijskoj dokumentaciji.

NA.Što je testiranje uklanjanja?

O. Provjera mogućnosti deinstalacije softvera.

NA.Što je testiranje kompatibilnosti?

O. Provjerava se kompatibilnost aplikacije s drugim softverom i hardverom.

NA.Što je strategija testiranja?

O. Ovo je dio plana testiranja koji opisuje kako se testiranje provodi i koje vrste testiranja je potrebno provesti.

NA.Što je test slučaj?

O. Testni slučaj je skup specifičnih koraka kojima se testira funkcionalnost sustava.

NA.Što je testni slučaj validacije poslovnog procesa?

O. Ovaj testni slučaj napisan je za testiranje određenog uvjeta ili zahtjeva.

NA. Kako se utvrđuje dobar test?

O. Testni slučaj koji ima visok prioritet otkrivanja nedostataka.

NA.Što je testiranje slučaja upotrebe?

O. Takvo testiranje utvrđuje je li softver dizajniran u skladu sa slučajem upotrebe.

NA. Koja je starost defekta?

O. Vrijeme između datuma otkrivanja i datuma zatvaranja kvara.

NA.Što je Showstopper defekt?

O. Greška koja prisiljava na zaustavljanje procesa testiranja.

O. Ovo je posljednja faza STLC-a. Uprava priprema izvješća o ispitivanju, objašnjava statistiku projekta na temelju dostupnih podataka.

NA.Što je bucket testiranje?

O. Bucket Testing, ili A/B testiranje. Najčešće proučavani učinak različitog dizajna je metrika za web stranice. Dvije verzije web stranice rade na jednoj ili više web stranica kako bi se utvrdila razlika u klikovima.

NA. Koji su kriteriji početka i završetka testa?

O. Početni kriteriji - Proces koji mora biti prisutan na početku sustava. To bi mogao biti:

• SRS-softver
• Slučaj upotrebe
• Test slučaj
• Plan testiranja

Kriterij dovršenosti određuje spremnost prijave za puštanje. To bi mogao biti:

• Izvješće o ispitivanju
• Metrika
• Izvješće o analizi testa

NA.Što je testiranje valute?

O. Riječ je o složenom korisničkom testiranju istovremenog pristupa aplikaciji, radi provjere utjecaja na kod, modul ili bazu podataka. Uglavnom otkriva zastoje u kodu.

O. Testiranje web-aplikacija provodi se na web-mjestu kako bi se provjerilo učitavanje, izvedba, sigurnost, funkcionalnost, sučelje, kompatibilnost i druga pitanja povezana s upotrebljivošću.

O. Testiranje elemenata (ili bočno testiranje) omogućuje provjeru rada pojedinih modula izvornog koda.

NA.Što je testiranje sučelja?

O. Testiranjem sučelja provjerava se interakcija pojedinih modula. Najčešće se koristi za testiranje korisničkog sučelja GUI aplikacija.

NA.Što je gama testiranje?

O. Gama testiranje provodi se kada je softver spreman za izdavanje, provjerava se usklađenost sa zahtjevima.

Značajan dio proizvodnog procesa oslanja se na testiranje softvera. Što je to i kako se takve aktivnosti provode, raspravljat ćemo u ovom članku.

Što se zove testiranje?

To se podrazumijeva kao proces tijekom kojeg se softver izvršava kako bi se otkrila mjesta neispravnog funkcioniranja koda. Teški ulazni skupovi podataka namjerno su konstruirani kako bi se postigao najbolji rezultat. Glavni cilj verifikatora je stvoriti optimalne mogućnosti za kvar, iako se ponekad testiranje razvijenog programa može pojednostaviti na uobičajenu provjeru funkcionalnosti i performansi funkcija. To štedi vrijeme, ali je često popraćeno nepouzdanošću softvera, nezadovoljstvom korisnika i tako dalje.

Učinkovitost

Koliko se dobro i brzo pronađu greške ima značajan utjecaj na cijenu i trajanje razvoja softvera potrebne kvalitete. Dakle, unatoč činjenici da testeri primaju plaće nekoliko puta manje od programera, cijena njihovih usluga obično doseže 30 - 40% troškova cijelog projekta. To je zbog broja osoblja, jer je traženje greške neobičan i prilično težak proces. Ali čak i ako je softver prošao solidan broj testova, ne postoji 100% jamstvo da neće biti pogrešaka. Samo ne znamo kada će se pojaviti. Kako bi se testeri potaknuli da odaberu vrste testiranja za koje je vjerojatnije da će pronaći pogrešku, koriste se različita sredstva motivacije: moralna i materijalna.

Pristup poslu

Optimalna situacija je kada se implementiraju različiti mehanizmi koji osiguravaju da nema grešaka u softveru od samog početka. Da biste to učinili, potrebno je voditi računa o kompetentnom arhitektonskom dizajnu, jasnim projektnim zadacima, a također je važno ne raditi prilagodbe u vezi kada je rad na projektu već započeo. U ovom slučaju, ispitivač se suočava sa zadatkom pronalaska i identificiranja malog broja pogrešaka koje ostaju u konačnom rezultatu. Ovo će uštedjeti vrijeme i novac.

Što je test?

Ovo je važan aspekt aktivnosti verifikatora koji je neophodan za uspješno prepoznavanje nedostataka u programskom kodu. Oni su neophodni za kontrolu ispravnosti prijave. Što je uključeno u test? Sastoji se od njihovih početnih podataka i vrijednosti, koje treba dobiti kao rezultat (ili međuproizvod). Kako bi se problemi i nedosljednosti uspješnije identificirali, testove treba pisati nakon što je algoritam razvijen, ali nije započelo programiranje. Štoviše, poželjno je koristiti nekoliko pristupa pri izračunavanju potrebnih podataka. U tom se slučaju povećava vjerojatnost pronalaska pogreške zbog činjenice da kod možete ispitati s druge točke gledišta. Sveobuhvatna ispitivanja trebala bi osigurati provjeru vanjskih učinaka gotovog softverskog proizvoda, kao i njegovih algoritama rada. Od posebnog su interesa granični i degenerirani slučajevi. Tako se u praksi aktivnosti s pogreškama često može saznati da ciklus radi jednom manje ili više nego što je planirano. Također je važno testiranje računala, zahvaljujući kojem možete provjeriti usklađenost sa željenim rezultatom na različitim strojevima. Ovo je neophodno kako bi se osiguralo da softver može raditi na svim računalima. Osim toga, testiranje računala na kojem će se odvijati razvoj važno je pri izradi višeplatformskih razvoja.

Umijeće pronalaženja grešaka

Programi su često usmjereni na rad s ogromnom količinom podataka. Treba li doista biti potpuno stvoren? Ne. Praksa "minijaturizacije" programa postala je raširena. U ovom slučaju postoji razumno smanjenje količine podataka u usporedbi s onim što bi se trebalo koristiti. Pogledajmo primjer: postoji program koji stvara matricu 50x50. Drugim riječima, morate ručno unijeti 2500 tisuća vrijednosti. To je svakako moguće, ali će trajati jako dugo. Ali za provjeru performansi, softverski proizvod dobiva matricu čija je dimenzija 5x5. Da biste to učinili, morat ćete već unijeti 25 vrijednosti. Ako se u ovom slučaju promatra normalan rad bez grešaka, to znači da je sve u redu. Iako i ovdje postoje zamke, koje leže u činjenici da tijekom minijaturizacije dolazi do situacije, uslijed koje promjene postaju implicitne i privremeno nestaju. Također se vrlo rijetko, ali ipak događa da se pojave nove greške.

Ostvareni ciljevi

Testiranje softvera nije lak zadatak zbog činjenice da se ovaj proces ne može u potpunosti formalizirati. Veliki programi gotovo nikad nemaju potrebnu preciznu referencu. Stoga se kao vodič koriste brojni neizravni podaci koji, međutim, ne mogu u potpunosti odražavati karakteristike i funkcije razvoja softvera koji se otklanjaju. Štoviše, oni moraju biti odabrani na takav način da se točan rezultat izračuna čak i prije testiranja softverskog proizvoda. Ako se to ne učini unaprijed, tada postoji iskušenje da se sve približno razmotri, a ako rezultat stroja padne u predviđeni raspon, tada će se donijeti pogrešna odluka da je sve točno.

Provjera u raznim uvjetima

U pravilu se testiranje programa odvija u volumenima koji su potrebni za minimalnu provjeru funkcionalnosti unutar ograničenog raspona. Djelatnost se provodi uz promjenu parametara, kao i uvjeta njihovog rada. Proces testiranja može se podijeliti u tri faze:

• Provjerite pod normalnim uvjetima. U ovom slučaju testira se glavna funkcionalnost razvijenog softvera. Dobiveni rezultat trebao bi biti očekivan.
• Provjera u izvanrednim uvjetima. U tim slučajevima to podrazumijeva primanje graničnih podataka, što može nepovoljno utjecati na performanse stvorenog softvera. Primjer je rad s iznimno velikim ili malim brojevima, ili općenito, potpuni nedostatak primljenih informacija.
• Provjera izuzetaka. Uključuje korištenje podataka koji su izvan obrade. U takvim je situacijama vrlo loše kada ih softver percipira kao prikladne za izračun i daje uvjerljiv rezultat. Mora se voditi računa o odbijanju svih podataka koji se u takvim slučajevima ne mogu pravilno obraditi. Također je potrebno dati informaciju korisniku o tome.

Testiranje softvera: vrste

Vrlo je teško izraditi softver bez grešaka. Za to je potrebno dosta vremena. Da biste dobili dobar proizvod, često se koriste dvije vrste testiranja: "Alpha" i "Beta". Što su oni? Kada govorimo o alfa testiranju, onda se misli na provjeru koju sam razvojni tim provodi u “laboratorijskim” uvjetima. Ovo je posljednja faza provjere prije nego što se program distribuira krajnjim korisnicima. Stoga se programeri pokušavaju okrenuti maksimalno. Radi lakšeg rada, podaci se mogu zabilježiti kako bi se stvorila povijest problema i popravaka. Beta testiranje odnosi se na isporuku softvera ograničenom broju korisnika kako bi mogli upravljati programom i identificirati propuštene pogreške. Značajka u ovom slučaju je da se softver često koristi u svrhe koje nisu predviđene. Zbog toga će se otkriti kvarovi tamo gdje prethodno ništa nije bilo uočeno. To je sasvim normalno i ne morate brinuti o tome.

Završetak testiranja

Ako su prethodne faze uspješno završene, ostaje provesti test prihvaćanja. U ovom slučaju to postaje puka formalnost. Tijekom ove provjere potvrđuje se da nema dodatnih problema i softver se može pustiti na tržište. Što je konačni rezultat važniji, provjeru treba pažljivije provesti. Potrebno je osigurati da su sve faze uspješno završene. Ovako izgleda cijeli proces testiranja. Uđimo sada u tehničke pojedinosti i razgovarajmo o korisnim alatima poput programa za testiranje. Što su i u kojim slučajevima se koriste?

Automatizirano testiranje

Ranije se vjerovalo da je dinamička analiza razvijenog softvera pretežak pristup koji je neučinkovit za otkrivanje nedostataka. No zbog povećanja složenosti i obujma programa pojavilo se suprotno stajalište. Automatizirano testiranje koristi se tamo gdje su dostupnost i sigurnost glavni prioriteti. I trebali bi biti za svaki unos. Primjeri programa za koje je takvo testiranje prikladno uključuju sljedeće: mrežni protokoli, web poslužitelj, sandboxing. Zatim ćemo pogledati nekoliko uzoraka koji se mogu koristiti za takve aktivnosti. Ako ste zainteresirani za besplatne programe za testiranje, onda je među njima prilično teško pronaći one visoke kvalitete. Ali postoje hakirane "piratske" verzije dobro uhodanih projekata, pa se možete obratiti njihovim uslugama.

Lavina

Ovaj alat pomaže u otkrivanju nedostataka testiranjem programa u načinu dinamičke analize. Prikuplja podatke i analizira putanju izvršenja razvijenog objekta. Ispitivač dobiva skup ulaznih podataka koji uzrokuju pogrešku ili zaobilaze skup postojećih ograničenja. Zbog prisutnosti dobrog algoritma provjere, razvija se veliki broj mogućih situacija. Program prima različite skupove ulaznih podataka koji vam omogućuju simulaciju značajnog broja situacija i stvaranje uvjeta u kojima je najvjerojatnije doći do kvara. Važna prednost programa je korištenje heurističke metrike. Ako postoji problem, tada se s velikom vjerojatnošću nalazi pogreška aplikacije. Ali ovaj program ima ograničenja poput provjere samo jedne označene ulazne utičnice ili datoteke. Prilikom izvođenja operacije kao što je testiranje programa, sadržavat će detaljne informacije o prisutnosti problema s nultim pokazivačima, beskonačnim petljama, netočnim adresama ili kvarovima zbog upotrebe biblioteka. Naravno, ovo nije potpuni popis otkrivenih grešaka, već samo njihovi uobičajeni primjeri. Nažalost, programeri će morati popraviti nedostatke - automatski alati nisu prikladni za te svrhe.

KLEE

Ovo je dobar program za testiranje memorije. Može presresti oko 50 sistemskih poziva i velik broj virtualnih procesa te se tako izvršavati paralelno i odvojeno. Ali općenito, program ne traži pojedinačna sumnjiva mjesta, već obrađuje najveću moguću količinu koda i analizira korištene putove prijenosa podataka. Zbog toga vrijeme testiranja programa ovisi o veličini objekta. Prilikom provjere, oklada se vrši na simboličke procese. One su jedan od mogućih načina izvršavanja zadataka u programu koji se testira. Zahvaljujući paralelnom radu, možete analizirati veliki broj opcija za rad aplikacije koja se proučava. Za svaki put se nakon završetka njegovog testiranja spremaju skupovi ulaznih podataka od kojih je test započeo. Treba napomenuti da programi testiranja koji koriste KLEE pomažu identificirati veliki broj odstupanja koja ne bi trebala biti. Može pronaći probleme čak iu aplikacijama koje su se razvijale desetljećima.

Testiranjem upotrebljivosti pomaže povećati konverziju stranice ili online trgovine, pronaći skrivene namjere i želje korisnika te donijeti odluku o razvoju dodatnih funkcionalnosti. Ovo nije jedina metoda istraživanja mjesta. Odluku o izboru metode donesite na temelju zadataka. Ako je potrebno

pronađite nedostatke u sučelju ili provjerite praktičnost korisničkih scenarija, testirajte upotrebljivost stranice. Kada želite usporediti konverziju dviju opcija slijetanja, bolje je napraviti A/B test.

Ciljevi testiranja su različiti za svaku tvrtku: netko testira prototip ili koncept, netko testira hipoteze, netko istražuje korisničke scenarije, pa su metode i metrike različite. Ali pravila za provođenje, faze pripreme i skup popratne dokumentacije su slični. Pripremljene detaljne upute o tome kako provesti testiranje upotrebljivosti stranice.

Gdje početi

Ciljevi i ciljevi. Postavite glavni cilj testiranja, koji će odrediti daljnji smjer: zadatke, zadatke, metode i izbor ispitanika. Na temelju cilja formulirajte problem ili zadatak. To može biti testiranje razvijenog proizvoda ili traženje nedostataka nakon redizajna. Na primjer, tvrtka je promijenila dizajn narudžbenice, nakon čega se konverzija smanjila. Uz pomoć testiranja, istraživači će shvatiti zašto se to dogodilo i što učiniti.

Hipoteze. Postavite hipotezu koju će studija potvrditi ili opovrgnuti. Recimo, prilikom rezervacije hotela korisnici posebnom porukom naručuju prijevoz iz zračne luke bez korištenja posebne narudžbenice. U ovom slučaju, varijanta hipoteze može biti: "korisnici ne razumiju da je ovo obrazac za naručivanje transfera ili ga smatraju nezgrapnim za ispunjavanje."

Scenariji. Zasebno testirajte scenarije ponašanja korisnika - kako ljudi stupaju u interakciju sa web mjestom. Svaka stranica ima svoju skriptu. Da biste ga izradili, odgovorite na četiri pitanja:

1. Odakle je došao korisnik?
2. Što bi trebao vidjeti na ovoj stranici?
3. S kojim ciljem je došao na stranicu?
4. Kako bi posjet trebao završiti?

Korisnička skripta ne mora biti duga i komplicirana. Ponekad što je interakcija kraća, konverzija je bolja. Primjerice, za tvrtku koja dostavlja kartuše, punjače, leće bitna je brzina pa je poželjno da korisnik odmah shvati da mu usluga dostave odgovara.

Kada različite skupine posjetitelja dođu na stranicu, razvijte vlastite scenarije ponašanja za svaku skupinu. Recimo da veleprodajno i maloprodajno mjesto ima tri skupine kupaca: velike veletrgovce, male veletrgovce i maloprodajne kupce. Napravite zasebne odjeljke za svaku grupu i napišite scenarije na temelju odgovora na ogledna pitanja.

Što se može mjeriti

Kvantitativno istraživanje uvijek konkretan i fokusiran, usmjeren na dobivanje brojčanih pokazatelja. To može biti vrijeme potrebno za dovršetak aktivnosti na stranici ili postotak ispitanika koji su dovršili zadatak. Da/ne rezultati se također mogu prikazati brojevima. Na primjer, dovedite ih u binarni sustav: da - 1 bod, ne - 0 bodova.

Često se u testiranju koristi metoda Jacoba Nielsena, koja rezultate prevodi u postotke i izračunava postotak uspješnosti. Preporučujemo da pojednostavite ljestvicu ocjenjivanja i koristite tri opcije:

• izvodi samostalno - 100%;
• mi ćemo to učiniti uz pomoć moderatora - 50%;
• neuspješno - 0%.

Kako biste odredili koliko često korisnici nailaze na probleme, izračunajte njihovu učestalost. Da biste to učinili, izbrojite broj ispitanika koji nisu mogli izvršiti zadatak zbog istog problema. Dajte sudionicima testa iste zadatke, tada će pokazatelj učestalosti biti pouzdan.

Kvalitativno istraživanje odlučite dobiti puno različitih komentara, razumjeti način razmišljanja korisnika, pronaći skrivene probleme. Testiranje se temelji na otvorenim i fleksibilnim pitanjima. U tu svrhu provodi se intervju koji pokazuje stupanj zadovoljstva ispitanika. Postoje mnoge metode i upitnici za provođenje kvalitativnih istraživanja.

Na primjer, model Kano, koji je razvio japanski znanstvenik. Uz njegovu pomoć saznajte ne samo zadovoljstvo trenutnom verzijom stranice, već i očekivanja korisnika. Svi odgovori ispitanika pretvaraju se u bodove i rangiraju na ljestvici očekivanja od "Sviđa mi se" i "Očekujem to" do "Ne sviđa mi se i ne mogu to prihvatiti". Kao rezultat toga, istraživači izrađuju grafikon koji pokazuje što točno publika misli:

• uzeti zdravo za gotovo;
• konkurentska prednost stranice;
• karakteristike koje ih oduševljavaju;
• nevažno.

Na temelju rezultata kvalitativnih istraživanja potrebno je pravilno interpretirati dobivene rezultate. Možda će ispitanici dati mnogo zanimljivih prijedloga, ali procijenite ih u smislu tehničke izvedbe i troškova razvoja. U svakom slučaju, pokušajte razumjeti točno koju potrebu pokriva njihov prijedlog. Ovo je neophodno kako bi se pronašao način poboljšanja upotrebljivosti stranice koji je prikladan za vašu tvrtku.

Koju metodu odabrati

Promatranje- najjednostavnija metoda: ispitanik radi kao i obično, moderator promatra i analizira njegove postupke. Na kraju ispitanik ispunjava upitnik i iznosi svoje dojmove o stranici. Metoda je dobra jer korisnik prirodno komunicira sa stranicom, nije pod pritiskom okolnih okolnosti.

Ali postoji i nedostatak: ispitanik ispunjava upitnik nakon što završi test, pa se možda neće točno sjetiti zašto je to učinio na ovaj ili onaj način. To bi onda dovelo do pogrešnog tumačenja postupaka ispitanika.

Razmišljajući naglas. Ovu popularnu metodu predložio je Jakob Nielsen. Njegova bit leži u činjenici da korisnik sve svoje radnje izgovara naglas. No, takvim ponašanjem ispitanici počinju promišljenije pristupati izvršavanju zadataka te se gubi dio prirodnosti.

Dijalog s moderatorom. Metoda je najprikladnija za provođenje kvalitativnih istraživanja na prototipovima i konceptima. Tijekom testiranja ispitanici aktivno komuniciraju s moderatorom, postavljaju mu pitanja i odmah daju povratnu informaciju.

metoda sjene. Istovremeno rade tri sudionika: ispitanik, moderator i ekspert. Ispitanik slobodno i samostalno obavlja zadatke, moderator popravlja, stručnjak komentira postupke ispitanika.

Retrospektiva. Riječ je o metodi koja spaja promatranje i „razmišljanje naglas“. Ispitanik prvo izvršava zadatke, zatim gleda video snimku svojih radnji i komentira ih. Glavni nedostatak je značajno povećanje vremena testiranja.

Kako testirati

Osobni kontakt. Neka moderator uspostavi prijateljski kontakt s ispitanicima. Razgovarajte o testiranju i njegovim ciljevima, naglasite sudioniku da će njegovi odgovori pomoći tvrtki da poboljša proizvod. Provedite kratki brifing, u kojem objasnite bit zadataka, izgovorite postupak testiranja.

Dokumentacija. Potpišite s ispitanikom potrebne dokumente: ugovor o obradi osobnih podataka i ugovor o tajnosti rezultata testa, ako je potrebno. Kada djeca sudjeluju u testiranju, potpišu s roditeljima dokument kojim potvrđuju suglasnost za sudjelovanje u istraživanju.

probno testiranje potrebno kada je proizvod složen ili zadaci mogu izazvati poteškoće za ispitanike. Na taj način će se upoznati sa web mjestom i razumjeti zahtjeve. Kada imate veliko i dugotrajno učenje, napravite probni test prije glavnog. Tako ćete pronaći nedostatke u pripremi i otkloniti ih.

Zapamtiti

Korisnička interakcija s upotrebljivošću svake stranice mora biti učinkovita, produktivna i zadovoljavajuća. Nastojte ispuniti očekivanja korisnika. Da biste to učinili, testirajte prototipove, trenutni ili novi dizajn stranice. Provedite testiranje kada se pojave problemi ili kako biste poboljšali trenutnu izvedbu.

Materijal pripremila Svetlana Sirvida-Llorente.

Kao što znate, u poslovanju nema statičnih stanja. Tvrtka se mora stalno razvijati kako bi zadovoljila trenutnu situaciju na tržištu, potrebe kupaca i vlasnika. Nakon zaustavljanja razvoja, projekt odmah počinje degradirati. Na primjer, ne možete stvoriti internetsku trgovinu, dodati 200 proizvoda na stranicu i ostvariti mjesečni profit od 100 tisuća rubalja. Kako profitabilnost projekta barem ne bi pala, poduzetnik treba stalno širiti asortiman, povećavati doseg publike putem oglašavanja i objavljivanja korisnog sadržaja, poboljšavati metriku ponašanja web stranice i stopu konverzije.

Jedan od alata za razvoj web projekata je A/B testiranje. Ova vam metoda omogućuje mjerenje preferencija publike i utjecaj na ključne pokazatelje izvedbe web stranice, uključujući konverzije, vrijeme provedeno na stranici, prosječnu vrijednost narudžbe, stopu napuštanja početne stranice i druge metrike. U ovom ćete članku naučiti kako pravilno provesti A/B testiranje.

Što je A/B testiranje

A/B testiranje je marketinška tehnika koja se koristi za procjenu i upravljanje izvedbom web stranice. Ova metoda se također naziva split testiranje (od engleskog split testing - odvojeno testiranje).

A/B testiranje omogućuje procjenu kvantitativne izvedbe dviju verzija web stranice, kao i njihovu međusobnu usporedbu. Podijeljeno testiranje također pomaže u procjeni učinkovitosti promjena stranice, kao što je dodavanje novih elemenata dizajna ili poziva na akciju. Praktični smisao korištenja ove metode je pronaći i implementirati komponente stranice koje povećavaju njezinu učinkovitost. Obratite pozornost još jednom, A/B testiranje je primijenjena marketinška metoda kojom možete utjecati na konverziju, potaknuti prodaju i povećati profitabilnost web projekta.

Split testiranje počinje procjenom metrike postojeće web stranice (A, kontrolna stranica) i traženjem načina za njezino poboljšanje. Na primjer, napravili ste internetsku trgovinu. Zamislite odredišnu stranicu ove trgovine sa stopom konverzije od 2%. Marketer želi povećati tu brojku na 4%, pa planira promjene koje će pomoći u rješavanju ovog problema.

Recimo da stručnjak smatra da će promjena boje gumba za pretvorbu iz neutralne plave u agresivnu crvenu učiniti ga vidljivijim. Kako bi vidio rezultira li to većom prodajom i većim brojem konverzija, trgovac stvara poboljšanu verziju web stranice (B, nova stranica).

Uz pomoć alata za podijeljeno testiranje, stručnjak nasumično dijeli promet između stranica A i B na dva približno jednaka dijela. Relativno govoreći, polovica posjetitelja sleti na stranicu A, a druga polovica na stranicu B. Pritom trgovac ima na umu izvore prometa. Kako bi se osigurala valjanost i objektivnost testiranja, potrebno je na stranice A i B poslati 50% posjetitelja koji su na stranicu došli s društvenih mreža, prirodnog pretraživanja, kontekstualnog oglašavanja itd.

Nakon prikupljanja dovoljno informacija, trgovac ocjenjuje rezultate testa. Kao što je gore navedeno, stopa konverzije stranice A je 2%. Ako je bio 2,5% na stranici B, tada je promjena gumba za konverziju iz plave u crvenu stvarno povećala učinkovitost slijetanja. Međutim, stopa konverzije nije dosegla željenih 4%. Stoga trgovac dalje traži načine poboljšanja stranice kroz A/B testiranje. U tom će slučaju stranica s crvenim gumbom za konverziju djelovati kao kontrolna stranica.

Što testirati

Kao što je gore navedeno, split testiranje je primijenjena metoda koja vam omogućuje utjecaj na različite metrike web stranice. Stoga izbor predmeta testiranja ovisi o ciljevima koje si marketinški stručnjak postavlja.

Na primjer, ako vaša odredišna stranica ima stopu napuštanja početne stranice od 99%, a većina posjetitelja napusti odredišnu stranicu unutar 2-3 sekunde nakon slijetanja, razmislite o promjeni vizualnih komponenti stranice. Uz pomoć A/B testa, trgovac može pronaći najbolju opciju izgleda stranice, odabrati atraktivnu shemu boja i slike te koristiti čitljiv font. A ako se trgovac suoči sa zadatkom povećanja broja pretplata, može pokušati promijeniti odgovarajući obrazac konverzije. Podijeljeni test pomoći će stručnjaku da odabere optimalnu boju gumba, najbolju opciju teksta, broj polja u obrascu za pretplatu ili njegovu lokaciju.

Marketinški stručnjaci najčešće testiraju sljedeće elemente web stranica:

• Tekst i izgled gumba za konverziju, kao i njihov položaj.
• Naziv i opis proizvoda.
• Dimenzije, izgled i mjesto obrasca za pretvorbu.
• Izgled i dizajn stranice.
• Cijena proizvoda i ostali elementi poslovne ponude.
• Slike proizvoda i druge ilustracije.
• Količina teksta na stranici.

Koje alate za split testiranje koristiti

Za provođenje A/B testiranja marketinški stručnjak mora koristiti jedan od specijaliziranih servisa. Najpopularniji od njih je Googleov Content Experiments, dostupan korisnicima sustava Analytics. Do sredine 2012. ovaj se alat zvao Google Website Optimizer. Pomoću njega možete testirati različite elemente stranice, uključujući naslove, fontove, gumbe i obrasce za konverziju, slike i još mnogo toga. Usluga Content Experiments ostaje besplatna, što je jedna od njezinih glavnih prednosti. Njegovi nedostaci uključuju potrebu za radom s HTML kodom.

Također možete koristiti sljedeće ruske i strane alate za split testiranje:

• Optimize je najpopularnija plaćena usluga A/B testiranja na internetu. Cijena korištenja kreće se od 19 do 399 dolara, ovisno o vrsti pretplate. Prednosti ove usluge uključuju mogućnost stvaranja eksperimenata u vizualnom sučelju, što štedi trgovca od rada s HTML kodom stranica koje se testiraju.
• RealRoi.ru još je jedna domaća usluga koja vam omogućuje provođenje A / B testiranja. Među glavnim prednostima može se izdvojiti da je besplatan i vrlo jednostavan za korištenje. Detaljno kako to radi možete vidjeti u sljedećem videu:
• Visual Website Optimizer je plaćena usluga koja vam omogućuje testiranje različitih elemenata stranice. Za korištenje ovog alata, trgovac mora biti upoznat s HTML kodom. Cijene pretplate kreću se od 49 do 249 dolara.
• Unbounce je usluga osmišljena za izradu i optimizaciju odredišnih stranica. Konkretno, omogućuje vam izvođenje A / B testiranja. Cijena korištenja je od 50 do 500 dolara mjesečno. Domaći analog - LPGgenerator. Ova usluga vam omogućuje da testirate samo stranice kreirane pomoću nje.

Kako testirati A/B pomoću eksperimenata sa sadržajem

Usluga Google Analytics Experiments omogućuje vam da istovremeno testirate učinkovitost pet varijacija stranice. Pomoću njega trgovci mogu provoditi A/B/N testiranje, koje se od standardnih A/B eksperimenata razlikuje po mogućnosti praćenja izvedbe nekoliko novih stranica, od kojih svaka može imati nekoliko novih elemenata.

Marketer ima mogućnost samostalno odrediti udio prometa uključenog u testiranje. Minimalno trajanje testa je dva tjedna, maksimalno je ograničeno na tri mjeseca. Podatke o rezultatima pretraga specijalist može dobiti putem e-maila.

Da biste podijelili test s eksperimentima sadržaja, slijedite ove korake:

1. Prijavite se na svoj Google Analytics račun, odaberite web mjesto čije performanse želite testirati. Nakon toga odaberite izbornik "Ponašanje - Eksperimenti".

1. Unesite URL stranice koju ćete testirati u odgovarajući obrazac i kliknite gumb "Pokreni eksperiment".

1. Odaberite naziv i svrhu testiranja. Odredite postotak prometa koji sudjeluje u eksperimentu. Odlučite želite li primati obavijesti e-poštom o napretku testiranja. Kliknite gumb "Dalje" nakon odabira potrebnih opcija.

1. Odaberite varijacije stranice za testiranje. Dodajte ih u odgovarajuće obrasce i kliknite Dalje.

1. Izradite kôd eksperimenta. Ako ne znate kako ga ugraditi na stranicu, odaberite opciju "Pošalji kod webmasteru". Ako se ne oznojite na spomen HTML koda, odaberite opciju "Umetni kod ručno".

Odaberite "Ručno umetanje koda" ako znate rukovati HTML kodom

1. Kopirajte kod označen na prethodnoj ilustraciji i zalijepite ga u izvorni kod kontrolne stranice. Kod mora biti umetnut neposredno nakon oznake . Nakon dovršetka ove radnje kliknite gumb "Spremi promjene".

1. Provjerite testni kod na kontrolnoj stranici i kliknite gumb "Pokreni eksperiment". Imajte na umu da kod treba dodati samo na kontrolnu stranicu.

Prve rezultate testa moći ćete ocijeniti nekoliko dana nakon početka eksperimenta. Da biste pratili rezultate testa, odaberite odgovarajući eksperiment s popisa i idite na stranicu izvješća.

Ideje koje svakako treba testirati split testiranjem

Kao što je gore navedeno, A/B testiranje pomaže u povećanju učinkovitosti web stranica. Kako bi ova marketinška metoda donijela rezultate, marketinški stručnjak mora generirati ideje koje mogu pozitivno utjecati na određene metrike stranice. Ne možete samo uzeti bilo kakve promjene sa stropa, implementirati ih i testirati učinkovitost. Na primjer, mala je vjerojatnost da će se metrika web-lokacije promijeniti ako jednostavno odlučite promijeniti pozadinu stranice iz plave u svijetlozelenu.

Marketer mora vidjeti načine poboljšanja stranica i razumjeti zašto bi trebale funkcionirati. Split testiranje jednostavno pomaže provjeriti pretpostavke stručnjaka. No, svaki se trgovac ponekad nađe u situaciji da su sve ideje isprobane, ali da željeni rezultat nije postignut. Ako se nađete u ovoj situaciji, pokušajte implementirati sljedeće promjene i provjerite djeluju li:

• Uklonite dodatna polja iz obrasca za konverziju. Možda vaši potencijalni pretplatnici ne žele otkriti svoje podatke o putovnici.
• Dodajte riječi "besplatno" ili besplatno na stranicu za konverziju. Naravno, publika zna da je pretplata na newsletter besplatna. Ali ponekad riječ besplatno čini prava čuda, jer besplatni ocat je sladak.
• Objavite video na svojoj odredišnoj stranici. To obično ima pozitivan učinak na brojne metrike, uključujući stopu napuštanja početne stranice, stopu konverzije i vrijeme na stranici.
• Povećajte razdoblje u kojem korisnici mogu besplatno testirati vaš proizvod. Ovo je jednostavan i učinkovit način povećanja konverzija za tvrtke koje prodaju softver i web usluge.
• Eksperimentirajte s bojom gumba za pretvorbu. U nekim slučajevima, agresivni crveni gumbi dobro funkcioniraju. Međutim, ponekad smetaju korisnicima. Koristite A/B test kako biste pronašli najučinkovitiju boju gumba za svoju web stranicu.
• Obećajte bonuse za prvih 10 ili 100 kupaca (pretplatnika). Nemojte žuriti s uklanjanjem ovog obećanja čak ni nakon završetka promocije. Mnogi korisnici ne očekuju da će biti među sretnicima, ali ipak podsvjesno reagiraju na isplativu ponudu.

Kako i zašto testirati različite varijante stranica

Split testiranje omogućuje procjenu učinkovitosti promjena na web stranicama. Ova marketinška metoda ima primijenjenu vrijednost. Omogućuje vam da gotovo neprestano poboljšavate stranice poboljšavajući različite metrike.

Da biste testirali ovu ili onu promjenu, morate izraditi novu verziju stranice i spremiti staru. Obje opcije moraju imati različite URL-ove. Nakon toga trebate koristiti jedan od servisa za provođenje split testova, na primjer, Content Experiments. Evaluacija rezultata testa može se provesti najmanje dva tjedna nakon početka eksperimenta.

Mislite li da se isplati raditi A/B testiranje? U kojim slučajevima ova marketinška metoda ostaje gubljenje vremena?

Danas mnoge tvrtke i edukacijski centri usmjeravaju pozornost na online testiranje, osjetivši sve dobrobiti koje ovaj alat za provjeru znanja i vještina donosi. Stoga se postavlja sve više pitanja o tome kako se takvo testiranje provodi, koji se zahtjevi nameću softveru i kako kontrolirati objektivnost rezultata. U ovom ćemo članku razmotriti sva relevantna pitanja.

Što je online testiranje?

Svi se sjećamo studentskih vremena kada smo drhtavih ruku ulazili u učionicu i odgovarali na pitanja nastavnika tijekom ispita. Ljudi tijekom intervjua doživljavaju slične emocije, nastojeći pokazati svoju najbolju stranu i pokazati svoje znanje. Lako je vidjeti da oba postupka imaju mnogo toga zajedničkog i obično zahtijevaju osobnu prisutnost sudionika.

Ali što ako su studenti ili kandidati za posao u drugim gradovima? Plaćanje preseljenja osobama koje traže posao skup je pothvat. To vrijedi i za ljude koji studiraju na daljinu u centrima za obuku. Upravo za rješavanje ovih problema potreban je online sustav testiranja - način da se ispitaju i utvrde vještine osobe putem interneta. Sve što trebate je računalo i pristup internetu.

Obično se online testiranje koristi u različitim oblicima - to mogu biti upitnici, jezični i numerički testovi, apstraktno-logički zadaci. Ponekad je potrebno dati usmene odgovore na pitanja programa. Metode su uvijek različite i ovise o ciljevima koje organizacija postavlja.

Online testiranje za centre za obuku

Testiranje u centrima za obuku je alat koji omogućuje objektivnu procjenu znanja i vještina velikog broja polaznika uz minimalna vremenska i financijska sredstva. Online testovi su uvijek pozitivno percipirani i mogu se provoditi generalno ili prema individualnom rasporedu, kao vrsta samostalnog rada učenika.

Ovaj alat, izgrađen na temelju sustava za učenje na daljinu (LMS), stekao je veliku popularnost jer vam omogućuje značajno proširenje publike i prilagodbu testova za pojedinačne potrebe svakog centra za obuku. Prošli su dani papirologije povezane s testiranjem učenika.

Informacijske tehnologije danas pružaju širok raspon metoda i tehnika za organiziranje računalne provjere znanja. Online testiranje moguće je organizirati vrlo brzo, baš kada je najrelevantnije i traženije. A stručnjak će to moći učiniti sam, s minimalnim iskustvom u posjedovanju osobnog računala. Ti su razlozi doveli do popularnosti metode provjere znanja na daljinu u privatnim centrima za obuku i javnim sveučilištima.

Online procjena za HR odjele

Trenutno se profesionalno testiranje koristi kao prva faza odabira ne samo u mnogim velikim tvrtkama, već iu malim tvrtkama. Kandidati moraju ispuniti automatizirane online testove kako bi se utvrdilo ponašanje, motivacija, sposobnosti i znanje kandidata.

Ovaj oblik provjere također se može koristiti u procesu obuke korporativnog osoblja kao način praćenja napretka. Zahvaljujući ovom sustavu provjeravaju se stvarne kvalitete zaposlenika, njihove psihološke i profesionalne karakteristike, usklađenost sa zahtjevima radnih mjesta, kao i prepoznavanje potencijala stručnjaka.

Glavna prednost takvog testiranja može se nazvati pogodnošću organizacije i isplativosti. Ne zaboravite na objektivnost, jer pred računalom su svi jednaki. Kandidat za radno mjesto ili zaposlenik moći će se slobodno usredotočiti na odgovore, pokazujući pravu razinu znanja. Međutim, vrijedi napomenuti da takav test ne može u potpunosti zamijeniti osobnu komunikaciju i dati apsolutno točnu ideju o vještinama ispitanika.

Organizacija online testiranja

Za provođenje ispita na bazi tvrtke ili centra za obuku potrebno je implementirati odgovarajući modul u sustav učenja na daljinu. Najčešće se koriste komercijalna proširenja (moduli) za LMS Moodle - ovaj sustav je besplatan i instalacija na poslužitelj ne traje više od 10 minuta. Postoje i gotovi online servisi za provjeru znanja, ali ne možete dati potpunu garanciju objektivnosti sustava koje ne administrirate.

Važno je da su glavne funkcije (izrada, provođenje, provjera testova) kvalitetno implementirane u modul. Prije početka rada korisnik mora ispuniti prijavnicu, dobiti svoj individualni broj. Jedan od glavnih uvjeta za organizaciju testiranja je razvijen sustav vrednovanja rezultata. Obično se za točan odgovor daje jedan bod, a za netočan odgovor nula. Ali postoje i složeniji algoritmi bodovanja koji se koriste u psihološkim i drugim visoko specijaliziranim testovima.

Kako ocijeniti modul online ocjenjivanja?

Prilikom odabira rješenja za online testiranje prije svega morate obratiti pozornost na njegovu funkcionalnost i jednostavnost korištenja. Stoga se modulima obično nameću sljedeći zahtjevi:

• Pristup testiranju i administraciji putem uobičajenog web preglednika.
• Mogućnost dodavanja datoteka bilo kojeg formata s vezom na njih iz članaka.
• Visokokvalitetni sustav izvješćivanja temeljen na rezultatima ispitivanja s ispisom dijagrama.
• Sposobnost izrade psiholoških testova.
• Podrška za ipv6 standard.
• Prilagodljiv sustav ocjenjivanja za svaki test (rezultati, postoci).
• Korištenje medijskih sadržaja u ispitnim pitanjima.
• Prisutnost različitih vrsta pitanja: višestruki izbor, jedan izbor, proizvoljni unos.
• Automatska provjera testa.
• Zgodno i rusificirano sučelje.

Kontrola rezultata

Kod daljinskog oblika testiranja i pregleda ključni problem je kontrola pouzdanosti rezultata. Zato se poduzimaju posebne mjere kako bi se smanjila mogućnost prijevare i osigurala objektivnost testiranja:

• Pristup obrazovnim resursima ostvaruje se samo pomoću pojedinačnih zaporki ili identifikatora.
• Šifre i kodiranja koriste se za zaštitu testova od neovlaštenog pristupa izvana.
• Testne programe pokreću administratori samo uz lozinku.
• Korištenje dodatnih tehničkih sredstava (web kamera).
• Vremensko ograničenje za odgovor, korištenje nasumičnog miješanja opcija odgovora.
• Korištenje statističke zaštite tijekom testiranja je procjena ovih protokola s posebnim algoritmima koji vam omogućuju otkrivanje krivotvorina.

Ove i druge metode osmišljene su kako bi osigurale pouzdanost i točnost provedenog testiranja i već su dokazale svoju učinkovitost. No, naravno, glavno jamstvo je profesionalnost i uigran rad odgovornih djelatnika tijekom pregleda.

Kao što vidite, sustav online testiranja postao je široko rasprostranjen i već ga dugo implementiraju mnoge tvrtke, ne samo zato što je izuzetno isplativo, ekonomično rješenje, već i zato što vam omogućuje brzo organiziranje testiranja znanja, dobivanje najobjektivnijih rezultata .

Vjerujem da uz pomoć kvalitetnog sadržaja možete prestići konkurenciju, pridobiti povjerenje čitatelja i pretvoriti ga u zahvalnog klijenta.