Kako se testiranje odvija. Testovi u procesu razvoja softvera. Alati i infrastruktura

Ovaj članak pruža proširenu listu pitanja (i odgovora) koja potencijalni poslodavac može postaviti testerima softvera. Članak je strukturiran u formatu pitanje-odgovor, a posebno sadrži pitanja o automatizaciji testiranja, certifikaciji ISTQB i CSTE i još mnogo toga, što omogućava procjenu nivoa pripremljenosti. Nadamo se da ćete se nakon čitanja članka moći pripremiti za bilo kakve intervjue ili barem sigurnije odgovoriti na pitanja.

AT.Šta je dinamičko testiranje?

O. Ovo je testiranje izvršavanjem koda ili programa s različitim ulaznim vrijednostima i provjeravanjem rezultata.

AT.Šta je GUI testiranje?

O. GUI (Grafičko korisničko sučelje) Testiranje: Interfejs softvera se testira kako bi se osiguralo da ispunjava zahtjeve.

AT.Šta je formalno testiranje?

O. Verifikacija softvera, prema planu testiranja, procedurama testiranja i pratećoj dokumentaciji, uzimajući u obzir želje klijenta.

AT.Šta je testiranje zasnovano na riziku?

O. Određuju se najvažniji dijelovi sistema, zatim se utvrđuje redoslijed njihovog testiranja, zatim slijedi samo testiranje.

AT.Šta je rano testiranje?

O. Testiranje se radi što je ranije moguće kako bi se rano otkrili defekti u SDLC-u. Ovo omogućava brže otkrivanje i otklanjanje kvarova, uz uštedu troškova.

AT.Šta je iscrpno testiranje?

O. Testiranje funkcionalnosti korištenjem nevažećih i valjanih ulaznih podataka i preduvjeta.

AT.Šta je akumulacija defekata?

O.Čak i mali modul ili funkcionalnost može sadržavati brojne nedostatke, pa je potrebno posvetiti više pažnje testiranju funkcionalnosti.

AT.Šta je paradoks pesticida?

O. Ako postojeći testni slučajevi ne uspiju otkriti nedostatke, možda bi bilo vrijedno dodati/revidirati testne slučajeve kako bi se moglo pronaći više nedostataka.

AT.Šta je statičko testiranje?

O. Provjera koda ručno bez programa. U ovom procesu, problemi se pronalaze u kodu dok se pregleda i poredi sa zahtjevima.

AT.Šta je pozitivno testiranje?

O. Testiranje koje se izvodi na aplikaciji kako bi se utvrdilo koliko dobro sistem radi. Ovaj pristup je poznatiji kao "test prolaznosti".

AT.Šta je negativno testiranje?

O. Testiranje negativnih scenarija u softveru: da li sistem daje grešku kada treba ili ne.

AT.Šta je end-to-end testiranje?

O. Testiranje ukupne funkcionalnosti sistema, uključujući integraciju podataka u modulima.

AT.Šta je istraživačko testiranje?

O. Ovo je studija aplikacije kako biste dobili ideju o njenoj funkcionalnosti, dodajući (ili) mijenjajući postojeće testne slučajeve radi boljeg testiranja.

AT.Šta je testiranje majmuna?

O. Testiranje aplikacije bez ikakvog plana, testiranje selektivnih mjesta kako bi se pronašli neki složeni sistemski kvarovi, a zatim i nedostaci koji su do toga doveli.

AT.Šta je nefunkcionalno testiranje?

O. Validacija različitih nefunkcionalnih aspekata sistema, kao što su korisnički interfejsi, kompatibilnost, performanse itd.

O. Provjerava koliko je krajnjim korisnicima lako razumjeti aplikaciju i upravljati njome.

O. Provjerava se koliko su svi sigurnosni uvjeti implementirani u aplikaciji.

O. Analiza efikasnosti različitih karakteristika sistema - vrijeme odziva, ukupne performanse kako bi se ustanovilo koliko brzo sistem radi pod opterećenjem.

AT.Šta je testiranje opterećenja?

O. Analiza funkcionalnosti i performansi aplikacije u različitim uslovima.

AT.Šta stres-testiranje?

O. Provjera stabilnosti sistema u uslovima prekoračenja granica normalnog rada. Ili smanjenje sistemskih resursa i održavanje opterećenja na određenom nivou kako bi se provjerilo kako se aplikacije ponašaju.

AT.Šta je proces?

O. Proces je skup praksi za postizanje određenog cilja; može uključivati ​​alate, metode, materijale i ljude.

AT.Šta je upravljanje konfiguracijom?

O. Proces pronalaženja, organiziranja i kontrole promjena u razvoju softvera. Ili metodologija za praćenje i upravljanje projektom razvoja softvera.

O. Izrada:

• plan testiranja
• Test scenariji
• test slučajevima
• Izvođenje test slučajeva
• Provjeravam rezultate
• Prijavljivanje nedostataka
• Praćenje grešaka
• Defekti zatvaranja
• Testno izdanje

AT. Kako CMMI znači?

O. Integracija modela zrelosti sposobnosti (Model zrelosti razvojnih procesa).

AT.Šta je analiza programa?

O. Neformalna analiza izvornog koda programa u cilju identifikacije nedostataka i provjere tehnika programiranja.

O. Testiranje pojedinačnih programa, modula ili elemenata koda.

AT.Šta je testiranje nivoa integracije?

O. Testiranje relevantnih programa, modula (ili) jedinica koda.

AT.Šta je testiranje na nivou sistema?

O. Testiranje cjelokupnog računarskog sistema za sve module. Ova vrsta testiranja može uključivati ​​funkcionalno i strukturno testiranje.

AT.Šta je alfa testiranje?

O. Testiranje cijelog računarskog sistema prije faze korisničkog testiranja (UAT).

AT. Šta je UAT?

O. Testiranje računarskog sistema od strane klijenta kako bi se proverilo da li sistem ispunjava zahteve.

AT.Šta je plan testiranja?

O. Dokument koji opisuje obim, pristup, resurse i raspored testiranja, koji definiše testne stavke, pojedinačne delove funkcionalnosti, zadatke testa, ljude koji će izvoditi specifične testove i sve rizike koji zahtevaju dodatno planiranje.

AT.Šta je testna skripta?

O. Identifikacija svih mogućih testnih područja.

AT.Šta je ECP (Equivalence Class Partition)?

O. Metoda za generisanje test slučajeva.

AT.Šta je defekt?

O. Svaka nesavršenost u radu softvera. Ili kada očekivani rezultat ne odgovara stvarnom radu aplikacije.

AT.Šta je kritičnost?

O. Definiše nivo defekta sa funkcionalne tačke gledišta, tj. koliko je kvar kritičan za aplikaciju.

AT.Šta je prioritet?

O. Ukazuje na hitnost otklanjanja kvara.

AT.Šta je ponovno testiranje?

O. Ponovno testiranje aplikacije da se vidi jesu li nedostaci otklonjeni.

O. Provjera postojećih funkcionalnih i nefunkcionalnih područja nakon promjene pojedinih dijelova aplikacije ili dodavanja nove funkcionalnosti.

AT.Šta je testiranje oporavka?

O. Provjerava se sposobnost sistema da se nosi sa nekim neočekivanim situacijama.

AT.Šta je testiranje globalizacije?

O. Testira se sposobnost pokretanja aplikacije bez obzira na njeno geografsko i kulturno okruženje. Mogućnost promjene jezika, datuma, formata i valute se provjerava ako je aplikacija razvijena za korisnike iz više zemalja.

AT.Šta je testiranje lokalizacije?

O. Provjera je li aplikacija prikladna za određenu lokalnu grupu korisnika, kulturne i geografske uvjete.

AT.Šta je testiranje instalacije?

O. Provjerava se mogućnost uspješne instalacije softvera, u skladu sa instalacijskom dokumentacijom.

AT.Šta je testiranje uklanjanja?

O. Provjera mogućnosti deinstaliranja softvera.

AT.Šta je testiranje kompatibilnosti?

O. Provjerava se kompatibilnost aplikacije sa drugim softverom i hardverom.

AT.Šta je strategija testiranja?

O. Ovo je dio plana testiranja koji opisuje kako se vrši testiranje i koje vrste testiranja treba uraditi.

AT.Šta je test slučaj?

O. Testni slučaj je skup specifičnih koraka kojima se testira funkcionalnost sistema.

AT.Šta je testni slučaj validacije poslovnog procesa?

O. Ovaj test slučaj je napisan da testira određeni uslov ili zahtjev.

AT. Kako se utvrđuje dobar test?

O. Testni slučaj koji ima visok prioritet otkrivanja kvarova.

AT.Šta je testiranje slučajeva upotrebe?

O. Takvo testiranje utvrđuje da li je softver dizajniran u skladu sa slučajem upotrebe.

AT. Koja je starost defekta?

O. Vrijeme između datuma otkrivanja i datuma zatvaranja kvara.

AT.Šta je Showstopper defekt?

O. Defekt koji prisiljava da se proces testiranja zaustavi.

O. Ovo je posljednja faza STLC-a. Uprava priprema izvještaje o ispitivanju, objašnjava statistiku projekta na osnovu dostupnih podataka.

AT.Šta je Bucket Testing?

O. Bucket testiranje ili A/B testiranje. Najčešće proučavani učinak različitog dizajna je metrika za web stranice. Dvije verzije stranice rade na jednoj ili više web stranica kako bi se utvrdila razlika u klikovima.

AT. Koji su kriteriji početka i završetka testa?

O. Kriterijumi za pokretanje – Proces koji mora biti prisutan na početku sistema. To može biti:

• SRS-softver
• Slučaj upotrebe
• Testni slučaj
• Plan testiranja

Kriterijum ispunjenosti određuje spremnost aplikacije za puštanje u rad. To može biti:

• Izvještaj o ispitivanju
• metrika
• Izvještaj o analizi testa

AT.Šta je testiranje valute?

O. Ovo je složeno korisničko testiranje istovremenog pristupa aplikaciji, kako bi se provjerio utjecaj na kod, modul ili bazu podataka. Uglavnom otkriva zastoje u kodu.

O. Testiranje web aplikacije vrši se na web stranici kako bi se provjerilo učitavanje, performanse, sigurnost, funkcionalnost, sučelje, kompatibilnost i druga pitanja vezana za upotrebljivost.

O. Testiranje elemenata (ili bočno testiranje) omogućava vam da provjerite rad pojedinačnih modula izvornog koda.

AT.Šta je testiranje interfejsa?

O. Testiranje interfejsa provjerava interakciju pojedinačnih modula. Najčešće se koristi za testiranje korisničkog interfejsa GUI aplikacija.

AT.Šta je gama testiranje?

O. Gama testiranje se vrši kada je softver spreman za izdavanje, provjerava se usklađenost sa zahtjevima.

Značajan dio proizvodnog procesa oslanja se na testiranje softvera. Što je to i kako se takve aktivnosti provode, raspravljat ćemo u ovom članku.

Šta se zove testiranje?

Ovo se podrazumijeva kao proces tokom kojeg se softver izvršava kako bi se otkrila mjesta neispravnog funkcionisanja koda. Teški skupovi ulaznih podataka su namjerno konstruirani kako bi se postigao najbolji rezultat. Glavni cilj verifikatora je stvaranje optimalnih prilika za neuspjeh, iako se ponekad testiranje razvijenog programa može pojednostaviti na uobičajenu provjeru funkcionalnosti i performansi funkcija. Ovo štedi vrijeme, ali je često praćeno nepouzdanošću softvera, nezadovoljstvom korisnika itd.

Efikasnost

Koliko dobro i brzo se pronađu greške ima značajan uticaj na cenu i trajanje razvoja softvera traženog kvaliteta. Dakle, unatoč činjenici da testeri primaju plaće nekoliko puta manje od programera, cijena njihovih usluga obično doseže 30 - 40% cijene cijelog projekta. To je zbog broja osoblja, jer je traženje greške neobičan i prilično težak proces. Ali čak i ako je softver prošao solidan broj testova, nema 100% garancije da neće biti grešaka. Samo ne znamo kada će se pojaviti. Kako bi se potaknuli testeri da biraju vrste testiranja kod kojih je veća vjerovatnoća da će pronaći grešku, koriste se različita sredstva motivacije: moralna i materijalna.

Pristup poslu

Optimalna situacija je kada se implementiraju različiti mehanizmi kako bi se osiguralo da nema grešaka u softveru od samog početka. Da biste to učinili, potrebno je voditi računa o kompetentnom dizajnu arhitekture, jasnim projektnim zadacima, a također je važno ne vršiti prilagodbe u vezi kada su radovi na projektu već počeli. U ovom slučaju, tester je suočen sa zadatkom da pronađe i identificira mali broj grešaka koje ostaju u konačnom rezultatu. Ovo će uštedjeti i vrijeme i novac.

Šta je test?

Ovo je važan aspekt aktivnosti verifikatora, koji je neophodan za uspješnu identifikaciju nedostataka u programskom kodu. Oni su neophodni za kontrolu ispravnosti aplikacije. Šta je uključeno u test? Sastoji se od njihovih početnih podataka i vrijednosti koje treba dobiti kao rezultat (ili međuproizvod). Da bi se uspešnije identifikovali problemi i nedoslednosti, testove treba pisati nakon što je algoritam razvijen, ali programiranje nije počelo. Štaviše, poželjno je koristiti nekoliko pristupa prilikom izračunavanja potrebnih podataka. U ovom slučaju, vjerovatnoća pronalaska greške se povećava zbog činjenice da možete ispitati kod sa druge tačke gledišta. Sveobuhvatni testovi treba da obezbede proveru spoljašnjih efekata gotovog softverskog proizvoda, kao i algoritama njegovog rada. Od posebnog interesa su ograničavajući i degenerisani slučajevi. Tako se u praksi aktivnosti sa greškama često može naći da ciklus radi jednom manje ili više nego što je planirano. Važno je i testiranje računara, zahvaljujući kojem možete provjeriti usklađenost sa željenim rezultatom na različitim mašinama. Ovo je neophodno kako bi se osiguralo da softver može da radi na svim računarima. Pored toga, testiranje računara na kojem će se odvijati razvoj je važno kada se kreiraju multiplatformski razvoji.

Umetnost pronalaženja grešaka

Programi su često usmjereni na rad sa ogromnom količinom podataka. Da li ga zaista treba kreirati u potpunosti? br. Praksa "minijaturizacije" programa je postala široko rasprostranjena. U ovom slučaju postoji razumno smanjenje količine podataka u odnosu na ono što bi trebalo koristiti. Pogledajmo primjer: postoji program koji kreira matricu 50x50. Drugim riječima, morate ručno unijeti 2500 hiljada vrijednosti. Ovo je svakako moguće, ali će potrajati jako dugo. Ali za provjeru performansi, softverski proizvod dobija matricu čija je dimenzija 5x5. Da biste to učinili, morat ćete unijeti već 25 vrijednosti. Ako se u ovom slučaju promatra normalan rad bez grešaka, to znači da je sve u redu. Iako i ovdje postoje zamke, koje leže u činjenici da prilikom minijaturizacije dolazi do situacije uslijed koje promjene postaju implicitne i privremeno nestaju. To je također vrlo rijetko, ali se ipak dešava da se pojave nove greške.

Ostvareni ciljevi

Testiranje softvera nije lak zadatak zbog činjenice da se ovaj proces ne može u potpunosti formalizirati. Veliki programi gotovo nikada nemaju potrebnu preciznu referencu. Stoga se kao vodič koristi niz indirektnih podataka, koji, međutim, ne mogu u potpunosti odražavati karakteristike i funkcije razvoja softvera koji se otklanjaju greške. Štaviše, oni moraju biti odabrani na takav način da se tačan rezultat izračuna čak i prije testiranja softverskog proizvoda. Ako se to ne učini unaprijed, onda postoji iskušenje da se sve razmotri približno, a ako rezultat stroja padne u predviđeni raspon, tada će se donijeti pogrešna odluka da je sve ispravno.

Verifikacija u raznim uslovima

U pravilu se testiranje programa odvija u količinama koje su neophodne za minimalnu provjeru funkcionalnosti u ograničenim granicama. Djelatnost se obavlja uz promjenu parametara, kao i uslova njihovog rada. Proces testiranja može se podijeliti u tri faze:

• Provjerite pod normalnim uvjetima. U ovom slučaju se testira glavna funkcionalnost razvijenog softvera. Dobiveni rezultat bi trebao biti onakav kakav se očekivao.
• Provjera u vanrednim situacijama. U ovim slučajevima, to podrazumijeva dobivanje graničnih podataka koji mogu negativno utjecati na performanse kreiranog softvera. Primjer je rad sa izuzetno velikim ili malim brojevima, ili općenito, potpuno odsustvo primljenih informacija.
• Provjera izuzetaka. To uključuje korištenje podataka koji su izvan obrade. U takvim situacijama je jako loše kada ih softver percipira kao prikladne za proračun i daje uvjerljiv rezultat. Mora se voditi računa da se odbiju svi podaci koji se u takvim slučajevima ne mogu ispravno obraditi. Također je potrebno dati informacije korisniku o tome.

Testiranje softvera: vrste

Veoma je teško kreirati softver bez grešaka. Za to je potrebno dosta vremena. Da bi se dobio dobar proizvod, često se koriste dvije vrste testiranja: "Alpha" i "Beta". Šta su oni? Kada se govori o alfa testiranju, onda se misli na provjeru koju sam razvojni kadar provodi u “laboratorijskim” uvjetima. Ovo je posljednja faza verifikacije prije nego što se program distribuira krajnjim korisnicima. Stoga se programeri pokušavaju okrenuti do maksimuma. Radi lakšeg rada, podaci se mogu evidentirati kako bi se kreirala istorija problema i popravki. Beta testiranje se odnosi na isporuku softvera ograničenom broju korisnika kako bi mogli da upravljaju programom i identifikuju propuštene greške. Karakteristika u ovom slučaju je da se softver često koristi u svrhe koje nisu predviđene. Zbog toga će se otkriti kvarovi tamo gdje ništa ranije nije uočeno. Ovo je sasvim normalno i ne morate da brinete o tome.

Završetak testiranja

Ako su prethodne faze uspješno završene, ostaje provesti test prihvatanja. U ovom slučaju, to postaje samo formalnost. Tokom ove provjere potvrđuje se da nisu pronađeni nikakvi dodatni problemi i da se softver može pustiti na tržište. Što će konačni rezultat biti važniji, to pažljivije treba izvršiti provjeru. Potrebno je osigurati da su sve faze uspješno završene. Ovako izgleda cijeli proces testiranja. Uđimo sada u tehničke detalje i razgovarajmo o korisnim alatima kao što su programi za testiranje. Šta su i u kojim slučajevima se koriste?

Automatsko testiranje

Ranije se smatralo da je dinamička analiza razvijenog softvera pretežak pristup koji je neefikasan za otkrivanje nedostataka. Ali zbog povećanja složenosti i obima programa, pojavio se suprotan stav. Automatsko testiranje se koristi tamo gdje su dostupnost i sigurnost glavni prioriteti. I trebalo bi da budu za bilo kakav unos. Primjeri programa za koje je takvo testiranje prikladno uključuju sljedeće: mrežni protokoli, web server, sandboxing. Zatim ćemo pogledati nekoliko uzoraka koji se mogu koristiti za takve aktivnosti. Ako ste zainteresirani za besplatne programe za testiranje, onda je među njima prilično teško pronaći visokokvalitetne programe. Ali postoje hakovane "piratske" verzije dobro uspostavljenih projekata, pa se možete obratiti njihovim uslugama.

lavina

Ovaj alat pomaže u otkrivanju nedostataka testiranjem programa u načinu dinamičke analize. Prikuplja podatke i analizira putanju izvršenja razvijenog objekta. Tester ima skup ulaznih podataka koji uzrokuje grešku ili zaobilazi skup postojećih ograničenja. Zbog postojanja dobrog algoritma verifikacije, razvija se veliki broj mogućih situacija. Program prima različite skupove ulaznih podataka koji vam omogućavaju da simulirate značajan broj situacija i stvorite uslove u kojima je najveća vjerovatnoća da će doći do kvara. Važna prednost programa je upotreba heurističke metrike. Ako postoji problem, onda se sa velikom vjerovatnoćom pronađe greška aplikacije. Ali ovaj program ima ograničenja poput provjere samo jedne označene ulazne utičnice ili datoteke. Prilikom izvođenja operacije kao što je testiranje programa, sadržavat će detaljne informacije o prisutnosti problema s nul pokazivačima, beskonačnim petljama, netačnim adresama ili kvarovima zbog korištenja biblioteka. Naravno, ovo nije potpuna lista otkrivenih grešaka, već samo njihovi uobičajeni primjeri. Nažalost, programeri će morati popraviti nedostatke - automatski alati nisu prikladni za ove svrhe.

KLEE

Ovo je dobar program za testiranje memorije. Može presresti oko 50 sistemskih poziva i veliki broj virtuelnih procesa, izvršavajući tako paralelno i odvojeno. Ali općenito, program ne traži pojedinačna sumnjiva mjesta, već obrađuje maksimalnu moguću količinu koda i analizira korištene puteve prijenosa podataka. Zbog toga vrijeme testiranja programa ovisi o veličini objekta. Prilikom provjere, opklada se vrši na simbolične procese. Oni su jedan od mogućih načina za obavljanje zadataka u programu koji se testira. Zahvaljujući paralelnom radu, možete analizirati veliki broj opcija za rad aplikacije koja se proučava. Za svaku putanju, nakon završetka njenog testiranja, pohranjuju se skupovi ulaznih podataka od kojih je test započeo. Treba napomenuti da testiranje programa koji koriste KLEE pomaže u identifikaciji velikog broja odstupanja koja ne bi trebala biti. Može pronaći probleme čak i u aplikacijama koje su se razvijale decenijama.

Testiranje upotrebljivosti pomaže u povećanju konverzije stranice ili online trgovine, pronalaženju skrivenih namjera i želja korisnika i donošenju odluke o razvoju dodatne funkcionalnosti. Ovo nije jedina metoda istraživanja lokacije. Donesite odluku o izboru metode, na osnovu zadataka. Ako je potrebno

pronađite nedostatke u sučelju ili provjerite pogodnost korisničkih scenarija, testirajte upotrebljivost stranice. Kada želite da uporedite konverziju dve opcije sletanja, bolje je uraditi A/B test.

Ciljevi testiranja su različiti za svaku kompaniju: neko testira prototip ili koncept, neko testira hipoteze, neko istražuje korisničke scenarije, tako da su metode i metrike različite. Ali pravila za provođenje, faze pripreme i skup prateće dokumentacije su slična. Pripremljena detaljna uputstva kako provesti testiranje upotrebljivosti stranice.

Gdje početi

Ciljevi i ciljevi. Postavite glavni cilj testiranja, koji će odrediti dalji pravac: zadaci, zadaci, metode i izbor ispitanika. Na osnovu cilja formulirajte problem ili zadatak. Ovo može biti testiranje razvijenog proizvoda ili potraga za nedostacima nakon redizajna. Na primjer, kompanija je promijenila dizajn narudžbenice, nakon čega se konverzija smanjila. Uz pomoć testiranja, istraživači će shvatiti zašto se to dogodilo i šta da rade.

Hipoteze. Postavite hipotezu koju će studija potvrditi ili opovrgnuti. Recimo da prilikom rezervacije hotela korisnici naruče aerodromski transfer u posebnoj poruci bez korištenja posebne narudžbenice. U ovom slučaju, varijanta hipoteze može biti: „korisnici ne razumiju da je ovo obrazac za naručivanje prijenosa ili smatraju da ga je teško ispuniti“.

Scenariji. Zasebno testirajte scenarije ponašanja korisnika - kako ljudi stupaju u interakciju s web-mjestom. Svaka stranica ima svoju skriptu. Da biste ga kreirali, odgovorite na četiri pitanja:

1. Odakle je došao korisnik?
2. Šta bi trebao vidjeti na ovoj stranici?
3. U koju svrhu je došao na stranicu?
4. Kako treba završiti posjetu?

Korisnička skripta ne mora biti duga i komplikovana. Ponekad što je interakcija kraća, to je konverzija bolja. Na primjer, za posao koji isporučuje kertridže, punjače, sočiva važna je brzina, pa je poželjno da korisnik odmah shvati da mu usluga dostave odgovara.

Kada različite grupe posjetitelja dođu na stranicu, razvijte vlastite scenarije ponašanja za svaku grupu. Recimo da stranica za veleprodaju i maloprodaju ima tri grupe kupaca: velike veletrgovce, male veletrgovce i kupce na malo. Napravite zasebne odjeljke za svaku grupu i napišite scenarije na osnovu odgovora na pitanja iz uzorka.

Šta se može izmjeriti

Kvantitativno istraživanje uvijek konkretni i fokusirani, usmjereni na dobijanje brojčanih pokazatelja. Ovo može biti vrijeme potrebno za dovršetak aktivnosti na stranici ili postotak ispitanika koji su završili zadatak. Da/ne rezultati se također mogu predstaviti brojevima. Na primjer, dovedite ih u binarni sistem: da - 1 bod, ne - 0 bodova.

Često se u testiranju koristi metoda Jacob Nielsen, koja rezultate prevodi u postotke i izračunava postotak uspjeha. Preporučujemo da pojednostavite skalu ocjenjivanja i koristite tri opcije:

• samostalno - 100%;
• uradićemo to uz pomoć moderatora - 50%;
• nije uspjelo - 0%.

Da biste utvrdili koliko često se korisnici susreću s problemima, izračunajte njihovu učestalost. Da biste to učinili, prebrojite broj ispitanika koji nisu mogli izvršiti zadatak zbog istog problema. Dajte učesnicima testa iste zadatke, tada će indikator frekvencije biti pouzdan.

Kvalitativno istraživanje izaberite da dobijete mnogo različitih komentara, razumete način razmišljanja korisnika, pronađite skrivene probleme. Testiranje se zasniva na otvorenim i fleksibilnim pitanjima. U tu svrhu se vodi intervju koji pokazuje stepen zadovoljstva ispitanika. Postoji mnogo metoda i upitnika za provođenje kvalitativnog istraživanja.

Na primjer, model Kano, koji je razvio japanski naučnik. Uz njegovu pomoć saznajte ne samo zadovoljstvo trenutnom verzijom stranice, već i očekivanja korisnika. Svi odgovori ispitanika se konvertuju u bodove i rangiraju na skali očekivanja od "Sviđa mi se" i "Očekujem" do "Ne sviđa mi se i ne mogu da prihvatim". Kao rezultat toga, istraživači prave grafikon koji pokazuje šta tačno publika misli:

• uzeti zdravo za gotovo;
• konkurentska prednost stranice;
• karakteristike koje ih oduševljavaju;
• nevažno.

Na osnovu rezultata kvalitativnog istraživanja potrebno je ispravno interpretirati dobijene rezultate. Možda će ispitanici dati mnogo zanimljivih prijedloga, ali ih ocijeniti u smislu tehničke implementacije i troškova razvoja. U svakom slučaju, pokušajte da shvatite tačno koje potrebe pokriva njihov prijedlog. Ovo je neophodno kako biste pronašli način da poboljšate upotrebljivost sajta koji odgovara vašoj kompaniji.

Koju metodu odabrati

Opservacija- najjednostavniji metod: ispitanik radi kao i obično, moderator posmatra i analizira njegove postupke. Na kraju, ispitanik popunjava upitnik i iznosi svoje utiske o sajtu. Metoda je dobra jer korisnik prirodno komunicira sa sajtom, nije pod pritiskom okolnih okolnosti.

Ali postoji i nedostatak: ispitanik ispunjava upitnik nakon što je završio test, pa se možda neće sjetiti zašto je to uradio na ovaj ili onaj način. To bi onda dovelo do pogrešnog tumačenja radnji tuženika.

Razmišljam naglas. Ovu popularnu metodu predložio je Jakob Nielsen. Njegova suština leži u činjenici da korisnik sve svoje radnje izgovara naglas. Međutim, ovakvim ponašanjem ispitanici počinju da promišljenije pristupaju izvršavanju zadataka, te se gubi dio prirodnosti.

Dijalog sa moderatorom. Metoda je najpogodnija za provođenje kvalitativnog istraživanja prototipova i koncepata. Tokom testiranja, ispitanici aktivno komuniciraju sa moderatorom, postavljaju mu pitanja i odmah daju povratnu informaciju.

metoda senke. Istovremeno rade tri učesnika: ispitanik, moderator i ekspert. Ispitanik slobodno i samostalno obavlja zadatke, moderator popravlja, stručnjak komentariše radnje ispitanika.

Retrospektiva. To je metoda koja kombinuje posmatranje i "razmišljanje naglas". Prvo ispitanik obavlja zadatke, a zatim gleda video snimak svojih radnji i komentariše ih. Glavni nedostatak je značajno povećanje vremena testiranja.

Kako testirati

Lični kontakt. Neka moderator uspostavi prijateljski kontakt sa ispitanicima. Razgovarajte o testiranju i njegovim ciljevima, ukažite učesniku da će njegovi odgovori pomoći kompaniji da poboljša proizvod. Provedite kratak brifing, u kojem objasnite suštinu zadataka, izrazite proceduru testiranja.

Dokumentacija. Potpišite sa ispitanikom potrebne dokumente: ugovor o obradi ličnih podataka i ugovor o neotkrivanju rezultata ispitivanja, ako je potrebno. Kada djeca učestvuju u testiranju, potpišite s roditeljima dokument kojim se potvrđuje njihov pristanak za učešće u istraživanju.

probno testiranje neophodno kada je proizvod složen ili zadaci mogu izazvati poteškoće za ispitanike. Na taj način će se upoznati sa sajtom i razumjeti zahtjeve. Kada imate veliku i dugotrajnu studiju, uradite probni test prije glavnog. Tako ćete pronaći nedostatke u pripremi i otkloniti ih.

Zapamti

Interakcija korisnika sa upotrebljivošću svake stranice mora biti efikasna, produktivna i zadovoljavajuća. Nastojte ispuniti očekivanja korisnika. Da biste to učinili, testirajte prototipove, trenutni ili novi dizajn stranice. Provedite testiranje kada se pojave problemi ili da poboljšate trenutne performanse.

Materijal je pripremila Svetlana Sirvida-Llorente.

Kao što znate, u poslovanju ne postoje statična stanja. Kompanija se mora stalno razvijati kako bi zadovoljila trenutnu situaciju na tržištu, potrebe kupaca i vlasnika. Nakon zaustavljanja razvoja, projekat odmah počinje da degradira. Na primjer, ne možete kreirati internetsku trgovinu, dodati 200 proizvoda na stranicu i ostvariti mjesečni profit od 100 hiljada rubalja. Kako profitabilnost projekta barem ne bi pala, poduzetnik treba stalno širiti asortiman, povećavati doseg publike kroz oglašavanje i objavljivanje korisnih sadržaja, poboljšavati metriku ponašanja stranice i stopu konverzije.

Jedan od alata za razvoj web projekata je A/B testiranje. Ova metoda vam omogućava da izmjerite preferencije publike i utječete na ključne pokazatelje učinka web lokacije, uključujući konverzije, vrijeme provedeno na stranici, prosječnu vrijednost narudžbe, stopu posete samo jedne stranice i druge metrike. U ovom članku ćete naučiti kako pravilno provesti A/B testiranje.

Šta je A/B testiranje

A/B testiranje je marketinška tehnika koja se koristi za mjerenje i upravljanje performansama web stranice. Ova metoda se još naziva i split testiranje (od engleskog split testing - odvojeno testiranje).

A/B testiranje vam omogućava da procijenite kvantitativne performanse dvije verzije web stranice, kao i da ih međusobno uporedite. Split testiranje također pomaže u procjeni učinkovitosti promjena stranica, kao što je dodavanje novih elemenata dizajna ili poziva na akciju. Praktično značenje upotrebe ove metode je pronaći i implementirati komponente stranice koje povećavaju njenu efikasnost. Obratite pažnju još jednom, A/B testiranje je primijenjena marketinška metoda kojom možete utjecati na konverziju, stimulirati prodaju i povećati profitabilnost web projekta.

Split testiranje počinje procjenom metrike postojeće web stranice (A, kontrolna stranica) i traženjem načina da se ona poboljša. Na primjer, kreirali ste internetsku trgovinu. Zamislite odredišnu stranicu ove trgovine sa stopom konverzije od 2%. Trgovac želi povećati ovu brojku na 4%, pa planira promjene koje će pomoći u rješavanju ovog problema.

Recimo da stručnjak misli da će promjena boje dugmeta za konverziju iz neutralno plave u agresivnu crvenu učiniti vidljivijom. Kako bi vidio da li to rezultira većom prodajom i više konverzija, marketer kreira poboljšanu verziju web stranice (B, nova stranica).

Uz pomoć alata za split testiranje, stručnjak nasumično dijeli promet između stranica A i B na dva približno jednaka dijela. Relativno govoreći, polovina posetilaca dolazi na stranicu A, a druga polovina na stranicu B. U isto vreme, marketer ima na umu izvore saobraćaja. Da bi se osigurala valjanost i objektivnost testiranja, potrebno je na stranice A i B usmjeriti 50% posjetitelja koji su na stranicu došli sa društvenih mreža, prirodne pretrage, kontekstualnog oglašavanja itd.

Nakon što prikupi dovoljno informacija, marketer ocjenjuje rezultate testa. Kao što je gore navedeno, stopa konverzije stranice A je 2%. Ako je bilo 2,5% na stranici B, onda je promena dugmeta za konverziju iz plavog u crvenu zaista povećala efikasnost sletanja. Međutim, stopa konverzije nije dostigla željenih 4%. Stoga marketer dalje traži načine da poboljša stranicu putem A/B testiranja. U ovom slučaju, stranica sa crvenim dugmetom za konverziju će delovati kao kontrolna stranica.

Šta testirati

Kao što je gore navedeno, split testiranje je primijenjena metoda koja vam omogućava da utječete na različite metrike web stranice. Stoga, izbor predmeta testiranja ovisi o ciljevima i ciljevima koje marketer sebi postavlja.

Na primjer, ako je stopa odbijanja jedne odredišne ​​stranice 99%, a većina posjetitelja napusti odredišnu stranicu u roku od 2-3 sekunde nakon slijetanja, vrijedi razmisliti o promjeni vizualnih komponenti stranice. Uz pomoć A/B testa, marketer može pronaći najbolju opciju izgleda stranice, odabrati atraktivnu shemu boja i slike i koristiti čitljiv font. A ako se marketer suoči sa zadatkom povećanja broja pretplata, može pokušati promijeniti odgovarajući obrazac konverzije. Podijeljeni test pomoći će stručnjaku da odabere optimalnu boju gumba, najbolju opciju teksta, broj polja u obrascu za pretplatu ili njegovu lokaciju.

Marketeri najčešće testiraju sljedeće elemente web stranica:

• Tekst i izgled dugmadi za konverziju, kao i njihova lokacija.
• Naziv i opis proizvoda.
• Dimenzije, izgled i lokacija obrasca za konverziju.
• Izgled i dizajn stranice.
• Cijena proizvoda i ostali elementi poslovne ponude.
• Slike proizvoda i druge ilustracije.
• Količina teksta na stranici.

Koje alate za split testiranje koristiti

Da bi izvršio A/B testiranje, marketer treba da koristi jednu od specijalizovanih usluga. Najpopularniji od njih su Google Content Experiments, koji je dostupan korisnicima analitičkog sistema. Do sredine 2012. ovaj alat se zvao Google Website Optimizer. Pomoću njega možete testirati različite elemente stranice, uključujući naslove, fontove, dugmad i obrasce za konverziju, slike i još mnogo toga. Usluga Content Experiments ostaje besplatna, što je jedna od njenih glavnih prednosti. Njegovi nedostaci uključuju potrebu za radom sa HTML kodom.

Za split testiranje možete koristiti i sljedeće ruske i strane alate:

• Optimizely je najpopularnija plaćena usluga A/B testiranja na internetu. Cijena korištenja se kreće od 19 do 399 dolara ovisno o vrsti pretplate. Prednosti ove usluge uključuju mogućnost kreiranja eksperimenata u vizualnom sučelju, što trgovca štedi od potrebe da radi sa HTML kodom stranica koje se testiraju.
• RealRoi.ru je još jedna domaća usluga koja vam omogućava provođenje A / B testiranja. Među glavnim prednostima može se izdvojiti da je besplatan i vrlo jednostavan za korištenje. Kako to radi detaljno možete pogledati u sljedećem videu:
• Visual Website Optimizer je plaćena usluga koja vam omogućava da testirate različite elemente stranice. Da bi koristio ovaj alat, marketer mora biti upoznat sa HTML kodom. Cijene pretplate se kreću od 49 do 249 dolara.
• Unbounce je usluga dizajnirana za kreiranje i optimizaciju odredišnih stranica. Konkretno, omogućava vam da izvršite A/B testiranje. Cijena korištenja je od 50 do 500 dolara mjesečno. Domaći analog - LPGgenerator. Ova usluga vam omogućava da testirate samo stranice kreirane njome.

Kako A/B testirati sa sadržajnim eksperimentima

Usluga Google Analytics Experiments vam omogućava da istovremeno testirate efikasnost pet varijacija stranice. Koristeći ga, trgovci mogu izvršiti A/B/N testiranje, koje se razlikuje od standardnih A/B eksperimenata po mogućnosti praćenja performansi nekoliko novih stranica, od kojih svaka može imati nekoliko novih elemenata.

Marketer ima mogućnost da samostalno odredi udio prometa uključenog u testiranje. Minimalno trajanje testa je dvije sedmice, maksimalno je ograničeno na tri mjeseca. Specijalista može dobiti podatke o rezultatima testa putem e-pošte.

Da biste podijelili test s eksperimentima sa sadržajem, slijedite ove korake:

1. Prijavite se na svoj Google Analytics račun, odaberite web lokaciju na kojoj želite testirati performanse. Nakon toga odaberite meni "Ponašanje - Eksperimenti".

1. Unesite URL stranice koju ćete testirati u odgovarajući obrazac i kliknite na dugme "Započni eksperiment".

1. Odaberite naziv i svrhu testiranja. Odredite procenat saobraćaja koji učestvuje u eksperimentu. Odlučite želite li primati obavještenja o napretku testa putem e-pošte. Kliknite na dugme "Dalje" nakon što odaberete željene opcije.

1. Odaberite varijacije stranice za testiranje. Dodajte ih u odgovarajuće obrasce i kliknite na Next.

1. Kreirajte kôd eksperimenta. Ako ne znate kako da ga ugradite na stranicu, odaberite opciju "Pošalji kod webmasteru". Ako se ne oznojite na spomen HTML koda, odaberite opciju "Ručno ubacite kod".

Odaberite "Ručno ubacite kod" ako znate kako rukovati HTML kodom

1. Kopirajte kod označen na prethodnoj ilustraciji i zalijepite ga u izvorni kod kontrolne stranice. Šifra se mora umetnuti direktno iza oznake . Nakon što završite ovu radnju, kliknite na dugme "Sačuvaj promjene".

1. Provjerite postoji li kod za testiranje na kontrolnoj stranici i kliknite na dugme "Pokreni eksperiment". Imajte na umu da kod treba dodati samo na kontrolnu stranicu.

Prve rezultate testa moći ćete procijeniti za nekoliko dana nakon početka eksperimenta. Da biste pratili rezultate testiranja, izaberite odgovarajući eksperiment sa liste i idite na stranicu sa izveštajima.

Ideje koje svakako treba testirati split testiranjem

Kao što je gore navedeno, A/B testiranje pomaže u povećanju efikasnosti web stranica. Da bi ova marketinška metoda donijela rezultate, marketer mora generirati ideje koje mogu pozitivno utjecati na određene metrike stranice. Ne možete jednostavno uzeti bilo kakve promjene sa plafona, implementirati ih i testirati efikasnost. Na primjer, malo je vjerovatno da će se metrika stranice promijeniti ako jednostavno odlučite promijeniti pozadinu stranice iz plave u svijetlozelenu.

Marketinški stručnjak mora vidjeti načine za poboljšanje stranica i razumjeti zašto bi one trebale funkcionirati. Split testiranje jednostavno pomaže da se testiraju pretpostavke stručnjaka. Međutim, svaki se marketar ponekad nađe u situaciji da su sve ideje testirane, ali željeni rezultat nije postignut. Ako se nađete u ovoj situaciji, pokušajte implementirati sljedeće promjene i provjerite funkcioniraju li:

• Uklonite dodatna polja iz obrasca za konverziju. Možda vaši potencijalni pretplatnici ne žele otkriti podatke o svom pasošu.
• Dodajte riječi "besplatno" ili besplatno na stranicu za konverziju. Naravno, publika zna da je pretplata na newsletter besplatna. Ali ponekad riječ besplatno čini prava čuda, jer je besplatno sirće slatko.
• Postavite video na svoju odredišnu stranicu. Ovo obično ima pozitivan učinak na brojne metrike, uključujući stopu posete samo jedne stranice, stopu konverzije i vrijeme na stranici.
• Povećajte period tokom kojeg korisnici mogu besplatno testirati vaš proizvod. Ovo je jednostavan i efikasan način povećanja konverzija za kompanije koje prodaju softver i web usluge.
• Eksperimentirajte s bojom dugmadi za konverziju. U nekim slučajevima, agresivna crvena dugmad dobro rade. Međutim, ponekad one nerviraju korisnike. Koristite A/B test da pronađete najefikasniju boju dugmadi za vašu web stranicu.
• Obećajte bonuse za prvih 10 ili 100 kupaca (pretplatnika). Nemojte žuriti da uklonite ovo obećanje čak ni nakon završetka promocije. Mnogi korisnici ne očekuju da će biti među sretnicima, ali ipak podsvjesno reagiraju na isplativu ponudu.

Kako i zašto testirati različite varijacije stranica

Split testiranje vam omogućava da procenite efikasnost promena na web stranicama. Ova marketinška metoda ima primijenjenu vrijednost. Omogućava vam da gotovo konstantno poboljšavate stranice poboljšavajući različite metrike.

Da biste testirali ovu ili onu promjenu, potrebno je kreirati novu verziju stranice i sačuvati staru. Obje opcije moraju imati različite URL-ove. Nakon toga, trebali biste koristiti jedan od servisa za provođenje split testova, na primjer, Content Experiments. Procjena rezultata ispitivanja može se izvršiti najmanje dvije sedmice nakon početka eksperimenta.

Mislite li da se isplati raditi A/B testiranje? U kojim slučajevima ova marketinška metoda ostaje gubljenje vremena?

Danas mnoge kompanije i centri za obuku usmjeravaju pažnju na online testiranje, osjetivši sve prednosti koje ovaj alat za provjeru znanja i vještina donosi. Stoga se sve više postavlja pitanja o tome kako se takvo testiranje provodi, koji zahtjevi se nameću softveru i kako kontrolirati objektivnost rezultata. U ovom članku ćemo razmotriti sva relevantna pitanja.

Šta je online testiranje?

Svi se sjećamo studentskih vremena kada smo drhtavih ruku ulazili u učionicu i na ispitu odgovarali na pitanja nastavnika. Ljudi doživljavaju slične emocije tokom intervjua, pokušavajući da pokažu svoju najbolju stranu i pokažu svoje znanje. Lako je uočiti da oba postupka imaju mnogo zajedničkog i obično zahtijevaju lično prisustvo učesnika.

Ali šta ako su studenti ili kandidati za posao u drugim gradovima? Plaćanje preseljenja osobama koje traže posao je skup poduhvat. Ovo važi i za ljude koji studiraju na daljinu u centrima za obuku. Za rješavanje ovih problema potreban je sistem online testiranja – način da se ispitaju i utvrde vještine osobe putem interneta. Sve što vam treba je kompjuter i pristup internetu.

Obično se online testiranje koristi u različitim oblicima - to mogu biti upitnici, jezični i numerički testovi, apstraktno-logički zadaci. Ponekad je potrebno da usmeno odgovorite na pitanja iz programa. Metode su uvijek različite i zavise od ciljeva koje organizacija postavlja.

Online testiranje za trening centre

Testiranje u centrima za obuku je alat koji omogućava objektivnu procjenu znanja i vještina velikog broja studenata uz minimalno vrijeme i finansijska sredstva. Online testovi se uvijek pozitivno percipiraju i mogu se izvoditi generalno ili po individualnom rasporedu, kao vrsta samostalnog rada učenika.

Ovaj alat, izgrađen na bazi sistema učenja na daljinu (LMS), stekao je veliku popularnost, jer vam omogućava da značajno proširite publiku i prilagodite testove individualnim potrebama svakog centra za obuku. Prošlo je vrijeme papirologije povezanog s testiranjem učenika.

Informacione tehnologije danas pružaju širok spektar metoda i tehnika za organizovanje kompjuterskog testiranja znanja. Online testiranje se može organizirati vrlo brzo, baš kada je najrelevantnije i traženo. A stručnjak će to moći učiniti sam, s minimalnim iskustvom u posjedovanju računara. Ovi razlozi doveli su do popularnosti daljinske metode provjere znanja u privatnim centrima za obuku i javnim univerzitetima.

Online procjena za HR odjele

Trenutno se profesionalno testiranje koristi kao prva faza selekcije ne samo u mnogim velikim kompanijama, već iu malim firmama. Kandidati moraju ispuniti automatizirane online testove kako bi utvrdili ponašanje, motivaciju, sposobnosti i znanje kandidata.

Ovaj oblik verifikacije se takođe može koristiti u procesu obuke korporativnog osoblja kao način praćenja napretka. Zahvaljujući ovom sistemu provjeravaju se stvarni kvaliteti zaposlenih, njihove psihološke i profesionalne karakteristike, usklađenost sa zahtjevima radnih mjesta, kao i utvrđivanje potencijala stručnjaka.

Glavna prednost takvog testiranja može se nazvati pogodnost organizacije i isplativost. Ne zaboravite na objektivnost, jer su svi jednaki pred kompjuterom. Kandidat za poziciju ili zaposlenik će se moći slobodno fokusirati na odgovore, pokazujući pravi nivo znanja. Međutim, vrijedno je napomenuti da takav test ne može u potpunosti zamijeniti ličnu komunikaciju i dati apsolutno točnu predstavu o vještinama ispitanika.

Organizacija online testiranja

Za obavljanje ispita na bazi preduzeća ili centra za obuku potrebno je ugraditi odgovarajući modul u sistem učenja na daljinu. Najčešće se koriste komercijalne ekstenzije (moduli) za LMS Moodle - ovaj sistem je besplatan i instalacija na serveru ne traje više od 10 minuta. Postoje i gotovi onlajn servisi za testiranje znanja, ali ne možete dati punu garanciju za objektivnost sistema kojima ne administrirate.

Važno je da su glavne funkcije (kreiranje, izvođenje, provjera testova) implementirane u modulu kvalitetno. Prije početka rada korisnik mora popuniti formular za registraciju, dobiti svoj individualni broj. Jedan od osnovnih zahtjeva za organizaciju testiranja je razvijen sistem za evaluaciju rezultata. Obično se za tačan odgovor daje jedan bod, a za netačan nula. Ali postoje i složeniji algoritmi za bodovanje koji se koriste u psihološkim i drugim visokospecijaliziranim testovima.

Kako ocijeniti modul Online Assessment?

Prilikom odabira rješenja za online testiranje, prije svega, morate obratiti pažnju na njegovu funkcionalnost i jednostavnost korištenja. Stoga se modulima obično nameću sljedeći zahtjevi:

• Pristup testiranju i administraciji putem redovnog web pretraživača.
• Mogućnost dodavanja datoteka bilo kojeg formata s vezom na njih iz članaka.
• Visokokvalitetan sistem izveštavanja zasnovan na rezultatima testova sa izlazom dijagrama.
• Sposobnost kreiranja psiholoških testova.
• Podrška za ipv6 standard.
• Prilagodljiv sistem ocjenjivanja za svaki test (bodovi, procenti).
• Upotreba medijskog sadržaja u testnim pitanjima.
• Prisustvo različitih vrsta pitanja: višestruki izbor, jedan izbor, proizvoljan unos.
• Automatska verifikacija testa.
• Zgodno i rusificirano sučelje.

Kontrola rezultata

Kod daljinskog oblika ispitivanja i pregleda, ključni problem je kontrola pouzdanosti rezultata. Zato se poduzimaju posebne mjere kako bi se smanjila mogućnost prijevare i osigurala objektivnost testiranja:

• Pristup obrazovnim resursima se ostvaruje samo pomoću pojedinačnih lozinki ili identifikatora.
• Šifre i kodiranja se koriste za zaštitu testova od neovlaštenog pristupa izvana.
• Testne programe pokreću administratori samo sa lozinkom.
• Korištenje dodatnih tehničkih sredstava (web kamere).
• Vremensko ograničenje za odgovor, korištenje nasumičnog miješanja opcija odgovora.
• Upotreba statističke zaštite tokom testiranja je evaluacija ovih protokola sa posebnim algoritmima koji vam omogućavaju da otkrijete krivotvorenje.

Ove i druge metode osmišljene su da osiguraju pouzdanost i tačnost provedenih ispitivanja i već su dokazale svoju efikasnost. Ali naravno, glavna garancija je profesionalizam i dobro koordiniran rad odgovornih radnika tokom pregleda.

Kao što vidite, sistem online testiranja je postao široko rasprostranjen i dugo ga implementiraju mnoge kompanije, ne samo zato što je izuzetno profitabilno, ekonomično rješenje, već i zato što vam omogućava da brzo organizirate testiranje znanja, postižući najobjektivnije rezultate. .

Vjerujem da uz pomoć kvalitetnog sadržaja možete prestići konkurenciju, pridobiti povjerenje čitatelja i pretvoriti ga u zahvalnog klijenta.