Analityka Z Social MediaSocial Media

Zdefiniuj właściwy pomiar





Każda firma ma wiele istniejących pomiarów, które prowadzą do danych. Wcześniej omawialiśmy, które dane i ile z nich powinniśmy wykorzystać. Ale nie wszystkie z tych danych mogą pomóc odpowiedzieć na pytanie, które zdefiniowaliśmy w części 8. Dlatego potrzebujemy nowych wskaźników do łączenia i agregowania różnych zestawów danych w celu uzyskania nowych informacji. Jest to podstawowe zadanie każdej metryki. Nowe pomiary lub nowe pomiary stały się ważne w świecie, który teraz generuje coraz więcej nieuporządkowanych danych. Nieustrukturyzowane dane są trudne do skorelowania i trudne do wdrożenia w modelach matematycznych, z wyjątkiem sytuacji, gdy metryka lub pomiar agreguje te dane do kilku punktów danych. Przyjrzymy się typowym pułapkom w tworzeniu miar i pomiarów. Tworzenie metryk jest łatwe, ale to nie znaczy, że mają sens. Zacznijmy od świecącego przykładu dobrego pomiaru spełniającego właściwe pytanie biznesowe. Google był daleki od bycia pierwszą wyszukiwarką. W rzeczywistości, w momencie premiery w 1998 r. miał wielu konkurentów, a boom w korzystaniu z wyszukiwarek internetowych był w toku. Jaki więc pojedynczy czynnik pomógł tej firmie, założonej przez dwóch studentów ze Stanford w garażu, stać się firmą o kapitale rynkowym prawie 350 miliardów dolarów?

Pomiar

Tym, co odróżnia Google od konkurencji, jest wskaźnik PageRank. Ten pomiar był nowy, mimo że został zbudowany na danych, które każdy miał. Przeanalizował znaczenie strony na podstawie liczby innych stron z nią połączonych oraz znaczenia tych stron. Było to przełomowe rozwiązanie w porównaniu z innymi metodami wyszukiwania; określało Twoją pozycję w wynikach wyszukiwania Google i odniósł ogromny sukces. Ale nie tylko pomiar sprawił, że Google odniósł sukces, ale odpowiedni pomiar dla właściwego pytania. Google odniósł sukces, ponieważ zaprojektował miarę dla pytania, które zadawali wszyscy, w tym konkurujący dostawcy wyszukiwarek. Google skoncentrowało się na: "Czego szuka użytkownik wyszukiwania?" Dla tego pytania nie było jeszcze żadnych danych. Konkurencyjne wyszukiwarki zwykły być dumne z tego, że mają najczęściej indeksowane strony. W ten sposób Google zdefiniował wskaźnik, który mierzył, jak trafna była strona dla określonego zestawu słów kluczowych w wyszukiwarce. Google wiedział, że dla wielu użytkowników przeglądanie wszystkich stron w sieci WWW nie jest ważne, o ile Google znalazł jedną stronę, której szukali. Wartość Google to pomost między miliardami zaindeksowanych stron nieustrukturyzowanych treści a odpowiednią odpowiedzią na pytanie użytkownika.

Związek przyczynowy lub korelacja

Nowy sposób rankingu był lepszy, ponieważ naprawdę korelował z trafniejszymi wynikami niż konkurencja.

Błąd

Nowa metryka była "twardą" metryką i nie używała prawdopodobieństwa. Klasyfikacja strony internetowej nie polegała na treści nieustrukturyzowanej, ale zamiast tego korzystała ze strukturalnych danych linków. Zatem zmierzony wynik miał niewielki błąd.

Koszt

Ta metryka była nowo utworzoną metryką, którą posiadał i znał tylko Google. Opierał się na publicznie dostępnych danych, ale ponieważ konkurencja nie przechowywała danych w łatwo dostępnym formacie, wskaźnik sam w sobie był dobrym przykładem przewagi konkurencyjnej.

Tworzenie wskaźników stało się szczególnie ważne w dziedzinie danych nieustrukturyzowanych. Ponownie weźmy za przykład media społecznościowe. Co oznaczają te wszystkie rozmowy? Jak możemy się od nich nauczyć czegoś znaczącego? Co posty na Facebooku lub tweety mówią o poziomach zadowolenia klientów, wizerunku marki lub potencjalnym udziale w rynku? W najlepszym razie pojedyncze posty dostarczą niepotwierdzonych dowodów. Przydaje się tylko wtedy, gdy połączysz informacje z wielu postów lub tweetów w dane, takie jak analiza słów kluczowych, sentyment, statystyki lub topografia sieci. Ogólniej w dowolnym zestawie nieustrukturyzowanych danych. Metryki są kluczowe, ponieważ tworzą jedną liczbę z dużego zestawu danych, który z kolei może służyć jako punkt odniesienia do porównania z innymi metrykami lub w modelach danych. Ale trudno jest stworzyć właściwą miarę. Podobnie jak w przypadku, gdy inne wyszukiwarki na początku nie znalazły właściwych danych do wyświetlenia rankingu stron pod względem trafności, równe będą umiejętności i szczęście w określeniu właściwych danych w mediach społecznościowych. To zadanie staje się jeszcze trudniejsze, ponieważ firmy analityczne w mediach społecznościowych nie brakuje kreatywnego myślenia, jeśli chodzi o opracowywanie nowych indeksów lub wskaźników bez zadanego pytania. Korelują, filtrują, uśredniają, a następnie prezentują nowy indeks tylko po to, aby uzyskać przewagę w swoich materiałach marketingowych. Może to prowadzić do inflacji wskaźników. Ale więcej wskaźników niekoniecznie oznacza, że znaleźliśmy odpowiednie wskaźniki. Będzie podobny do sentymentu wyrażonego sto lat temu przez lorda Williama Lever z Lever Brothers: "Wiem, że połowa moich reklam (zamień na metryki) nie działa, po prostu nie wiem, która połowa". Pokażemy w różnych przykładach, dlaczego trudno jest zdefiniować właściwe wskaźniki. Ponadto zobaczymy, że nawet poprawnie zdefiniowane wskaźniki niosą ryzyko niewłaściwego użycia. Oznacza to, że znalezienie właściwych wskaźników, podczas gdy tworzy kluczowy związek między danymi a wynikami, stanowi proces, który należy pielęgnować i utrzymywać, a nie służyć jako cel końcowy. Zacznijmy od przyjrzenia się niektórym rozważaniom przy tworzeniu tych danych.

Przykłady wskaźników mediów społecznościowych

Dobrze zdefiniowane dane stanowią odpowiedź na pytanie i wyjaśniają, co zrobić z tą odpowiedzią. W przypadku Google PageRank odpowiedzi na pytanie "jak popularna jest strona internetowa" jasno wskazują, że najpierw należy wyświetlić najpopularniejsze strony. Tworzenie danych na podstawie samych danych w mediach społecznościowych jest stosunkowo łatwe, takie jak liczba retweetów lub głębia wykresu społecznościowego. Powiązanie ich z prawdziwymi pytaniami i jasne zrozumienie, jakie powinny być wyniki biznesowe, jest często o wiele trudniejsze. W tym artykule przyjrzymy się trzem przykładom problemów związanych z efektywnymi wskaźnikami mediów społecznościowych: wpływ, preferencje konsumentów i zwrot z inwestycji (ROI).

Wpływ

Aby pokazać złożoność projektu odpowiedniej metryki, spójrzmy na miarę wpływu. Dzisiaj wpływ jest gorącym tematem, jak oceniają liczby startupów próbujących zmierzyć tę liczbę lub liczba książek opublikowanych w tej dziedzinie. Nie jest to jednak nowy temat. Badania nad tym, kim jest wpływowy i jak odnosi się do naszego procesu decyzyjnego, trwają od lat 40. XX wieku. Harvey Mackay opisał jeden przykład w swojej książce Dig Your Well Before You're Thirsty (Harvey Mackay), w której córka przyjaciela dostała letnią pracę jako kelnerka, ponieważ podczas wywiadu pokazała Rolodex zawierający wszystkich jej przyjaciół i twierdziła że zaprosi ich wszystkich do restauracji i do jedzenia. Podstawowym założeniem, które podjął właściciel restauracji, było to młoda dziewczyna miałaby wpływ na to, aby wszyscy jej przyjaciele mogli zjeść u niego. Ta książka została wydana w 1999 roku. Dzisiaj ten sam ton tej młodej damy mógł brzmieć zupełnie inaczej: "Zobacz moich przyjaciół na Facebooku, Twitterze i LinkedIn. Jeśli mnie zatrudnisz, zaproszę ich wszystkich do przyjazdu. " Jak właściciel restauracji mógł potwierdzić to roszczenie? Jak mógł zdecydować, kogo zatrudnić, gdyby dwóch kandydatów zaproponowało zaproszenie wszystkich swoich przyjaciół? Gdybyśmy mieli założyć, że było to podstawowe kryterium zatrudniania, teoretycznie wszystko, czego ten właściciel restauracji potrzebowałby, to wskaźnik mediów społecznościowych mierzący wpływ, na podstawie którego mógłby oceniać swoich kandydatów. Czy to takie proste? Niestety nie. Największym problemem jest to, że każda dostępna na rynku metryka byłaby po prostu miarą czegoś, co w pewnej formie prawdopodobnie korelowałoby z tym, co można nazwać "wpływ." Termin wpływ może jednak oznaczać różne rzeczy dla różnych ludzi. Podczas gdy właściciel restauracji chce metryki, która przewidziałaby, ilu nowych klientów przyjdzie do jego firmy, metryka pomiaru wpływu może koncentrować się na osobach, które mogą "ukształtować dyskusję na temat kuchni włoskiej". Termin ten jest mylący, o ile nie jest jasno zdefiniowany. Dlatego każda metryka musi spełniać kryteria:

Związek przyczynowy
W takim przypadku wysoki wpływ na wyniki powinien zaowocować wieloma nowymi gośćmi w restauracji.

Błąd
W takim przypadku wskaźnik wpływu powinien być wiarygodny w miarę upływu czasu.

Koszt
W takim przypadku koszt firmy zajmującej się pomiarami w mediach społecznościowych nie powinien przekraczać zysków dodatkowych gości.

Jakie potencjalnie mogą być istotne wskaźniki sieci społecznościowej, które w jakiś sposób opisują wpływ? Przychodzą mi na myśl następujące wskaźniki:

Rozmiar sieci
Ile połączeń dana osoba ma w sieci społecznościowej. Im bardziej jest związany, tym bardziej jest wpływowy.

Centralność sieci
Stopień "między", tj. poziom, na którym łączy się innych w sieci. Jeśli jest bardzo ważna dla swojej sieci, musi przekazać wszelkie informacje. Ma wpływ, ponieważ może kontrolować przepływ treści w sieci.

Bliskość sieci
Jak blisko jest ktoś pod względem lokalizacji, zainteresowań lub innych kryteriów. Im ktoś jest bliżej kogoś, tym większe prawdopodobieństwo, że będą na siebie wpływać.

Lokalizacja
Jak fizycznie blisko jest ta osoba - i jej sieć - do danej lokalizacji. Im bliżej osoby, powiedzmy, do restauracji, tym bardziej prawdopodobne, że ona odwiedzi.

Zaangażowanie
Stopień, w jakim osoba i jej sieć komunikują się ze sobą. Podobnie w prawdziwym świecie dyskurs wykazuje większy wpływ, gdy ludzie reagują na pomysły.

Autorytet
Jak często ta osoba jest cytowana lub przesyłana dalej przez innych. Jeśli wielu powtórzy pomysły, osoba ta powinna być autorytetem w tej dziedzinie.

Prawdopodobnie skinąłeś głową, czytając tę listę wskaźników. Tak, wszystkie wydają się w jakiś sposób opisywać wpływ. Jednak lista mogłaby z łatwością trwać. Na przykład czynniki demograficzne, takie jak rozkład wieku, mogą być ważne dla konkretnych restauracji: operator sieci fast-food ważyłby znaczenie grupy powyżej 30. roku życia inaczej niż właściciel wysokiej klasy lokalu gastronomicznego. Chociaż nasze osobiste doświadczenia wydają się mówić nam, że wszystkie te wskaźniki w jakiś sposób wpływają na wpływ, w żadnym wypadku nie jest jasne, jak silny jest ten efekt. Jak omówiliśmy w części 1, tradycyjny pogląd na osoby wpływowe nie ma podstaw. Wpływ istnieje, ale zbyt często zakładamy, że ktoś wywiera wpływ na kogoś innego, podczas gdy w rzeczywistości jest bardziej homofobiczny lub osiąga, a nie wpływa. Dziś wiemy, że wpływ zależy od takich wskaźników, jak gotowość do wywierania wpływu, temat i zasięg. Opisane wskaźniki mogą w szczególności odnosić się do dwóch ostatnich. Prawdopodobnie czynniki inne niż media społecznościowe będą odgrywać bardziej dominującą rolę w podejmowaniu decyzji właściciela restauracji o tym, kogo zatrudnić.

Preferencja konsumenta

Chociaż nie jest łatwo stworzyć wskaźnik wpływu wspierający decyzje o zatrudnieniu w restauracji, łatwiej jest ocenić preferencje konsumentów za pomocą mediów społecznościowych. Szukamy metryki, która może przewidzieć preferencje konsumentów dotyczące kupujących. Taka metryka mogłaby przynieść korzyści konsumentom, którzy mogliby na niej oprzeć swoje decyzje zakupowe, odpowiadając na pytanie: "Czy powinienem przejść do tej usługi lub sklepu?" Może także przynieść korzyści przedsiębiorstwom, ponieważ będzie działał jako rodzaj wywiadu konkurencyjnego. W tym miejscu przyjrzymy się dwóm przykładom w świecie rzeczywistym: branży hotelarskiej i lekarzom. Po pierwsze, zarówno konsumenci, jak i firmy od dawna szukają sposobów oceny hoteli i restauracji. Czy istnieje dobry sposób na stwierdzenie, czy jedzenie i obsługa są dobre, czy nie? Właśnie to stara się robić firma NewBrandAnalytics. Firma Ashish Gambhir, wprowadzona na rynek w 2008 r., Korzysta z zastrzeżonych algorytmów, aby przekształcić nieustrukturyzowane opinie klientów w Internecie w konkretne wskaźniki dla firm hotelarskich. Jego metryka ma dokładnie jedną potrzebę klienta - pytanie: "Co to jest dobre doświadczenie konsumenckie?" Aby odpowiedzieć na pytanie, usługa wykorzystuje tylko jedno źródło danych wejściowych, nieustrukturyzowane dane z tekstu w mediach społecznościowych. Algorytmy NewBrandAnalytics szukają wglądu w kryteria, takie jak prezentacja żywności, jakość żywności i obsługa. Firma przenosi wskaźnik Net Promoter Score (NPS) opracowany początkowo przez Freda Reichhelda i Bain & Company na nowy poziom. NPS opiera się na danych ankietowych klientów, a NewBrandAnalytics wykorzystuje tylko nieustrukturyzowane dane z komentarzy w mediach społecznościowych. Jego miary odzwierciedlają moc agregowania niezamówionych opinii. W chwili pisania tego tekstu nie było jeszcze jasne, czy takie podejście będzie wystarczające. NewBrandAnalytics wykorzystuje przede wszystkim dane nieustrukturyzowane. Jak widzieliśmy, ustrukturyzowane dane zwykle generują spostrzeżenia łatwiej i dokładniej, dlatego usługi takie jak Qype, które pytają klientów bezpośrednio o opinie w szkolnym systemie oceniania, będą lepiej dostosowane do oceny preferencji konsumentów. Podobną sytuację widzisz, gdy skupiasz się na poszukiwaniu dobrych lekarzy. Jak znaleźć dobrego lekarza dla siebie i swojej rodziny? Ludzie na ogół robią jedną z dwóch rzeczy: pytają o opinie rodziny i przyjaciół lub po prostu wybierają jedną na podstawie takich kryteriów, jak lokalizacja. Dziś media społecznościowe często pozwalają również konsumentom zobaczyć, co inni członkowie społeczeństwa myślą o tych lekarzach. Tak więc, podobnie do podejścia NewBrandAnalytics lub Qype, możesz stworzyć metrykę eksplorującą ten komentarz na temat lekarzy. Jednak taki wskaźnik może nie być tak wiarygodny jak w przypadku restauracji. Chociaż każdy z nas jest w stanie w pełni ocenić dany posiłek lub otrzymaną usługę, nie jesteśmy w stanie ocenić, czy leczenie było prawidłowe, czy badanie przeprowadzone przez lekarza zostało wykonane prawidłowo. Ale co by było, gdybyś mógł zobaczyć, co sami lekarze myślą o innych lekarzach, szczególnie wzorce skierowań od jednego lekarza do drugiego? Dzięki publicznie dostępnym danym możemy zobaczyć ich więcej w przyszłości. Fred Trotter (@fredtrotter), działacz ds. Danych zdrowotnych, niedawno zebrał fundusze na zakup produktu o nazwie Doc-Graph, na podstawie danych skierowanych do US Medicare, które uzyskał na podstawie wniosku Freedom of Information Act (FOIA) 3, podczas gdy firma startupowa HealthTap łączy te dane z własna baza danych lekarzy, aby zapewnić klientom widok tych sieci skierowań. W przyszłości może się zdarzyć, że proces wyboru lekarza będzie w coraz większym stopniu informowany przez dane skierowań w taki sam sposób, w jaki dane linków pomogły Google pozycjonować strony internetowe. Również w tym przypadku powodzenie tego pomiaru z pewnością będzie zależeć od jego skuteczności pod względem:

Związek przyczynowy
Czy lekarze kierowani przez innych są rzeczywiście lepszymi lekarzami?

Błąd
Czy ten wskaźnik jest stabilny i pomocny bardziej i bardziej pomocny niż pytanie rodziny i przyjaciół?

Koszt
W takim przypadku dane są publicznie dostępne.

W obu przypadkach, restauracji i lekarzy, kluczową kwestią jest to, w jakim stopniu takie wskaźniki są związane z pytaniem. Ten związek często nie istnieje, mimo że wydaje się opierać na naszej ludzkiej logice. Liczba wyświetleń lub komentarzy w teledysku na YouTube niekoniecznie jest najlepszym predyktorem sprzedaży muzyki. Odsetek negatywnych tweetów na temat polityka czasami dotyczy, a czasem nie odnosi się do tego, czy dana osoba zostanie ostatecznie wybrana. Stworzenie takiej miary wymaga czegoś więcej niż czystego pobożnego życzenia. Stopień przyczynowości, błędu i kosztu wynikowych danych należy zweryfikować w drodze dogłębnych badań dla każdej sytuacji, w której stosuje się metrykę.

Pytanie ROI

Jednym ze szczególnych wskaźników jest zwrot z inwestycji (ROI). Niewiele wskaźników jest bardziej kontrowersyjnych niż zwrot z inwestycji w mediach społecznościowych. Wiele osób uważa, że powinien istnieć zwrot z inwestycji, ponieważ związek między wydatkami na marketing lub komunikację a zwrotem finansowym wydaje się logiczny. Jednak nie wystarczy po prostu uwierzyć w link. Ponieważ ROI jest pomiarem, musisz być w stanie go rzeczywiście zmierzyć. Niektórzy porównali korzystanie z mediów społecznościowych z wykorzystaniem wizytówek. Podobnie jak wizytówki, media społecznościowe są koniecznością lub rodzajem "czynnika higieny", który negatywnie na ciebie wpłynie, jeśli ich nie posiadasz. Prawdopodobnie wizytówki są tańsze niż zaangażowanie w mediach społecznościowych. Jednak w obu przypadkach trudno jest bezpośrednio skorelować z ROI. Nawet jeśli korzystanie z mediów społecznościowych jest korzystne, nie oznacza to, że istnieje ROI. Aby obliczyć zwrot z inwestycji, musisz być w stanie obliczyć "R", tj. Zwrot z inwestycji. Możesz jednak określić zwrot tylko w następujących przypadkach:

•  Jeżeli istnieje bezpośredni związek między inwestycją a zwrotem finansowym. Tylko wtedy można obliczyć wartości ROI. Jednak zbyt często inne czynniki mogą mieć wpływ na zwrot, dlatego nie można obliczyć zwrotu z tej samej inwestycji.
•  Jeśli nie ma bezpośredniego łącza, możesz sprawdzić, czy istnieje korelacja między pomiarami a zyskiem finansowym. Jest to jednak możliwe tylko wtedy, gdy pomiary można wykonać niezależnie.
Najłatwiejsza sytuacja to taka, w której istnieje bezpośrednia korelacja. Jednak w większości przypadków nie można łatwo ustanowić bezpośredniego łącza. Na przykład w 2005 r. producent komputerów, który sprzedał większość swojej oferty online, zainwestował w reklamy radiowe. Producent założył, że istnieje dobra korelacja między inwestycją w reklamę radiową a liczbą sprzedanych systemów. W ten sposób firma wzięła sumę wszystkich dolarów marży zarobionych na tym komputerze pakiet i odejmij inwestycję. Wynik był bardzo negatywny. Dzieląc go przez liczbę sprzedanych komputerów, nasz klient stracił 650 USD za każdy komputer sprzedany za pośrednictwem tej reklamy. Czy zatrzymanie takiego marnotrawstwa wydatków byłoby oczywiste? Niekoniecznie, ponieważ klienci mogli słyszeć o ofercie, ale zdecydowali się kupić kolejny pakiet. Takie sytuacje są bardzo częste w mediach społecznościowych lub mediach nadawczych, takich jak telewizja i radio. Głównym problemem jest to, że decyzja o zakupie może być spowodowana wieloma rzeczami, z których większość nie jest łatwa do zmierzenia. W rozdziale 1 omawialiśmy, w jaki sposób łączy się świadomość marki i intencje. Zanim klient coś kupi, mógł mieć inne interakcje z marką. Każda z tych interakcji mogła mieć wpływ na jego decyzję o zakupie. Na przykład, mógł najpierw odwiedzić stronę na Facebooku, potem przeczytać artykuł w wiadomościach, a następnie wymienić tweety z innymi przed zakupem produktu. Wszystkie te interakcje mogły mieć wpływ na uruchomienie zakupu. Wiele narzędzi analitycznych próbuje dziś zaplanować tego rodzaju podróż klienta. Działa to tylko wtedy, gdy klienta można śledzić, co nie jest łatwe w mediach nadawczych, takich jak radio. Jednym ze sposobów śledzenia reklamy radiowej jest ustanowienie łącza poprzez dedykowaną stronę docelową lub dedykowany numer telefonu, aby lepiej śledzić działania tych klientów. Innym sposobem jest użycie analizy wielu regresji, aby sprawdzić, czy za każdym razem, gdy reklama radiowa była odtwarzana, miało to wpływ na inne kanały marketingowe. Najczęściej nie ma ROI. Dzieje się tak dlatego, że brakuje bezpośredniego linku do numeru finansowego lub dlatego, że analiza wielowymiarowa może potwierdzić, że nie jest to łatwo możliwe. Problemem analizy jest to, że każdy test musi być niezależny od innych. Niestety nie dzieje się tak w przypadku dużej liczby działań w mediach społecznościowych, podobnie jak sytuacja BP opisana w rozdziale 9. Weźmy na przykład: wpływ aktywnego konta na Twitterze. W przeciwieństwie do promowanego tweeta nie można go łatwo włączać i wyłączać. Nawet jeśli wyłączysz konto na Twitterze, test nie będzie niezależny, ponieważ użytkownicy, którzy zawsze słuchali konta na Twitterze i byli z nim zaangażowani, również zobaczyliby, że jest on wyłączony. Dlatego w sytuacjach, w których testowanie nie jest możliwe, nie można obliczyć ROI.

Ryzyko metryczne

Załóżmy, że stworzyliśmy dokładną metrykę, która odpowiada na odpowiednie pytanie. Zatem metryka pozwala nam uzyskać czwarte "V" z danych. Lub bardziej technicznie, zgodnie z naszymi trzema wymiarami, miernik, który koreluje z pożądanym pytaniem, ma niski błąd i ogólnie nie jest zbyt kosztowny. Czy możesz po prostu odpocząć i zacząć korzystać z tych danych? Nie do końca. Dana metryka spowoduje próby wpłynięcia na metrykę lub nadmiernej optymalizacji systemu, aby dobrze wyglądać dla tej metryki. Jako przykład powrócimy do metryki PageRank Google, którą chwaliliśmy wiele razy. Został doskonale zaprojektowany, aby odzwierciedlić faktyczną popularność strony internetowej. Jeśli jednak przeprowadzisz wyszukiwanie w Google za pomocą wyrażenia "zajmuj pierwsze miejsce w Google", znajdziesz ponad ćwierć miliarda stron zawierających porady, jak zmienić tę pozycję. Jest to sztuka usług optymalizacji wyszukiwarek (SEO). Oznacza to, że ranking strony głównej może czasem nie trafiać do najpopularniejszej witryny, ale do najbardziej pomysłowego twórcy stron internetowych. Ryzyko, że wpływ na metrykę będzie miał wpływ lub będzie ona odtwarzana dotyczy każdej metryki. Nazywamy to "paradoksonem pomiarowym". Im bardziej udany jest pomiar, tym więcej wysiłku podejmuje się, aby na niego wpłynąć.

Wpływanie na metrykę

Nawet najlepsze wskaźniki, z najlepszymi intencjami, stwarzają ryzyko, że ludzie skoncentrują się na poprawie liczby zamiast na poprawie pożądanego wyniku. Jest to szczególnie prawdziwe, gdy istnieje do tego zachęta finansowa. Ogólnie rzecz biorąc, można powiedzieć, że gdy tylko pomiar staje się decydującym czynnikiem dla mierzonego, podejmowane są próby poprawy lub wpłynięcia na ten wynik. Weźmy za przykład Klouta. Startup z siedzibą w San Francisco twierdzi, że jest standardem wpływów. Analizuje różne wzorce na Facebooku lub Twitterze, aby ocenić swój osobisty wpływ. Jest wielu, którzy twierdzą, że wynik Klout jest ważnym kryterium, aby zostać zatrudnionym przez kogoś. Jeśli to prawda, co zrobiliby ci szukający pracy? Próbowaliby na to wpłynąć. Paradokson pomiarowy wymaga, że jeśli to twierdzenie jest rzeczywiście prawdziwe, a Klout jest naprawdę ważnym miernikiem, wówczas powinno być wiele prób wpłynięcia na wynik lub gry w system. Na pewno istnieją już setki witryn, które twierdzą, że mogą pomóc Ci poprawić wynik Klout. Paradoksalnie, jeśli próby te zakończą się sukcesem, zmniejszy to moc metryki, ponieważ byłaby rozgrywana i nie byłaby wystarczająco skorelowana z pożądanym pytaniem. Sprawdźmy, jak łatwo można wpłynąć na wynik Klouta. Stworzyliśmy robota Twittera za pomocą bardzo prostych narzędzi. Robot o nazwie @spotthebot przyznaje, że jest botem. Powtarza tylko popularne źródła wiadomości. Kupiliśmy kilku obserwujących, aby wpłynąć na wszelkie dane na jego temat. Wynik? Bez dużo pracy udało mu się uzyskać wysoki wynik Klouta. Ten mały eksperyment jest poparty obszernymi badaniami wykazującymi, że na wyniki wpływów w mediach społecznościowych można łatwo wpływać. @spotthebot wykorzystał fałszywych użytkowników do zbudowania swoich danych; jednak przy odrobinie staranności można faktycznie wpływać na te wyniki, używając prawdziwych użytkowników. Jednym z pierwszych, który to wykazał, był projekt dotyczący ekologii sieci. W konkursie roboty społeczne rozwinęły swoje sieci na Twitterze z prawdziwymi użytkownikami. Bot JamesMTitus udało się zdobyć 107 obserwujących w ciągu zaledwie trzech tygodni za pomocą automatycznych środków. Od tego czasu wielu poszło w ich ślady i pokazało, jak łatwo można zwiększyć interakcję online8 nie tylko na Twitterze, ale także na Facebooku. Przyjaciół, obserwujących i interakcji można manipulować, ale wszystkie te dane są ważne dla pomiarów, takich jak wynik Klouta. Widzieliśmy więcej takich przykładów w rozdziale 6. Co to oznacza? Z jednej strony wynik Klouta lub jakikolwiek inny podobny wynik wykazujący ważność jest bardzo odpowiednią miarą do spojrzenia. Rynek tego wymaga; w przeciwnym razie nie byłoby takiej uwagi przy próbie zagrania w taką metrykę. Z drugiej strony paradokson pomiarowy mówi nam, że Klout najprawdopodobniej nie jest właściwym miernikiem, ponieważ jest zbyt łatwy do grania, a zatem nie będzie miał wystarczającej korelacji z zadanym pytaniem.

Złe zachowanie

Dobra metryka to taka, w której wielu próbuje na nią wpłynąć, ale tam, gdzie próby te zawodzą. Dobrze? Tak! Nie jest to jednak jedyny opis dobrej miary. Niestety metryka - nawet jeśli trudno na nią wpłynąć - może powodować nieprawidłowe zachowanie. Weźmy na przykład wskaźniki finansowe. Dane rachunkowe są trudne do sfałszowania, z wyjątkiem przypadku popełnienia przestępstwa. Ponadto większość wskaźników finansowych ma dobrą korelację z twoimi i kwestionuje w tym przypadku przyszłą wartość mierzonej działalności przedsiębiorstwa. Czy to wszystko brzmi jak wyraźna wygrana, jeśli chodzi o przejście do czwartego "V"? Jak dowiedzieliśmy się w czasie kryzysu finansowego w 2008 r., Wskaźniki finansowe są dalekie od doskonałości, a w obrębie każdego wskaźnika istnieje nieodłączne ryzyko stworzenia błędnych wniosków lub niewłaściwych zachowań. Było to niestety dość jasne podczas kryzysu kredytów hipotecznych subprime. Wskaźniki wyników dla wielu instytucji finansowych zachęcałyby do wzrostu ryzyka, a nie do potencjalnego spadku. Dlatego instytucje finansowe podjęły zbyt duże ryzyko. W związku z tym tworzenie niewłaściwych zachowań jest bezpośrednim zagrożeniem dla dowolnej metryki i możesz znaleźć przykłady tego we własnej firmie. Jednym z naszych klientów był duży sklep internetowy, który chwalił się najniższym CPO (koszt zamówienia) w branży. CPO to wskaźnik w świecie reklamy internetowej. Chociaż nie jest to niemożliwe, trudno na niego wpłynąć. Co więcej, wydaje się, że dość dobrze łączy się z ogólną kwestią zwiększania dochodów. Koszt reklamy jest tylko uwzględniane tylko wtedy, gdy konsument kliknie i kupi po wyświetleniu reklamy. Ta metryka wydaje się być świetna. Brak zamówień, brak rozliczanych kosztów w ramach tych wskaźników.10 Czy więc musimy skupić się na zmniejszeniu CPO? To właśnie zrobiła firma, co spowodowało nieprawidłowe zachowanie. We współpracy z agencjami firma rozpoczęła kampanię po kampanii i zoptymalizowała każdą z nich pod kampanię o niskim CPO, dopóki nie zorientuje się, że jej aktywna baza klientów staje się coraz mniejsza. Co się stało? Agencje lub algorytmy w agencjach nauczyły się rozpoznawać niski CPO. Agencje pokazały reklamę online tylko istniejącym klientom. Ci byli klienci znali markę i ufali jej, dlatego mieli większe prawdopodobieństwo zakupu ponownie w porównaniu do użytkowników, którzy nigdy nie mieli kontaktu z marką. W skrajności firma zwróciła się tylko do obecnych użytkowników i nie pozyskała żadnych nowych klientów.

Zmiany w czasie i przestrzeniM

Oprócz wpływu ludzi istnieje także wpływ zmieniającego się środowiska. Jest to szczególnie prawdziwe w dziedzinach o wysokim wzroście, takich jak media społecznościowe. Jeśli treść ulegnie radykalnej zmianie, wynik pomiaru również się zmieni, co oznacza, że wskaźniki nie są łatwe do porównania lub porównania, chyba że uwzględnisz te zmiany. Na przykład ogromny wzrost wykorzystania Twittera oznacza, że statystyki tweetów z jednego roku mogą być zupełnie bez znaczenia w stosunku do następnego. Liczba tweetów, które kiedyś były rzędu tysięcy tweetów dziennie, pod koniec 2012 r. są teraz rzędu pół miliarda dziennie ,zwiększając liczbę odbiorców, a często utrudnienie usłyszenia wiadomości. Może to sprawić, że porównanie wstecz w czasie będzie prawie niemożliwe, chyba że wiesz, jak ewoluowała ta metryka. Podobnie wskaźniki klikalności reklam internetowych gwałtownie spadły od lat 90. do drugiej dekady 2000 r., Gdy korzystanie z Internetu stało się wszechobecne, a ekspozycja banerów reklamowych nasycona. Absolutne wykorzystanie jest nie tylko problemem, ale także różnice regionalne są ważne. W mediach społecznościowych porównywanie wskaźników w różnych regionach może być trudne. Obecnie adopcja Twittera jest zupełnie inna w regionach anglojęzycznych w porównaniu z resztą świata. Musisz nie tylko uwzględnić regionalne stawki adopcyjne, aby móc porównywać w różnych krajach, ale stawki względne mogą się szybko zmienić. Weźmy ponownie Twittera jako przykład. Od listopada 2010 r. Do połowy 2012 r. Większość tweetów (27%) pochodziła ze Stanów Zjednoczonych, a następnie z Brazylii (23%), a następnie z Indonezji (11%). Holandia, z 3%, zajmuje czwarte miejsce, pomimo swojej liczby ludności, która stanowi mniej niż 3/10 procent populacji świata, jednak liczby te wciąż się zmieniają w miarę postępu przyjmowania mediów społecznościowych, co czyni go bardzo trudno porównywać wskaźniki w czasie i przestrzeni. Pomimo trudności w porównywaniu dowolnych danych w czasie lub przestrzeni, niezależnie od tego, czy jest to Google PageRank, ilość retweetowania, czy bardziej złożone dane powiązane z wynikami biznesowymi, należy je porównać z czasem, przestrzenią lub innymi podobnymi danymi, aby ujawnić istotna informacja. W bardzo podobny sposób, w jaki wartości dochodów osobistych są zasadniczo różne w większości krajów niż w latach 50. XX wieku ze względu na siły takie jak inflacja i wzrost, zarówno wartość, jak i kontekst tych wskaźników będą nadal ewoluować.

Pokonywanie problemów

Zauważyliśmy, że paradoks pomiaru, niewłaściwe zachowanie i zmiany w czasie powodują problemy z konfiguracją dobrej miary. Nie ma kuloodpornych sposobów na obejście tych problemów, z wyjątkiem świadomości. Każdy, kto konfiguruje dane, powinien zapytać, czy jest to ryzyko. Jeśli tak, istnieją sposoby na zmniejszenie tego ryzyka poprzez zmianę sposobu konfiguracji danych:

Zamknięte wskaźniki
Firmy opracują zindywidualizowane wskaźniki dla konkretnej sytuacji lub określonych grup, co utrudni wpływ na te wskaźniki. Widzimy na przykład, że TripAdvisor korzysta teraz z otwartego wykresu Facebooka, aby utworzyć zamkniętą grupę pomiarową "polecanych" hoteli. Ponieważ znam (lub powinienem wiedzieć) wszystkich moich przyjaciół, wpływanie na ten wynik jest trudniejsze.

Tajne wskaźniki
Google jest najlepszym przykładem. Nie publikuje algorytmu PageRank, ponieważ to z łatwością otworzy drzwi każdej firmie zajmującej się optymalizacją wyszukiwarek i wpłynie bezpośrednio na ranking w Google. Jednak każda nowa firma pomiarowa nie może tak łatwo utrzymać swoich danych w tajemnicy. Jak argumentowano wcześniej w tym rozdziale, nie powinieneś ufać podejściu, które jest jak czarna skrzynka. Aby stworzyć zaufanie, musisz być otwarty na temat danych.

Zmień dane
Zmiana wskaźników ma dwa pozytywne skutki uboczne. Z jednej strony ludzie próbujący wpływać na wskaźniki nie mogą ich tak łatwo śledzić. Z drugiej strony sama firma zajmująca się pomiarami może reagować na zmieniające się otoczenie. Ponownie, Google jest dobrym wzorem do naśladowania. Jak pokazał Stephan Spencer (@sspencer) na PubCon, Google aktualizuje swój algorytm trafności ponad 40 razy w danym miesiącu (ryc. 10-3). Jednak zmiana metryki spowoduje utworzenie dodatkowych trudności w porównywaniu danych z przeszłości z przeszłością.

PODSUMOWANIE

Metryki ostatecznie nadają strukturę interpretacji danych. Ponadto są niezbędnym elementem procesu, który łączy nieustrukturyzowane dane w mediach społecznościowych z wynikami, takimi jak zadowolenie klientów, rozpoznawalność marki i udział w rynku - tematy, które omawialiśmy bardziej szczegółowo w poprzednich rozdziałach. Jednocześnie określenie odpowiednich wskaźników pozostaje zadaniem, które ma zarówno aspekty jakościowe, jak i ilościowe: zarówno twoje doświadczenie, jak i dane odgrywają ważną rolę w tworzeniu właściwych pomiarów. Właściwa metryka do otrzymania czwartego "V" skoreluje pytanie z danymi i spełni trzy kryteria omówione w rozdziale 9: związek przyczynowy lub korelację, błąd i koszt. Korzystając z przykładów od restauracji po lekarzy, pokazaliśmy, że definiowanie wskaźników jest zarówno sztuką, jak i nauką, którą trudno jest doskonalić, a czasem trudno przewidzieć. Zauważyliśmy, że media społecznościowe stanowią wyjątkową okazję do oszacowania relacji, jakie utrzymujemy z klientami i innymi interesariuszami. Przekonaliśmy się również, że media społecznościowe nie zawsze są wystarczające, jak w przypadku lekarzy i procesu rekrutacji. Po drugie, wskaźniki wiążą się z nieodłącznym ryzykiem. Niosą potencjał niewłaściwego użytkowania i błędnej interpretacji. Możesz pokonać ten paradoks pomiaru, stosując metryki w zamkniętych grupach, utrzymując metrykę w tajemnicy i często ją zmieniając. W związku z tym metryki nie są jednostkami statycznymi, ale raczej miarami dynamicznymi, które ewoluują w odpowiedzi zarówno na zmianę, jak i interwencję człowieka. Wszelkie dane będą wymagały ciągłego sprawdzania i powtarzania i będą nadal ewoluować

ZESZYT ĆWICZEŃ

Każda firma jest inna, dlatego każda firma będzie potrzebować własnych danych. Istnieje bardzo niewiele wskaźników "jeden rozmiar dla wszystkich". Zacznijmy od własnych danych. Ale pamiętaj, że dotarcie do metryki, która tworzy wartość, jest częściowo próbą i błędem (niektórzy nazywają to ciężką pracą), a częściowo tylko czystym szczęściem. Spójrzmy na źródła danych wymienione podczas ostatniego ćwiczenia. Jakie mogą być dobre wskaźniki, aby z nich skorzystać? Zacznijmy od wskaźników opisowych. Spróbuj zrobić różne proporcje, aby zacząć myśleć. Co powiesz na czas potrzebny obsłudze klienta na rozwiązanie problemu w porównaniu do jego długości? A co z liczbą obserwujących kogoś w porównaniu z liczbą tweetów, które pisze? Znalazłeś coś interesującego, co można udostępnić? Tweetuj na @askmeasurelearn lub napisz pytanie na naszej stronie LinkedIn lub Facebook. Każda metryka narażona jest na paradokson pomiarowy. Wykrywanie tego jest bardzo ważne, ponieważ niewłaściwy pomiar może z łatwością ryzykować przyszłość Twojej firmy. Zadaj sobie pytanie, zapytaj znajomych i zapytaj klientów, czy którakolwiek z używanych przez Ciebie danych jest myląca. Dobrym wskazaniem może być każde zdanie zaczynające się od "to jest głupie" lub "to po prostu nieprawda".