U�yj w�a�ciwych danych

Nie chodzi o "dobre" ani "z�e" dane, chodzi o "w�a�ciwe" dane.
-TOMAS ANDERSON (@TOMHCANDERSON)

Tom Anderson, dyrektor generalny OdinText, brzmi niemal filozoficznie w swoim o�wiadczeniu na temat "dobrego" i "z�ego", ale jego cytat �adnie podsumowuje to, co wielu pr�bowa�o powiedzie�: tylko dzi�ki "w�a�ciwym" danym b�dziesz w stanie wyci�gn�� wnioski i dzia�aj na nich. Ale co jest "w�a�ciwe"? Po zdefiniowaniu dobrego pytania - to znaczy po zdefiniowaniu pytania - kolejnym wyzwaniem jest ustalenie, jakie dane mog� pom�c odpowiedzie� na to pytanie. Najlepsze pytanie mo�e pozosta� bez odpowiedzi, poniewa� u�ywamy lub mierzymy nieprawid�owe dane. Dyskusja obejmuje dwa wa�ne czynniki:

• Jakiego rodzaju danych (czasami nazywanych tak�e cechami lub zmiennymi) powinni�my u�ywa�? Cz�sto firmy udost�pniaj� gotowe pomiary, takie jak wsp�czynniki klikalno�ci u�ytkownik�w, ich wiek lub finansowe KPI. Im wi�cej ich u�ywasz, tym trudniej jest znale�� relacje i nie przyt�oczy� si� ha�asem. Przy zbyt ma�ej liczbie zmiennych i funkcji mo�esz jednak nie znale�� tego, co ma najwi�kszy wp�yw w danej sytuacji. We�my za przyk�ad prac� firmy ukierunkowanej na zachowanie. Ma wiele zmiennych dotycz�cych odwiedzaj�cego, takich jak strony, kt�re wcze�niej klikn�a, czas klikni�cia reklamy i jej identyfikator sieci. Mo�e nawet przechowywa� sytuacj� na gie�dzie i pogod� w momencie klikni�cia. Nie wszystkie z tych danych s� r�wnie pomocne. Okazuje si� na przyk�ad, �e informacja o przegl�darce jest jedn� z najlepszych funkcji do wyboru w kampanii sprzedaj�cej gry online, poniewa� nie ka�da gra dzia�a w ka�dym oknie przegl�darki. Wyb�r funkcji to zatem r�wnowaga mi�dzy u�yteczno�ci� a ilo�ci� danych. Jest to kluczowy krok w uzyskaniu w�a�ciwych danych.
• Ile danych powinni�my wykorzysta�? Media spo�eczno�ciowe stworzy�y ogromne ilo�ci danych i zawsze istnieje pokusa, aby z nich korzysta�. Fisheye Analytics przechowuje co miesi�c 25 terabajt�w danych lub ponad 300 000 p�yt CD. Idealnie chcesz korzysta� ze wszystkich danych jednocze�nie, ale stwarza to wyzwania in�ynieryjne i cz�sto mo�e nie poprawi� wyniku. Ile danych potrzebujesz, aby opisa� lini�? Prawid�owo, dwa punkty danych. Czy poprawi�oby to tw�j model, gdyby� mia� milion danych ? Nie! Pytanie o to, ile danych nale�y u�y�, jest cz�sto pytaniem o to, jak pr�bkowa� dane, aby by�y istotne statystycznie. Co gorsza, wykorzystanie wszystkich dost�pnych danych mo�e ukry� faktyczny problem. W takim przypadku kwestie dotycz�ce komentarzy w mediach spo�eczno�ciowych na temat dyrektora generalnego firmy ujawni�y si� dopiero po zredukowaniu danych do dyskusji na temat neutralno�ci sieci .

Uwaga

�wiat nauki o danych i �wiat statystyki s� bardzo podobne. Niemniej jednak obie domeny rozwin�y si� z r�nych obszar�w. Dlatego cz�sto ich j�zyk mo�e by� nieco inny. W dziedzinie analizy danych znajdziesz wi�cej in�ynier�w. Nazywaj� "cech�" to, co naukowiec lub statystyk nazwa�by "zmienn�". Oba terminy maj� podobne znaczenie: je�li umie�cisz swoje dane w arkuszu kalkulacyjnym, "zmienne" lub "cechy" b�d� zazwyczaj opisane w nag��wkach kolumn arkusza kalkulacyjnego.

Kt�re dane s� wa�ne?

Jest wczesne, s�oneczne popo�udnie i jeste�my w jednej z najlepszych niezale�nych kawiarni w Nowym Jorku. Kawa jest doskona�a, a dyskusja ekscytuj�ca. Przedsi�biorcy przy stole omawiaj� algorytmy dobierania graczy. Jak komputer najlepiej mo�e ��czy� dwie osoby, aby stworzy� najwi�ksze prawdopodobie�stwo ma��e�stwa? Na pewno istnieje rynek dla tego rodzaju aplikacji, a setki stron ju� pr�buj� tego dok�adnie. Ta grupa przedsi�biorc�w ma wiele pomys��w na stole:

• U�yj wykresu spo�ecznego ka�dej osoby.
• Korzystaj z wykres�w spo�eczno�ciowych wszystkich znajomych tej osoby.
• Popro� osob� o ocen� zdj��, artyku��w, film�w itp., Aby zobaczy�, co lubi.
• Zmierz, ile czasu zajmuje mu wype�nienie wst�pnego formularza wniosku.
• Sprawd�, ile pope�ni� b��d�w ortograficznych.
• Sprawd�, jakiego rodzaju j�zyka u�ywa dana osoba (slang, �atwy i konwersacyjny lub sztywny i formalny).

Lista by�a coraz d�u�sza w miar� dodawania kolejnych punkt�w danych. "Powinni�my nawet wykorzystywa� informacje DNA, aby dopasowa� najlepsze pary", zasugerowa� jeden m�ody ch�opak. Potem zapad�a cisza. Czy to by�o zbyt nierealne? Niezupe�nie: GenePartner oferuje to nawet jako us�ug�, na podstawie bada�, kt�re wykaza�y, �e partnerzy s� bardziej przyci�gani do siebie, je�li konkretny antygen jest bardzo r�ny. Zatem DNA, smak, przyjaciele, j�zyk - je�li wszystko to wydaje si� rozs�dne, co powstrzymuje nas od stworzenia idealnej maszyny do dobierania przeciwnik�w? Pobierz wszystkie dane z Facebooka, Twittera, kwestionariuszy, preferowanych ksi��ek, ulubionych film�w, a nawet z analizy DNA i za�aduj je do du�ej ciemnej "czarnej skrzynki" zwanej uczeniem maszynowym i pozw�l, aby du�y komputer wykona� zadanie? W tym przypadku nie by�oby potrzeby do�wiadczenia, a wszystkie nasze wnioski mo�na wyci�gn�� za pomoc� algorytm�w statystycznych. Czy to takie proste? Nie, przynajmniej nie dzisiaj!

Im wi�cej zmiennych, tym trudniejsze b�dzie zadanie. Ponadto komputery maj� takie same problemy jak ludzie, �e nie widzimy lasu dla drzew. Podsumowuj�c, nie jest rozs�dne wykorzystywanie wszystkich danych, ale konieczne jest staranne wybieranie zbior�w danych, kt�re maj� du�y wp�yw przyczynowy. Proces ten jest r�wnie� powszechnie nazywany wyborem funkcji lub regularyzacj�. Aby pokierowa� tym procesem wyboru, mo�esz u�y� jednego z nast�puj�cych sposob�w patrzenia na funkcje

Zwi�zek przyczynowy
Czy ta zmienna ma zwi�zek przyczynowy z wynikiem pytania?

B��d
Jak �atwo i czysto mo�esz zmierzy� t� zmienn�?

Koszt
Jak dost�pne s� dane?

Zwi�zek przyczynowy

Powiniene� wybra� funkcje, kt�re maj� najwi�kszy wp�yw na odpowied� na pytanie. Jednak nie zawsze �atwo, je�li to mo�liwe, odr�ni� zwi�zek przyczynowy od korelacji. Sp�jrzmy na spraw� z British Petroleum: w 2010 r. Platforma BP Deepwater Horizon rozla�a 4,9 miliona bary�ek (780 000 m3) ropy naftowej i spowodowa�a katastrof� wzd�u� wybrze�a zatoki w USA. Reakcja wywo�a�a publiczne oburzenie w Stanach Zjednoczonych ,politycy, dziennikarze, celebryci i og� spo�ecze�stwa zareagowali negatywnie na katastrof�. Ich oburzenie by�o widoczne w mediach. Fisheye Analytics zebra� wszystkie dane medialne (blogi, Twitter, Facebook, fora informacyjne) dotycz�ce tego wycieku ropy i stworzy� Wynik Net-Sentiment-Score, korzystaj�c z w�asnego zastrze�onego algorytmu sentymentu. Wynik netto-sentymentu to stosunek oparty na r�nicy mi�dzy ilo�ci� negatywnego sentymentu i pozytywnego sentymentu we wszystkich artyku�ach, tweetach i postach na blogu. W tym samym czasie nast�pi�o publiczne oburzenie, cena akcji BP spad�a. Czy istnia� zwi�zek przyczynowy?

Korelacja a zwi�zek przyczynowy

Jak wida�, istnieje pewna forma korelacji mi�dzy ruchami na gie�dzie a wynikiem netto nastroj�w w dyskusjach publicznych. Innymi s�owy, istnieje pewna forma zale�no�ci mi�dzy tymi dwoma zestawami danych. Korelacja pozwala nam powi�za� Wynik Sentymentu Netto i cen� akcji ze wzorem matematycznym: dla ka�dej obni�ki Sentymentu Netto cena akcji zmniejszy si� o okre�lon� kwot� w USD. Czy mo�esz jednak stwierdzi�, �e negatywne tweety powoduj� ni�sz� cen� akcji? Nie, nie tylko na podstawie korelacji statystycznej. Takie post�powanie by�oby niew�a�ciwe. Chocia� korelacja jest �atwo ustalana za pomoc� analizy statystycznej, zwi�zek przyczynowy nie jest �atwy do ustalenia. Co gorsza, w tym rozdziale zobaczymy, �e nigdy nie mo�na absolutnie udowodni� zwi�zku przyczynowego. Jednak po��czenie dowod�w statystycznych i logicznego rozumowania mo�e pom�c zasugerowa� pewne prawdopodobie�stwo zwi�zku przyczynowego. Aby ustali�, czy liczba negatywnych artyku��w spowodowa�a spadek ceny akcji lub odwrotnie, mo�emy spojrze� na tak zwane strukturalne modele przyczynowe (SCM), wprowadzone w 2009 r. Przez profesor UCLA, Jude� Pearl. SCM reprezentuj� r�ne pomiary lub zestawy danych schematycznie, wskazuj�c zwi�zki przyczynowe za pomoc� strza�ek.

Bezpo�redni efekt. Katastrofa wycieku ropy wywo�a�a oburzenie opinii publicznej we wszystkich rodzajach medi�w. To oburzenie spowodowa�o, �e akcjonariusze sprzedali swoje akcje, poniewa� obawiali si�, �e nazwa firmy zostanie uszkodzona, co mo�e wp�yn�� na przysz�e przychody.

Efekt odwrotny. Mo�liwe mo�e by� r�wnie� odwrotna kolejno��. Cena akcji spad�a z powodu katastrofy naftowej, poniewa� akcjonariusze zak�adali ponure czasy. Upadek spowodowa�, �e opinia publiczna zacz�a o tym m�wi�. W takim przypadku przyczyna i skutek zosta�y odwr�cone, a wynik sentymentu netto nie mia�by wp�ywu na cen� akcji. W takim przypadku SCM pokaza�by opini� publiczn� dopiero po spadku cen akcji. Jednym ze sposob�w sprawdzenia, kt�ry z tych dw�ch scenariuszy by� prawdziwy, jest u�ycie znacznika czasu. Gdyby spadek cen akcji nast�pi� przed publiczn� reakcj� w mediach, mo�na przynajmniej odrzuci� drug� hipotez�, �e reakcja publiczna w mediach spowodowa�a spadek ceny akcji. Jednak w przypadku BP obie reakcje nak�adaj� si� na siebie i dlatego nie mo�na wyci�gn�� adnych wniosk�w.

Nieznany trzeci. Do tej pory SCM obejmowa� tylko dwie zmienne: cen� akcji i wynik sentymentu netto. Mo�e si� jednak zdarzy�, �e istniej� wa�ne zmienne, kt�rych jeszcze nie zidentyfikowali�my. Zmienne te nazywane s� zmiennymi czaj�cymi si�, moderuj�cymi, interweniuj�cymi lub myl�cymi. W naszym przyk�adzie z BP mo�e to by� rola rz�du. Jak zareagowa�? Aby uwzgl�dni� rz�d, musimy w��czy� nowy podmiot do naszego SCM, jak pokazano na Rysunku 9-5. Gdyby rz�d by� bardzo wymagaj�cy w zakresie �rodk�w zaradczych na szkody wyrz�dzone �rodowisku naturalnemu, to z kolei stworzy�oby przysz�e zobowi�zanie dla BP, a tym samym pozwoli�oby na spadek cen akcji. Ujemny wynik sentymentu netto mo�e odzwierciedla� jedynie reakcje rz�du, ale nie mo�e powodowa� faktycznego spadku ceny akcji. Innym wyja�nieniem mo�e by� to, �e pocz�tkowo politycy nie zareagowali. Ale zmuszeni g�o�nym publicznym oburzeniem z powodu tego wycieku, politycy zacz�li reagowa� i ��da� p�atno�ci wyr�wnawczych, co z kolei stworzy�o przysz�e zobowi�zania dla BP, powoduj�c spadek ceny akcji. W takim przypadku wynik sentymentu netto faktycznie spowodowa� spadek ceny akcji.

Wszystkie powy�sze. Jest o wiele wi�cej mo�liwych kombinacji ni� poprzednio pokazane, a kt�ra jest prawdziwa, trudno j� rozgry��. Nie jest �atwo wiedzie�, co jest przyczyn�, a co korelacj�. Jednak wszyscy prawdopodobnie mo�emy si� zgodzi�, �e wszystkie poprzednie efekty odegra�y pewn� rol�. Ale nawet gdyby�my mieli pozna� zwi�zki przyczynowe, nadal nie wiedzieliby�my, jak silne s� te zwi�zki.

Testowanie korelacji

Teoretycznie �atwo by�oby znale�� ci�ary dla tych zwi�zk�w przyczynowych. Musisz tylko powt�rzy� zdarzenie dok�adnie w ten sam spos�b i zmieni� tylko zmienn�, kt�r� chcesz zbada�. W naszym przyk�adzie oznacza�oby to, �e musimy cofn�� czas i zn�w mie� ten sam wyciek ropy, ale albo zmniejszy� tweety, albo uciszy� rz�d. Nast�pnie przygl�damy si� reakcji ceny akcji. W praktyce takie eksperymenty z dopasowaniem czasowym nie s� mo�liwe, co prowadzi nas do podstawowego problemu wnioskowania przyczynowego. Paul W. Holland wyja�nia w doskona�ej pracy na temat statystyki i wnioskowania przyczynowego, �e nigdy nie b�dzie pewno�ci przy ustalaniu zwi�zku przyczynowego. To dobra wiadomo�� dla ka�dego mened�era, kt�ry wci�� zadaje pytania, czy mo�na ustali� przyczyn� i skutek. Jednak nawet je�li teoretycznie niemo�liwe jest ustalenie zwi�zk�w przyczynowych z pewno�ci�, mo�na obliczy� analizy statystyczne w celu przetestowania zwi�zk�w przyczynowych na pewnym poziomie prawdopodobie�stwa: B��dem jest tak�e wyci�ganie wniosk�w z podstawowego problemu zak��cenia przyczynowego, �e wnioskowanie przyczynowe jest niemo�liwe. Niemo�liwe jest wnioskowanie przyczynowe bez przyjmowania niepotwierdzonych za�o�e�. Nie uniemo�liwia to wnioskowania przyczynowego, ale daje powiew niepewno�ci.
-PAUL W. HOLLAND

Testy te mia�yby na celu utrzymanie wszystkich okoliczno�ci na sta�ym poziomie i zmian� tylko jednego parametru na raz. Z�oty standard tego mo�na znale�� w medycynie. Badania kliniczne s� tworzone jako randomizowane badania kontrolowane w celu jak najlepszego oszacowania przyczynowego dzia�ania leku. Kluczem jest tutaj to, �e pacjenci dzieleni s� losowo na dwie grupy. Jeden bierze lek, a drugi tylko placebo. W niekt�rych sytuacjach nawet lekarze przeprowadzaj�cy badanie nie wiedz�, kt�ra grupa jest kt�ra (pr�ba podw�jnie �lepa). Jednym z najwi�kszych zmartwie� w tych testach jest to, �e przeoczyli�my zmienn� czaj�c� si� i �e podzia� pr�bek nie jest tak naprawd� losowy. W �wiecie online randomizowane kontrolowane pr�by s� najlepiej znane jako testy A / B. W te�cie A / B staramy si� ograniczy� ryzyko czaj�cych si� zmiennych, zwi�kszaj�c tylko pr�bk� testow�.

W medycynie nie mo�emy podda� wszystkich dost�pnych pacjent�w badaniu zwi�zanemu ze zdrowiem. Jednak w sprzeda�y detalicznej online mo�emy. Niezale�nie od tego, czy jest to test medyczny czy test online, kontrolujemy otoczenie. W te�cie A / B upewniamy si�, �e kto� wybrany do projektu strony A nigdy tego nie zrobi i zobaczy stron� internetow� B. Jeste�my w stanie to zrobi�, poniewa� mamy prawie pe�n� kontrol� nad naszym �rodowiskiem. Na przyk�ad mo�emy identyfikowa� odwiedzaj�cych za pomoc� plik�w cookie lub adresu IP i wy�wietla� im tylko okre�lon� stron� internetow�. Systemy te nigdy nie s� idealne, poniewa� niekt�rzy odwiedzaj�cy mog� korzysta� z kilku urz�dze� i dlatego s� nara�eni na obie wersje. Inni odwiedzaj�cy mog� zdecydowa� o usuni�ciu plik�w cookie i w zwi�zku z tym zobaczy� r�ne wersje witryny. Wniosek Holandii, �e nie mo�emy by� pewni co do skutku przyczynowego, jest prawdziwy. Jednak, najlepiej jak potrafimy, zmniejszyli�my potencjalne zmienne czaj�ce si�. W analizach medi�w spo�eczno�ciowych kontrolowane pr�by cz�sto nie s� mo�liwe. Na przyk�ad BP nie mo�e po prostu stworzy� kolejnego wycieku ropy, aby przetestowa� inn� strategi� medialn�. Nawet gdyby m�g� lub spowodowa�by kolejny wyciek ropy (oczywi�cie, �e nie), drugi wyciek ropy zosta�by oceniony przez t� sam� publiczno�� na ca�ym �wiecie, kt�ra widzia�a pierwsz�, a to wcze�niejsze do�wiadczenie wp�yn�oby na ich reakcje, wi�c mieliby�my jeszcze mniej kontrola zmiennych zewn�trznych. Wyciek ropy z Deepwater Horizon nie by� niestety jedynym w historii i mo�na by�o spr�bowa� wykorzysta� przesz�e wydarzenia, by rozdzieli� przyczyn� i skutek. Ale por�wnania te stanowi� powa�ne wyzwanie. Wyciek o podobnej wielko�ci niszcz�cy Stany Zjednoczone to wyciek Lakeview Gusher oko�o 100 lat temu. W 1910 r. media spo�eczno�ciowe nie istnia�y, a spos�b, w jaki ludzie wyra�aj� swoje opinie, zmieni� si� do�� radykalnie od tego czasu. Nowszym mo�e by� wyciek ropy w zatoce Prudhoe, kt�ry mia� miejsce w 2006 roku. W tym czasie istnia�y ju� media spo�eczno�ciowe i by� mo�e b�dziesz w stanie zmierzy� reakcj� opinii publicznej na to. Ale wyciek ten mia� tylko 1% wielko�ci katastrofy na wodach g��binowych pod wzgl�dem rozlanego oleju. By�o to r�wnie� na Alasce, a zatem nie wp�yn�o na tak wiele os�b. Obie r�nice sprawiaj�, �e ka�de por�wnanie jest do�� skomplikowane. Reakcja medi�w w przesz�o�ci mo�e stanowi� podstaw� do por�wnania, ale nie b�dzie to trudny pomiar, kt�rego szukamy. Prawd� jest, �e BP jest skrajnym przyk�adem, ale z regu�y trudno jest zrozumie� korelacj� w mediach spo�eczno�ciowych, poniewa� �adne dwa zdarzenia nie s� identyczne. We�my na przyk�ad sprzedawc� internetowego, kt�ry przekazuje rabaty potencjalnym klientom za po�rednictwem medi�w spo�eczno�ciowych. Podobnie jak BP, nie mo�e �atwo kontrolowa�, kto widzi kupony, a kto nie. Otwarty charakter medi�w spo�eczno�ciowych uniemo�liwia kontrol�. Bez grupy kontrolnej sprzedawca nigdy nie b�dzie pewien, co sk�oni�o ludzi do zareagowania na oferowane rabaty.

B��d lub dlaczego dane strukturalne s� najwy�sze

Drugim obszarem, na kt�ry nale�y zwr�ci� uwag� przy wyborze funkcji, jest b��d. Na pocz�tku mo�e wydawa� si� dziwne rozwa�anie b��d�w w naszych danych. Jednak prawie ka�dy typ danych zawiera b��d. �adna maszyna i �aden proces nie jest w 100% dok�adny, dlatego wszelkie dane b�d� zawiera� b��dy. W �wiecie online jeste�my przyzwyczajeni do tego, �e ten b��d jest niewielki. Klikni�cie to klikni�cie. Niekt�re klikni�cia mog� zosta� zg�oszone, a inne nie, z powodu r�nych pomiar�w lub r�nych system�w, kt�re przetwarzaj� te klikni�cia p�niej. Sytuacja staje si� jeszcze gorsza, je�li spojrzymy na media spo�eczno�ciowe. Aby automatycznie zrozumie� tekst pisany przez ludzi, media spo�eczno�ciowe u�ywaj� dodatkowych wska�nik�w, kt�re s� obliczane przy u�yciu logiki rozmytej. We�my przyk�ad nastroju lub wp�ywu. Te wska�niki s� mierzone bardziej jak prawdopodobie�stwo. "Negatywny" sentyment oznacza w rzeczywisto�ci: "Istnieje du�a szansa, �e istnieje negatywny sentyment". Widzieli�my algorytmy sentymentalne, w kt�rych wielko�� b��du by�a tak du�a, �e dawa�y pomiary, kt�re by�y tylko nieznacznie lepsze ni� zgadywanie. Dlatego nale�y pomy�le� dwa razy przed u�yciem tych funkcji w dowolnym pomiarze

Ustawia� : Ustrukturyzowane dane maj� ni�szy poziom b��du i dlatego s� cz�sto preferowane w stosunku do danych nieustrukturyzowanych.

Zbudowane : Dane strukturalne s� dok�adnie takie, jak si� podaje. S� to dane o z g�ry okre�lonej kolejno�ci, dzi�ki czemu komputer mo�e je �atwo odczyta� i z nimi pracowa�. Dane znajduj� si� w aktach, kt�re komputer mo�e przechowywa�, pobiera� i przetwarza�. Prostym przyk�adem by�aby Tabela 9-1. Ka�dy komputer mo�e to odczyta� i u�y� reprezentowanych przez siebie zmiennych. Poprzedni przyk�ad to prosta lista, ale struktura danych mo�e by� r�wnie� bardziej z�o�ona, przyjmuj�c formy takie jak tablice, drzewa, wykresy lub tabele skr�t�w.

Nieustrukturyzowane : Przeciwie�stwem danych strukturalnych s� dane nieustrukturyzowane. Dane nieustrukturyzowane to informacje, kt�re nie s� �atwo analizowane przez komputer. Mo�e to by� tekst (jak tweet), obrazy, g�os lub inne dane. Innym przyk�adem mo�e by� nast�puj�cy tweet: "Mam ochot� na jab�ka - 1,99 USD - my�la�em, �e �artuj�". Ten tweet zawiera pewne informacje, kt�re s� r�wnie� przechowywane w tabeli 9-1, g��wnie cen� jab�ek. Brakuje jednak niekt�rych informacji:

• Mo�esz za�o�y�, �e cena 1,99 USD powinna by� cen�.
• Znasz autora tweeta i �e on mieszka w Nowym Jorku, wi�c cena jest w USD, a nie w dolarach singapurskich. Dodatkowo oznacza to, �e cena dotyczy jednego funta jab�ek.
• Mo�esz za�o�y�, �e "�artowanie" oznacza pewn� reakcj� emocjonaln�, tak� jak smutek lub zdziwienie.

Z drugiej strony komputer b�dzie mia� trudno�ci ze zrozumieniem podstawowej zawarto�ci tego rodzaju tweet�w. Nawet po przeszkoleniu w zrozumieniu tego rodzaju nieustrukturyzowanych danych algorytm najprawdopodobniej b�dzie mia� wy�szy poziom b��du ni� w przypadku danych strukturalnych. Dlatego, je�li decydujesz, kt�r� funkcj� wybra�, najprawdopodobniej usuniesz funkcje, kt�re wykazuj� b��d. Dane strukturalne s� cz�sto czym� wi�cej ni� nieustrukturyzowane dane, poniewa� ma mniej b��d�w. Ta wiedza wyja�nia, dlaczego media spo�eczno�ciowe cz�sto nie s� tak pot�ne, jak mogliby�my si� spodziewa�. Media spo�eczno�ciowe w du�ej mierze generuj� nieustrukturyzowane dane i cz�sto zawieraj� stosunkowo wi�kszy poziom b��du w por�wnaniu do �r�de� ustrukturyzowanych. Jednak pomimo tego niedoci�gni�cia cz�sto zdarza si�, �e nieustrukturyzowane dane s� jedynymi dost�pnymi danymi. We�my na przyk�ad wysi�ki na rzecz poprawy marketingu lub obs�ugi klienta. Sukces zale�y od komentarzy generowanych przez u�ytkownik�w, a ka�dy udany projekt b�dzie opiera� si� na nieuporz�dkowanych danych. Kolejnym powodem, dla kt�rego nieustrukturyzowane dane s� coraz cz�ciej wykorzystywane, pomimo tego niedoci�gni�cia polegaj� na tym, �e wykorzysta�e� ju� wszystkie dost�pne dane ustrukturyzowane do analiz i prognoz, a teraz szukasz kolejnej przewagi konkurencyjnej. Przyk�ad mo�na znale�� w bran�y finansowej, jak zauwa�ono w "Przewidywaniu rynku akcji" na stronie 206. Fundusze hedgingowe wykorzysta�y ju� wi�kszo�� istniej�cych sygna��w danych do przewidywania zachowa� na rynku, dlatego nieustrukturyzowane dane pozostaj� w du�ej mierze niezbadane. Chocia� relacja nieustrukturyzowanych danych do wska�nik�w finansowych mo�e nie by� tak silna jak relacja danych ustrukturyzowanych, takich jak przychody, mamy nadziej�, �e mo�esz uzyska� dodatkowe informacje, kt�rych wcze�niej nie mia�e�.

Kost i wiedza wewn�trzna

Z wyszukiwaniem i przechowywaniem danych wi�� si� koszty. Pomimo ogromnej ilo�ci danych przez wi�kszo�� czasu nie b�dziesz po prostu otrzymywa� potrzebnych danych. Konieczne mo�e by� zakupienie go na zewn�trz lub utworzenie nowej infrastruktury IT, aby go uzyska�. Ponownie we�my za przyk�ad poj�cie sentymentu. Je�li algorytm automatyczny nie jest wystarczj�cy, mo�esz zawsze u�y� r�cznych czytnik�w, aby okre�li� nastr�j. Patrz�c na 25 TB danych tekstowych, nie wydaje si� to zbyt wykonalne. Dlaczego? Z powodu koszt�w. W ka�dym procesie wyboru funkcji, kt�rego mo�esz u�y�, rol� b�dzie mia� koszt pozyskania lub odzyskania danych. Opr�cz koszt�w istnieje si�a wiedzy poufnej. Dane, kt�re s� wy��czn� w�asno�ci� u�ytkownika, mog� w razie potrzeby zapewni� wi�ksz� przewag� konkurencyjn� ni� jakiekolwiek dane publiczne. Z danych publicznych mog� korzysta� wszyscy inni, co z kolei nie oznacza trwa�ej przewagi konkurencyjnej. We�my przyk�ad z Moneyball, �wietnej ksi��ki Michaela Lewisa i fascynuj�cego filmu. Billy Beane, dyrektor generalny Oakland Athletics, wykorzystywa� publicznie dost�pne statystyki aktywno�ci w grze, aby wykry� niedoszacowanych graczy. Korzystaj�c z tej techniki, m�g�by stworzy� zwyci�sk� dru�yn�, mimo �e ma mniejszy bud�et ni� wielu jego konkurent�w. To ekscytuj�ca historia. Ale czy stworzy�o to trwa�� przewag� konkurencyjn�? Nie! Gdy konkurencja zrozumia�a, �e wykorzystanie danych mo�e pom�c w przewidywaniu wynik�w, szybko nadrobili zaleg�o�ci, a dzi� wszystkie g��wne dru�yny baseballowe stosuj� sabermetrics do monitorowania wynik�w graczy. Podobny przyk�ad mo�na znale�� w firmach �wiadcz�cych us�ugi finansowe. Opieraj� si� na danych publicznych. Ich przewag� konkurencyjn� jest algorytm, czyli spos�b, w jaki syntezuj� dane. Tego rodzaju przewaga jest trudna do utrzymania. Nic wi�c dziwnego, �e Kwantowe fundusze hedgingowe to jedna z najbardziej tajnych organizacji, jakie widzieli�my. Zostali�my poproszeni o zawarcie umowy o nieujawnianiu informacji, aby�my mogli zapozna� si� z broszur� firmy. Zapytany, dlaczego firma uwa�a, �e jest to konieczne, poniewa� nie wy�wietlono �adnych informacji o ich algorytmach, odpowied� brzmia�a: "Ale nasze wykresy wydajno�ci s� w nim, wi�c mo�esz by� w stanie przekonstruowa� nasze formu�y."Cz�sto wykorzystujemy ide� konkurencyjno�ci, kt�ra pochodzi od wewn�trz. Mo�e to by� jeden z g��wnych powod�w, dla kt�rych Twitter nie jest tak cenny jak Facebook. Facebook ma znacznie lepsz� kontrol� nad swoimi danymi, podczas gdy Twitter sprzeda� swoje dane firmom takim jak Dataswift i Gnip. Z tego powodu dyskutujemy aby nie korzysta� z publicznych platform obs�ugi klienta, ale je posiada�.

PRZYPADEK:
M
Powrcamy do nowojorskiej kawiarni pe�nej przedsi�biorc�w dyskutuj�cych o algorytmach swatania: zrozumieli, �e musz� ograniczy� swoje zmienne. Ale jakich zmiennych powinni u�ywa�, a kt�re powinni ignorowa�? Zesp� planuje przeanalizowa� ca�y Facebook i po��czenia u�ytkownika na Twitterze. Czy ta zmienna powinna by� u�ywana w algorytmie swatania?

B��d
Czy jest technicznie wykonalna analiza wykres�w spo�eczno�ciowych kogo� w odniesieniu do sieci spo�eczno�ciowych takich jak Facebook i Twitter? A je�li tak, jaki by�by poziom b��du?

Zwi�zek przyczynowy
Czy pomiar wykresu zainteresowa� jest prawdziwym odzwierciedleniem jego rzeczywistych zainteresowa�? Jak prawdopodobne jest, �e ten wykres mierzonych odsetek jest dobrym czynnikiem wp�ywaj�cym na wyb�r partnera?

Koszt
Ile kosztuje odzyskanie danych? Czy tylko ty masz te dane i czy jest to potencjalna przewaga konkurencyjna? Jednak wykres spo�eczno�ciowy mo�e nie by� naszym pierwszym wyborem do dobierania par. Dlaczego?

B��d

Mierzenie liczby po��cze� i dla kogo jest �atwe. Albo s� to publicznie dost�pne informacje, jak na Twitterze, lub s� �atwo dost�pne po uzyskaniu dost�pu do profilu u�ytkownika na Facebooku. Mniej trudna do zmierzenia jest si�a po��czenia. Metody mog� obejmowa� analiz� retweet�w i zachowania zwi�zane z przesy�aniem wiadomo�ci. Jednak taki pomiar najprawdopodobniej b�dzie zawiera� znaczne b��dy, poniewa�:

• Nie ca�a komunikacja mo�e by� zmapowana. Na przyk�ad u�ytkownik mo�e mie� tylko kontakty ze szko�y �redniej na Facebooku, poniewa� nie chcia� straci� z nimi kontaktu. Jednak jego wa�na codzienna aktywno�� mo�e nie mie� miejsca na Facebooku.
• Istniej� ustawienia prywatno�ci. Coraz wi�cej przewodnik�w pomaga u�ytkownikom zachowa� prywatno�� cz�ci lub ca�o�ci, a tym samym nie jest �atwo dost�pna. Mo�e ta osoba utrzymuje nawet wiele to�samo�ci online, aby chroni� swoj� prywatno��?
Zwi�zek przyczynowy

Dawno temu Goethe wiedzia�, �e powinien istnie� zwi�zek przyczynowy mi�dzy twoj� to�samo�ci� a przyjaci�mi: "Powiedz mi, z kim si� kojarzysz, a powiem ci, kim jeste�". Ale jak silna jest ta przyczyna? Zw�aszcza w czasach, gdy na Facebooku mamy ponad 500 przyjaci�, a dziedzictwo spo�eczne nie okre�la, kogo mo�emy spotka�. Tak, skutki przyczynowe s� prawdopodobnie niewielkie, jak widzieli�my w rozdziale 1, w kt�rym dyskutowali�my, czy sieci spo�eczno�ciowe maj� wystarczaj�ce informacje, aby umieszcza� reklamy.

Koszt>

Koszt dotarcia do publicznej cz�ci tych informacji jest niski. Us�ugi takie jak Twitter oferuj� publicznie dost�pny dost�p (API), dzi�ki czemu ka�dy mo�e korzysta� z tych danych. Je�li jednak ka�dy mo�e skorzysta� z tych informacji, stworzenie przewagi konkurencyjnej b�dzie trudne. Prywatne dane nie s� �atwo dost�pne i cz�sto trzeba je kupi�. Dlatego wykres spo�eczno�ciowy mo�e nie by� naszym pierwszym wyborem. Mo�na argumentowa�, �e spos�b, w jaki ludzie korzystaj� z sieci spo�eczno�ciowej, zmieni si� z czasem, a ca�a komunikacja zostanie zmapowana. W takim przypadku i je�li informacje te s� dost�pne, musieliby�my ponownie om�wi� t� dyskusj�. Czy istniej� inne zmienne, kt�re mog�yby lepiej pasowa� do algorytmu swatania? Zgodnie z ide� uporz�dkowanych danych, zesp� wkr�tce przeszed� do kwestionariusza. Ustrukturyzowane dane, kt�re mo�na uzyska� za pomoc� kwestionariusza, maj� kilka zalet

B��d

Pomiar jest na og� bardziej dok�adny. Za��my na przyk�ad, �e pytasz w kwestionariuszu, ile lat ma kto� lub ile wykszta�cenia kto� osi�gn��. Mo�emy by� ca�kowicie pewni, �e wi�kszo�� ludzi udzieli dok�adnej odpowiedzi na to pytanie, wi�c poziom b��du b�dzie niski.

Zwi�zek przyczynowy

Przyczyna zale�y od pytania. Rozwa�my na przyk�ad ilo�� osi�gni�� edukacyjnych. Istnieje wiele bada� wskazuj�cych, �e podobne wykszta�cenie jest wa�ne dla dobrego osobistego dopasowania. I powiniene� by� w stanie zada� kilka pyta� dotycz�cych wszystkich rodzaj�w relacji, takich jak zaufanie i nawyki

Koszt

Koszt jest wy�szy, poniewa� masz obowi�zek stworzenia ankiety i znalezienia respondent�w. Jednak p�niej te informacje s� twoje i mog�, w razie potrzeby, stanowi� przewag� konkurencyjn�.

Nie wiemy, czy m�ody startup OkCupid (@okcupid) post�powa� zgodnie z koncepcjami przedstawionymi w tym rozdziale. Chris Coyne i Sam Yagan spotkali si� w Nowym Jorku i na pewno przyj�li odpowiednie metody. U�ywaj� tylko kwestionariusza, w kt�rym dla ka�dego pytania (na przyk�ad "Jak bardzo jeste� ba�aganiarski?") Prosz� Ci� o:

1. Odpowiedz dla siebie.
2. Odpowiedz, jak chcesz, aby tw�j partner odpowiedzia�.
3. Wska�, jak wa�ne jest to pytanie.

(Przeczytaj wi�cej o ich podej�ciu na swojej stronie internetowej.) Wygl�da na to, �e system dzia�a, a u�ytkownicy twierdz�, �e pokonuje wi�kszo�� mechanizm�w dobierania graczy. Boston Globe nazywa je "Google randek internetowych". 6 OkCupid zosta� zakupiony w 2011 roku przez Match.com

Obawy dotycz�ce prywatno�ci

Pytanie o to, jakich danych u�ywasz, ma inny wymiar: prywatno��. To zawsze by� problem. Ale ostatnie odkrycia by�ego agenta CIA Edwarda Snowdena u�wiadomi�y wszystkim bole�nie, �e jeste�my monitorowani. Nie wszystko, co mo�emy zmierzy�, powinno by� mierzone. Nie ka�dy nowy wynalazek oparty na danych spotka si� z powszechn� akceptacj�. Wykorzystanie danych do uzyskania wgl�du w twoje �ycie jest coraz bardziej krytyczne. Pewien rosyjski programista dowiedzia� si� o tym po wydaniu aplikacji iPhone Girls Girls Me. Ta aplikacja po��czy�a dane lokalizacji z Foursquare z profilami medi�w spo�eczno�ciowych, aby pokaza� kobietom, kt�re zameldowa�y si� w pobliskich lokalizacjach, wraz z danymi osobowymi, takimi jak ich wiek, preferencje i sytuacja rodzinna. Po artykule na temat tej aplikacji oburzono si� na wykorzystywanie danych osobowych w ten spos�b, a niekt�rzy twierdzili, �e seksualnym drapie�nikom �atwiej jest prze�ladowa� kobiety. Wkr�tce Foursquare wycofa�o pozwolenie dla Girls Around Me na wykorzystanie danych, czyni�c je bezu�ytecznymi, a wkr�tce potem zosta�o wycofane z rynku. W zwi�zku z tym istniej� wyzwania natury spo�ecznej, opr�cz problem�w zwi�zanych z prawid�owym odpowiedzi� na pytanie i poprawno�ci� danych. W "The Creepy Factor" na stronie 21 zajmujemy si� kwesti� prywatno�ci. Jedn� z najwi�kszych przeszk�d w korzystaniu z danych w mediach spo�eczno�ciowych jest czynnik przera�aj�cy lub to, jak reaguj� na nie konsumenci.

Wyb�r danych

W ostatniej sekcji omawiali�my funkcje lub zmienne oraz sposoby ich ograniczenia. Ale nawet je�li wszystkie funkcje s� wybrane, czasem warto zmniejszy� ilo�� wykorzystywanych danych. Mo�e si� to wydawa� dziwne w czasie, gdy wszyscy omawiaj� du�e zbiory danych. Dzi� masz ca�� technologi� do obs�ugi du�ych ilo�ci danych, wi�c dlaczego warto je zmniejszy�? Je�li dane s� warto�ci�, czy� wi�cej danych nie powinno r�wna� si� wi�kszej warto�ci?

Dane bez d�wi�ku to po prostu szum.
-XAVIER AMATRIAN (@XAMAT)

Odpowied� brzmi nie. Jak zauwa�y� Xavier Amatrian, wi�cej danych mo�e by� po prostu szumem, je�li nie zostanie w�a�ciwie wykorzystany. W innych sytuacjach wi�cej danych mo�e jedynie stanowi� wi�ksze obci��enie. Ile punkt�w danych potrzebujesz do opisania linii? Dwa! Nawet je�li u�yjesz dw�ch milion�w punkt�w, nie zmieni to twojej dok�adno�ci. Istniej� dwa sposoby ograniczenia danych:

Pr�bkowanie

Czy wystarcz� dwa punkty, czy b�d� potrzebowa� wi�cej? A je�li potrzebuj� wi�cej, ile? Na pytania te zostan� udzielone odpowiedzi w formie pr�by.

Podzbiory

Czasami, jak widzieli�my w "Case Study: Major Telecom Company" na stronie 219, podzbi�r mo�e faktycznie ujawni� spostrze�enia, kt�rych nie widzieliby�my inaczej z powodu ha�asu.

Pr�bkowanie

Pobieranie pr�bek jest procesem polegaj�cym na wykorzystaniu jedynie ma�ej statystycznie istotnej pr�bki wszystkich potencjalnych danych w celu uzyskania pewnej wiedzy na temat populacji statystycznej. W przypadku linii wystarczaj�ce by�yby dwa punkty danych. Ile punkt�w potrzebujemy jednak, aby wyszkoli� system rekomendacji? Przynajmniej w tym przypadku algorytm nie musi tworzy� wszystkich potencjalnych ga��zi modelu drzewa decyzyjnego. Xavier zg�osi� co� podobnego. Przeanalizowa� potrzebny rozmiar pr�bki, aby wystarczaj�co wyszkoli� silnik sugestii z Netflix.

Podzbiory

Podzbi�r danych mo�e by� u�yty, je�li celowo ograniczymy jedn� lub wi�cej zmiennych. W ten spos�b mo�emy zmniejszy� zmienno�� lub szum i lepiej zobaczy� okre�lone relacje w danych. Do tej pory m�wili�my o zaletach pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi. Aby poradzi� sobie z nieustrukturyzowanymi danymi, wprowadzamy pomiary w aby uczyni� te dane cz�ciowo ustrukturyzowanymi. W kontek�cie medi�w spo�eczno�ciowych takim pomiarem jest s�owo kluczowe. S�owo kluczowe to s�owo lub wyra�enie, kt�re musi zawiera� si� w naszym nieuporz�dkowanym tek�cie. S�owa kluczowe stanowi� skuteczny spos�b na wyci�cie cz�ci nieustrukturyzowanych danych w celu dalszej analizy lub analizy por�wnawczej. Jednak s�owo kluczowe tworzy r�wnie� skuteczny podzbi�r w zestawie danych. Za��my, �e chcesz przeanalizowa� wp�yw rozm�w w mediach spo�eczno�ciowych na sprzeda�. Mo�esz wzi�� wszystkie miliardy tweet�w, kt�re kiedykolwiek napisano, i spr�buj skorelowa� je z wynikami sprzeda�y. Ten rodzaj pracy wymaga nie tylko du�ego nak�adu zasob�w (poniewa� jest to naprawd� du�e zbiory danych), ale jest r�wnie� ca�kowicie bezu�yteczny. Nie uzyskasz z tego niczego przydatnego, poniewa� nie wygeneruje on �adnych wgl�d�w. Poziom ha�asu przekroczy rzeczywisty sygna�, kt�ry chcesz zmierzy�. Dlatego u�ywamy s�owa kluczowego, a Ty analizujesz tylko korelacj� mi�dzy tweetami, kt�re wspominaj� Twoj� mark�, a przychodami ze sprzeda�y. Chocia� wydaje si� to rozs�dnym podej�ciem, nie ma jednej prawdy w sposobie konfigurowania s�owa kluczowego. J�zyk ludzki jest wieloaspektowy i istnieje wiele sposob�w wyra�enia nawet jednej marki. W rezultacie ka�dy podzbi�r, kt�ry tworzymy za pomoc� s��w kluczowych, jest nowym �r�d�em b��du.

"Znam s�owa kluczowe"

Mo�esz teraz skin�� g�ow� i powiedzie�, �e znasz poj�cie s��w kluczowych. Na koniec ka�dy z nas korzysta� ju� z Google, Bing lub innej wyszukiwarki. Dlatego uwa�amy, �e rozumiemy, jakie s� s�owa kluczowe. Ale b�d� przygotowany na niespodziank�. Konfiguracja s��w kluczowych w Google i konfiguracja s��w kluczowych do analizy du�ych zbior�w danych s� bardzo r�ne. Dobry projekt s�owa kluczowego mo�e potrwa� tygodnie, a nawet miesi�ce i nie jest trywialnym problemem. Dlaczego? Czy kiedykolwiek mia�e� problem z wyszukiwaniem Google, �e pierwszy wpis nie by� tym, czego szuka�e�, ale drugim lub trzecim na wy�wietlonej li�cie? Jak u wi�kszo�ci z nas, zdarza si� to cz�sto. Wyszukiwanie w Google jest procesem dwuetapowym. W pierwszym kroku wpisujemy s�owo kluczowe, a Google wy�wietla niekt�re wyniki. W drugim kroku r�cznie sprawdzamy te wyniki i wybieramy ten, kt�ry najbardziej nam si� podoba 25 najlepszych wynik�w. Dzi�ki monitorowaniu w mediach spo�eczno�ciowych nie mo�e by� drugiego r�cznego kroku, poniewa� musi to by� zautomatyzowany proces. S�owo kluczowe dla marki mo�e generowa� setki, a nawet tysi�ce artyku��w dziennie. W zwi�zku z tym nie ma mo�liwo�ci ani mo�liwo�ci przeprowadzenia r�cznego procesu sprawdzania, takiego jak w przypadku wyszukiwania Google. Oczekiwania dotycz�ce s�owa kluczowego dla firmy monitoruj�cej media spo�eczno�ciowe s� znacznie wy�sze ni� w przypadku wyszukiwania w Google.

Brak prawdy

S�owo kluczowe wspieraj�ce zesp� marketingowy w analizie warto�ci marki b�dzie wygl�da� inaczej ni� s�owo kluczowe, kt�re ostrze�e dzia� PR o wirusowych dyskusjach na temat marki. Niestety w projektowaniu s��w kluczowych nie ma prostej z�otej regu�y. Ka�de s�owo kluczowe ma swoje wady. Jest ustawiony albo zbyt szeroko lub zbyt w�sko. Wi�cej informacji na temat konfiguracji s��w kluczowych znajduje si� na pasku bocznym. Je�li s�owo kluczowe jest skonfigurowane zbyt szeroko, pozwoli na w��czenie zbyt wielu niepotrzebnych artyku��w, post�w, tweet�w itp. Do twojego zbioru danych. Spowoduje to zniekszta�cenie danych analitycznych. Je�li filtr jest zbyt w�ski, mo�e dopuszcza� tylko poprawn� tre��, ale mo�e brakowa� odpowiednich artyku��w. Spowoduje to r�wnie� zniekszta�cenie danych analitycznych. Nigdy nie b�dzie 100% poprawne s�owo kluczowe. Musisz wiedzie� o tym fakcie, zanim u�yjesz s��w kluczowych do podj�cia decyzji. Sp�jrzmy na przyk�ad na wszystkie opublikowane artyku�y dotycz�ce marki samochodu. Obj�to�� artyku��w jest przedstawiona na schemacie Venna Rycina 9-11. Tutaj mo�esz zobaczy�, jak trudno jest znale�� r�wnowag� dla aktualnego terminu marki. Zbi�r danych obejmuje wszystkie artyku�y wspominaj�ce termin marki. Ze wzgl�du na nasz� dyskusj� powiedzmy, �e nazwa marki to "Renault". Analiza danych jest przeprowadzana dla zespo�u marketingowego i powinna powiedzie� im, w jaki spos�b publiczna dyskusja na temat "Renault" koreluje z ich wysi�kami pozycjonowania. Oznacza�oby to, �e sprzeda� z drugiej r�ki lub jakiekolwiek lokalne wiadomo�ci o wypadku z udzia�em Renault nie s� interesuj�ce. Najprawdopodobniej nie maj� one zwi�zku z dzia�aniami marketingowymi i dlatego mog� by� traktowane jak ha�as. Musimy zatem zrobi� podpr�bk� z danych. Ale jak? Wprowadzaj�c kolejny filtr s��w. Na przyk�ad, mogliby�my wykluczy� wszystkie artyku�y wymieniaj�ce s�owo "wypadek" lub "sprzeda�". Ka�de wykluczenie spowoduje niestety r�wnie� wyci�cie potrzebnych artyku��w. Nie zobaczymy ju� artyku�u informuj�cego o tym, �e "sprzeda� samochod�w z Renault" wzros�a. Nie zobaczyliby�my r�wnie� informacji o "wycofaniu, aby zapobiec dalszym wypadkom". Oba s� jednak bardzo istotne dla naszych dzia�a� pozycjonuj�cych.

Problemy z w�a�ciwym s�owem kluczowym

S�owa kluczowe to spos�b poruszania si� po zestawie danych. Podobnie jak indeks w ksi��ce, utworzy si� indeks w ramach danych nieustrukturyzowanych. S�owa kluczowe pomagaj� szybko znale�� odpowiedni� cz�� tekstu. Jednak bez wzgl�du na to, czy korzystasz z najnowszej technologii, takiej jak Lucene, kt�ra obejmuje szybkie i �atwe "wyszukiwanie pe�notekstowe", problemy z okre�leniem wyra�nego podzbioru danych pozostaj� takie same. Ka�da osoba konfigurowa�aby s�owa kluczowe inaczej. Nie ma dobra ani z�a. Dlatego konfiguracja s��w kluczowych jest cz�sto najlepszym wysi�kiem . Aby zdefiniowa� podzbi�r danych, powinni�my u�ywa� prostych s��w kluczowych, a nie wyszukiwania pe�notekstowego. Proste s�owa kluczowe maj� ustalon� struktur�: ka�de s�owo kluczowe ma termin podstawowy, kt�ry nast�pnie zostaje zaw�ony przez dodatkowe filtry i wyj�tki. S�owa kluczowe, filtry i wyj�tki to ci�gi tekstowe:

(S�owo podstawowe) ORAZ (Filtruj) NIE (wyj�tki)

Ze wzgl�du na z�o�ono�� projektu s�owa kluczowego konfiguracja powinna nigdy nie mo�na tego zrobi� bez obszernych test�w. Kto� musi oceni�, czy znalezione artyku�y pasuj� do pytania, czy nie. Jest to r�czny krok, taki jak przegl�d, kt�ry wykonujemy w wyszukiwarce Google. Dla ka�dego s�owa podstawowego musisz wykona� osobny proces iteracji, aby sprawdzi�, czy filtry s� odpowiednie. Po zdefiniowaniu wszystkich s��w podstawowych s� one ��czone w jeden zestaw danych do dalszego przetwarzania. Wskaz�wki krok po kroku to:

1. Badania.
a. Badanie g��wnego okresu bazowego.
b. Znajd� wyj�tki od okresu bazowego.
c. Skr�ty badawcze.
d. Znajd� wyj�tki od skr�t�w.

e. Zbadaj sposoby wspomnienia o tym wyra�eniu w mediach spo�eczno�ciowych (np. hashtag lub za po�rednictwem uchwytu na Twitterze).

2. Przetestuj wyniki wyszukiwania i wr�� do kroku 1, o ile test nie jest wystarczaj�cy.

3. Powt�rz krok 1 z innymi sposobami odwo�ywania si� do s�owa kluczowego.
4. Przet�umacz podstawowe s�owo, skr�ty i wykluczenia na inne interesuj�ce j�zyki.
5. Sprawd� wyniki tych t�umacze�.
Krok 3 cz�sto mo�na upro�ci�. Cz�sto marka jest najlepsza i jedyny spos�b na opisanie tego, czego szukasz. Jednak aby uzyska� dost�p do wszystkich danych, nale�y wzi�� pod uwag� b��dy ortograficzne. Je�li g��wne s�owo kluczowe jest cz�stym tematem, kt�ry mo�na opisa� na wiele sposob�w (np. Pi�ka no�na), b�dziesz potrzebowa� wsparcia z modeli ontologicznych.

Krok 4 r�wnie� cz�sto mo�na upro�ci�. Wiele algorytm�w indeksowania i wyszukiwania, takich jak wyszukiwanie elastyczne, oferuje obs�ug� wielu j�zyk�w. Chocia� jest to wygodne, nale�y korzysta� z nich z du�� ostro�no�ci�. Te t�umaczenia mog� czasami by� bardzo myl�ce. Przejd�my przez jeden kompletny przyk�ad, wykorzystuj�c producenta samochod�w "Renault". Zadaniem powinno by� przechowywanie wszystkich artyku��w o Renault, aby mo�na je by�o p�niej wykorzysta� do dalszych bada�, w tym do dyskusji na temat wypadk�w i wyprzeda�e u�ywane. Badania ujawni�, �e Renault jest r�wnie� mark� koniaku, dlatego musimy udoskonali� nasze s�owo kluczowe, poniewa�:

"Renault" NIE "Winiarnia" NIE "Koniak"
Czy Renault ma skr�t? Tak, symbol gie�dowy "RNO". Warto uwzgl�dni� ten termin w wyszukiwaniu; b�dzie to jednak oznacza�, �e musimy wykluczy� niekt�re inne warunki "RNO", poniewa� mog� one oznacza� co� innego ni� zwyk�e akcje. Mo�esz tak�e do��czy� hashtagi lub uchwyty na Twitterze dotycz�ce Renault. W wyniku tych bada� pojawi si� nast�puj�ce wyra�enie wyszukiwania:

1. ("Renault" NIE "Winiarnia" NIE "Koniak")
2. ("RNO" NIE "Nuklearny" NIE "NITRID")
3. ("Renault-Nissan")
4. ("#Renault")
5. ("#RNO" NIE "Nuklearny" NIE "NITRID")
6. ("# Renault-Nissan")
7. ("@Renault_Live")
8. ("@NissanMotorCo")

Trzeba b�dzie teraz przej�� do badania wszystkich marek Renault, as ludzie mog� odnosi� si� do Renault, m�wi�c po prostu "Clio" lub "Twingo" itp. Po zako�czeniu pracy wszystkie te warunki nale�y sprawdza� indywidualnie, wed�ug rodzaju medi�w i j�zyka. We�my tylko te osiem warunk�w i ograniczmy si� tylko do wiadomo�ci online, Facebooka i Twittera. Nawet przy ograniczeniu nadal istniej� 3 � 8 = 24 r�ne kontrole. Za��my dalej, �e chcesz przeanalizowa� sze�� j�zyk�w. Na koniec potrzebujesz 6 � 8 = 48 r�nych ci�g�w s��w kluczowych

Analityka Z Social MediaSocial Media

U�yj w�a�ciwych danych