Fulltextové hledání

Příklady využití

Ještě než se podíváme na principy fungování fulltextového hledání, uvedeme zde několik příkladů využití hledání v různých agendách, včetně konkrétního nastavení v agendě Fulltextové hledání, abyste si dokázali nastavit fulltextové hledání snadno a rychle. Další příklady jsou pak uvedeny v sekci Další příklady definic a výsledky hledání.

Pokud příklady použijete v praxi a nastavíte podle nich jednotlivá hledání v agendě Fulltextové hledání, je třeba nad záložkou Seznam v této agendě ručně spustit funkci Aktualizovat fulltext, aby se vytvořily indexy a vyhledávání tak mohlo být aktivní.

Vyhledávání v agendě Faktury vydané pomocí čísla dokladu

Jedna z nejčastějších potřeb uživatelů v dokladových agendách je fulltextové hledání podle čísla dokladu. Ukážeme si nastavení na příkladu v agendě Faktury vydané. Uživatel chce vyhledávat doklady např. zadáním "FV-3".

V agendě Fulltextové hledání vytvoříme nový záznam. Agendu vybereme Faktury vydané a nastavení provedeme dle tabulky níže.

Typ	Název	Výraz	Popis	Dělení slov
QR výraz	Číslo dokladu	DisplayName	Vyhledávání dle čísla dokladu. V sekcích Min délka slova a Max. délka slova můžeme ovlivnit ještě minimální a maximální délku hledaného slova.	Bílé znaky

Vyhledávání v agendě Faktury vydané pomocí firmy z dokladu

Dalším častým požadavkem je nastavení fulltextového vyhledávání podle firmy z dokladu. Ukážeme si nastavení na příkladu v agendě Faktury vydané. Uživatel chce vyhledávat doklady podle prvních tří písmen názvu firmy z dokladu.

V agendě Fulltextové hledání vytvoříme nový záznam. Agendu vybereme Faktury vydané a nastavení provedeme dle tabulky níže.

Typ	Název	Výraz	Popis	Dělení slov
QR výraz	Firma	Firm_ID.Name	Vyhledávání dle názvu firmy z dokladu. V sekcích Min délka slova a Max. délka slova můžeme ovlivnit ještě minimální a maximální délku hledaného slova.	Bílé znaky

Vyhledávání v agendě Objednávky přijaté přes všechny řádky dokladů pomocí kódu nebo názvu Artiklu

Mnoho zákazníků má potřebu vyhledávat v dokladech agendy Objednávky přijaté nikoliv podle čísla dokladu, ale podle obsahu řádků. Potřebují najít doklady, které obsahují konkrétní artikl. Hledat chtějí podle kódu nebo názvu artiklu. Takové hledání je už složitější, jelikož využívá SQL dotaz.

V agendě Fulltextové hledání vytvoříme nový záznam. Agendu vybereme Objednávky vydané a nastavení provedeme dle tabulky níže.

Typ	Název	Výraz	Popis	Dělení slov
SQL	Řádky	SELECT RO2.Parent_ID as ID, COALESCE(SC.Code \|\| ' ' \|\| SC.Name, RO2.Text) as Text FROM ReceivedOrders2 RO2 LEFT JOIN StoreCards SC ON SC.ID = RO2.STORECARD_ID	Vyhledávání dle kódu nebo názvu artiklu napříč obsahem dokladů.	Bílé znaky

Vyhledávání v agendě Artikly pomocí EAN kódu

Často je potřeba hledat záznamy podle EAN kódů. Takové hledání je už složitější, proto pro něj využijeme SQL dotaz.

V agendě Fulltextové hledání vytvoříme nový záznam. Agendu vybereme Artikly a nastavení provedeme dle tabulky níže.

Typ	Název	Výraz	Popis	Dělení slov
SQL	EAN	SELECT SU.Parent_ID as ID, S.EAN as Text FROM StoreUnits SU JOIN StoreEANs S ON S.Parent_ID = SU.ID	Vyhledávání dle EAN pomocí SQL dotazu	Bílé znaky

Princip fulltextového hledání

Princip fulltextového hledání spočívá ve vytvoření množiny slov z vybraných položek požadované agendy. Tato slova se umístí do nové tabulky v databázi začínající prefixem FSU$.

Před zavedením podpory Unicode pro fulltextové hledání v systému ABRA Flores se pro tabulky (jejichž kódování bylo ANSI) používal název prefixu FS$. Po zavedení Unicode se tabulky nově vytvářejí s prefixem FSU$, díky čemuž je možné rozlišit tabulky se starým a novým kódováním mezi sebou. K tabulkám fulltextového hledání dříve vytvořeným v ANSI je možné dogenerovat tabulky s prefixem FSU$ v Unicode pomocí funkce Převést na unicode. Staré tabulky v ANSI s prefixem FS$ v systému zůstanou, ale budou již zbytečné, nebudou se používat. Tyto již zbytečné tabulky je možné následně odstranit pomocí funkce Aktualizovat fulltext.

Při založení nebo změně definice se slovům v tabulce musí ručně pomocí funkce Aktualizovat fulltext napočítat tzv. indexy, díky kterým je pak umožněno rychlé hledání. Po prvním ručním napočítání indexů dochází pak při každém uložení záznamu v patřičné agendě k indexaci záznamů automaticky.

Automatická indexace záznamů je z uživatelského pohledu výhodná (indexy jsou stále aktuální, uživatel má jistotu, že se při každém použití fulltextového hledání prohledávají aktuální data, ruční aktualizaci indexů stačí provádět při úpravách definic), nicméně nevhodně navržená (příliš extenzivní) definice indexů může způsobit výrazné zpomalení práce se systémem.

Typickým příkladem jsou editační položky typu poznámka. Ve většině případů je délka zadávaného textu ve formulářích omezena na 8192 znaků, ale v některých případech toto omezení neplatí a do položky je možné zadat téměř libovolně dlouhý text (příkladem je poznámka na skladové kartě). Pokud do výrazu v definici fulltextového hledání zahrnete takovou položku a následně do ní při editaci záznamu vložíte text v délce stovek tisíc znaků, uložení jediného záznamu může trvat v závislosti na konfiguraci i desítky minut.

Slova jsou při ukládání do tabulky převedena na velká písmena a při vyhledávání se hledaný textový řetězec taktéž převádí na velká písmena. Jejich velikost tudíž nehraje roli. Při ukládání se odstraňuje veškerá diakritika (např. "převodka" bude uloženo jako "PREVODKA" atp.) a při hledání slov ji tedy není třeba zadávat. Slovem se rozumí textový řetězec, jehož délku a hranice je možné uživatelsky ovlivnit v detailu definice hledání. V implicitním nastavení a při inteligentním dělení slov je jím nicméně míněn řetězec od 0 do 100 znaků, ze kterého se odstraní interpunkční znaménka a který zohledňuje (tj. nedělí) některé užívané řetězcové konvence (e-mailová adresa, internetová adresa, číslo dokladu).

Pro samotné vyhledávání podporuje systém ABRA Flores v současné době následující režim:

zjednodušené fulltextové hledání

Ve starších verzích systému ABRA Flores bylo používáno složitější fulltextové hledání s podporou logických operátorů.

Zjednodušené fulltextové hledání je výrazně rychlejší (pokud se nepoužívá hledání uprostřed slov) než dříve používané hledání s logickými operátory

Zjednodušené fulltextové hledání

Pro zjednodušené fulltextové hledání platí následující:

Pokud je do výrazu zadáno více slov, vyhledají se pouze záznamy obsahující všechna hledaná slova (jako by byl mezi každou dvojicí slov použitý logický operátor AND).
Není-li určeno jinak, vyhledávají se pouze záznamy obsahující slova, která začínají zadaným řetězcem.
Uživatel nicméně může některá hledaná slova uvodit hvězdičkou a tím si vynutit hledání zadaného řetězce i uprostřed slov.
Jednotlivá slova nebo části slov je možné oddělit operátorem OR, poté se vyhledají záznamy obsahující libovolné ze zadaných slov nebo fragmentů. Viz také popis použití operátoru OR v kapitole Panel pro fulltextové hledání.

Pokud se zadaný řetězec hledá jen na začátku slov, je nový způsob hledání výrazně rychlejší. Pokud se však zadaný řetězec hledá ve slovech uvozených hvězdičkou (tzn. také uprostřed slov), je hledání naopak pomalejší. Používání této varianty proto vždy důkladně zvažte.

Chcete-li vyhledat všechny záznamy, které v indexovaných položkách obsahují slova začínající řetězcem abc, do pole Fulltext zapíšete abc.

Chcete-li vyhledat všechny záznamy, které v indexovaných položkách obsahují řetězec abc kdekoliv, i uprostřed slov, do pole Fulltext zapíšete *abc.

Viz také popis položky Výraz v kapitole Panel fulltextového hledání.

Fulltextové hledání s logickými operátory

Tento režim vyhledávání byl k dispozici do verze 9.1 včetně, níže uvedený popis uvádíme jen pro úplnost, z historických důvodů. V aktuální verzi byl nahrazen zjednodušeným fulltextovým hledáním popsaným výše.

Při vyhledávání v tomto režimu platí, že interně je zapnuta tzv. rozšířená syntaxe. Hledání však ruší nutnost (nikoli možnost, viz níže) hvězdičkové konvence a systém dohledá záznam při zadání jakéhokoli úseku slova uloženého v tabulce. Pokud je tedy v tabulce uloženo slovo firma, bude záznam s tímto slovem dohledán, když budou do výrazu pro hledání zadány řetězce fir, rm, irma či i atp.

U uvozovek platí, že vyhledávaný text uzavřený do uvozovek bude hledán přesně. Zároveň s uvozovkami (ale pouze s nimi!) je možné kombinovat i symbol hvězdičky:

Hledaný řetězec	Výsledek
top ten	Hledá se "%top% AND "%ten%". Tedy např. aaatopaaa bbbtenbbb.
"top" "ten"	Hledá se "top" AND "ten". Tedy přesně top ten.
"top" ten	Hledá se "top" AND "%ten%". Tedy např. top bbbtenbbb.
"top*" ten	Hledá se "top%" AND "%ten%". Tedy např. topaaa bbbtenbbb.

Znak % odpovídá v databázi znaku hvězdičky. AND je logický operátor pro "a zároveň".

Lze tedy také využívat logické operátory AND, OR a NOT, stejně jako v rozšířené syntaxi.

Co se týče znaků + a -, tak pokud je + a - uprostřed zadaného slova, zachová se. Pokud je na začátku, zachová se taky, ale ve smyslu speciálního znaku - tedy zahrnout nebo nezahrnout do hledání. Pokud chceme hledat slovo, které začíná na + nebo -, je třeba ho odsadit escape znakem, tedy \+slovo nebo \-slovo. Pozor však, jakým způsobem je prováděno ukládání fulltext výrazů - pokud je nastaveno Dělení slov jako Inteligentní anebo Vlastní tak se takové slovo nemusí uložit ve fulltextovém slovníku tak, jak se očekává. Operátory závorek není možné použít.

Vytvoření definice fulltextového hledání

Aby bylo možné fulltextové hledání v dané agendě používat, je nutné mít pro tuto agendu vytvořenou definici fulltextového hledání. To je možné těmito způsoby:

Pomocí Průvodce vytvořením definice fulltextového hledání přímo v dané agendě.
Vytvořením definice v agendě Fulltextové hledání.

Omezení množiny prohledávaných dat

Při používání fulltextového hledání není nutné prohledávat všechny položky ve všech záznamech v dané agendě. Množinu prohledávaných dat je možné omezit dvěma základními způsoby:

Omezení množiny prohledávaných záznamů - před zahájením hledání je možné zobrazený seznam omezit s využitím omezení nebo filtru a následně prohledávat pouze tuto omezenou podmnožinu. Více viz popis ovládacího prvku Vyhledávat ve zvolené skupině / filtru.
Omezení množiny prohledávaných indexů - v rámci definice fulltextového hledání v určité agendě je možné vytvořit několik indexů nad různými položkami a následně jednotlivé indexy aktivovat nebo deaktivovat dle potřeby. Více viz popis ovládacího prvku Indexy.

Neúmyslná aplikace omezení je nejčastější způsob, proč fulltextové hledání nenalezne všechna požadovaná data.

Další příklady definic a výsledky hledání

Pro pochopení fungování fulltextového hledání nabízíme dva typové příklady:

Vyhledávání v agendě Firmy pomocí názvu firmy s ohledem na min. a max. počet slov

Komplexní příklad, který popisuje vytvoření fulltextového hledání i úskalí v podobě nesprávně zadaného minimálního a maximálního poštu slov.

V agendě Firmy mějme založené tři firmy s názvy AAA, XY a Česká automobilka a.s. V agendě Fulltextové hledání vytvořme nový záznam, navažme jej na agendu Firmy, pomocnou db. tabulku ponechme s názvem Firms (v databázi tak vznikne tabulka s názvem FSU$FIRMS). Dále založme tyto řádky: v položce název zadejme Název, v položce dělení nastavme Inteligentní, min. délku slova nastavme na 3, max. délku slova na 8, v položce výraz vyberme datovou položku Name (Název) a definici uložme. Následně vyvolejme nad uloženým záznamem funkci Aktualizovat fulltext.

Pokud se nyní přepneme do agendy Firmy a do výrazu v panelu fulltextového hledání zadáme XY a stisknutím enteru provedeme dotaz, tak systém nic nenajde, neboť jsme v definici omezili min. délku slova na 3 znaky. Stejně tak i při pokusu o hledání slova automobilka bude výpis prázdný, neboť maximální délka slova byla nastavena na 8 znaků (a v tabulce je tedy uloženo slovo automobi, neboť systém slova ořezává na zadaný počet znaků zleva). Úspěšné výsledky tedy získáme u řetězců AAA, česká či automobi.

Z toho vyplývá, že při určování minimální a maximální délky slov musíme dbát na to, aby se do tabulky dostaly skutečně všechny řetězce a tedy vymezené hranice nebyly příliš restriktivní. V našem případě by tedy ideální nastavení bylo minimální délka slova 2 (aby se do tabulky dostal i název firmy XY) a maximální délka slova nejméně 11 (aby se do tabulky dostalo celé slovo automobilka). Pokud se slova dělí, pak je obvykle maximální délka slova nastavena na nejdelší očekávatelné slovo, které se v poli vyskytne nebo bude vyskytovat. Je dobré počítat s určitými rezervami.

Vyhledávání v agendě Artikly pomocí části kódu

Komplexní příklad, který popisuje vytvoření fulltextového hledání nad agendou Artikly za pomocí části kódu.

V agendě Artikly potřebujeme vyhledávat v kódu artiklů například část kódu jako 11-04 nebo 18-30, nebo 20-48. Vytvoříme nový index fulltextového hledání pro artikly a hodnoty zadáme podle tabulky níže. Z tabulky je nejdůležitější sloupec Název a Výraz. Sloupec Popis, jen vysvětluje důvod nastavení a uvádí příklad.

Typ	Název	Výraz	Popis	Dělení slov
QR výraz	Suffix Code, two char before -	IF (NxCharPosR('-', Code)=0, '', NxRight(Code, NxStrLen(Code) - NxCharPosR('-', Code) +1 +2))	Vyhledávání dle části kódu začínající dva znaky před posledním výskytem znaku - Například kód . SJT00RT20-48SB(014) Vytvoří záznam do hledání: 20-48SB(014) Díky tomu lze vyhledat jen zadáním: 20-48	Bílé znaky

Tento příklad navazuje velmi úzce na předchozí příklad. Pro případy, kdy by bylo třeba hledat v textu ne před posledním výskytem znaku-, ale před předposledním stačí upravit výraz dle tabulky níže. Z tabulky je nejdůležitější sloupec Název a Výraz. Sloupec Popis, jen vysvětluje důvod nastavení a uvádí příklad.

Typ	Název	Výraz	Popis	Dělení slov
QR výraz	Suffix Code, two char before second -	IF (NxCharPosR('-', Code)=0, '', IF (NxCharPosR('-', NxLeft(Code, NxCharPosR('-', Code))) = 0, '', NxRight(Code, NxStrLen(Code) - NxCharPosR('-', NxLeft(Code, NxCharPosR('-', Code)-1 )) +1 +2)))	Vyhledávání dle části kódu začínající dva znaky před předposledním výskytem znaku - Například kód LJT06RT-09-98S(014) F472 Vytvoří záznam do hledání: RT-09-98S(014) F472. Díky tomu lze vyhledat jen zadáním: RT-09.	Bílé znaky

Výraz uvedený výše v tabulce lze vložit v agendě Artikly do vlastního sloupce, kde je následně vidět, na jaká slova se kód rozdělí.

Výraz ve sloupci, který byl použit v rámci nastavení indexu fulltextového hledání zobrazí, na jaká slova se Kód rozdělí. Lze tak snadno zkontrolovat, zda výraz rozdělí text dle potřeby.

Vyhledávání v agendě Artikly pomocí části názvu

Komplexní příklad, který popisuje vytvoření fulltextového hledání nad agendou Artikly za pomocí názvu

Podobně jako v předchozích příkladech budeme vyhledávat v číselníku artiklů, tentokrát v poli Název. .Například část názvu jako 1900nd. Upravíme stávající index, který jsme vytvořili v předchozím příkladu pro pole Name. Hodnoty zadáme podle tabulky níže. Z tabulky je nejdůležitější sloupec Název a Výraz. Sloupec Popis, jen vysvětluje důvod nastavení a uvádí příklad.

Typ	Název	Výraz	Popis	Dělení slov
QR výraz	Name without chars ( )	NxSearchReplace(NxSearchReplace(Name, '(', ' ', 2), ')', ' ', 2)	Vyhledávání dle slov v názvu bez znaků () Například v názvu konektor socker, 18+3 dt. AWG20 (1900ND08S1A00A) Index vytvoří slova pro hledání: konektor socker, 18+3 dt. AWG20 1900ND08S1A00A Díky tomu lze vyhledat jen zadáním výrazu: 1900nd.	Bílé znaky

Optimalizace fulltextového hledání

Při velkém množství záznamů může být potřeba fulltextové vyhledávání optimalizovat. V této kapitole se podíváme jaké jsou vhodné způsoby optimalizace.

Omezení záznamů pro aktualizaci fulltextu

Pokud máme například nastaven fulltext v agendě Objednávky přijaté pro hledání artiků v obsahu objednávek a pokud často dochází ke změnám názvu artiků, je třeba pomocí automatické úlohy přepočítávat i již uložené údaje, pokud víme, že ke změnám dochází. Přepočet je možné naplánovat pomocí naplánované úlohy Aktualizace fulltextu. Pokud je například objednávek více než 10 000, doporučujeme omezit aktualizační rozsah např. jen na objednávky vytvořené v tomto roce pomocí omezení nastavovaném na definici fulltextového pole s názvem Výraz pro Omezení zpracovávaných záznamů

Výraz bude vypadat následovně:

'RT.DOCDATE$DATE >= ' + NxDateToFloat(Date) - 365

Duplikace slov

Technicky databáze duplikuje použitá slova do databáze, pokud se opakují stejná slova ve vybraných polích (obvykle zadaných jako samostatné indexy), aby bylo možné hledat samostatně dle jednotlivých indexů. V případě velkých dat s více než 100 000 záznamy je dobré omezit počet indexů na minimum tím, že do jedné definice sloučíme více polí podle případů použití jak uživatelé opravdu hledají.

Např. máme 800 000 artiklů a uživatelé obvykle hledají dle polí Název a Specifikace. Tak je vhodné udělat jednu definici indexu s výrazem Name + ' ' + Specification

Systém poté uloží jen unikátní slova z obou dvou textových polí a tím obvykle dochází k snížení počtu informací uložených pro fulltextové hledání.

Logování

Fulltextové hledání je také možné logovat zadáním patřičných sekcí do souboru Nexus.cfg do samostatného souboru a to přes třídu FastSearch. Například takto:

[Logs]
LogsDirectory=C:\Logs
[Log.FastSearch]
Enabled=1
Level=6

Více viz kap. Logování běhu aplikace.

Fulltextové hledání - obecně

Omezení záznamů pro aktualizaci fulltextu

Duplikace slov