Uporaba podatkov je problem pri razvoju programov in razvoju informacijskih sistemov. Pred analizo velike količine podatkov in odločitvijo, ki zagotavlja zanesljiv in objektiven rezultat, je treba določiti ta velik obseg. Naloga je zapletena, če se pretok informacij hitro povečuje, čas za odločanje pa je omejen.

Podatki in njihova formalizacija

Sodobne informacijske tehnologije zagotavljajo varno in zanesljivo analizo, predstavitev in obdelavo podatkov. Sintaktično in formalno je res. V smislu semantike naloge in objektivnosti pričakovane rešitve je rezultat odvisen od izkušenj, znanja in veščin programerja. Programski jeziki so v stanju zanesljivega in varnega orodja. Znanja in spretnosti strokovnjakov za analizo, predstavitev in obdelavo podatkov so dosegli stopnjo relativne univerzalnosti.


Tehnologija intelektualne analize podatkov na tej ravni je praktično brezhibna. Vrsta podatkov je lahko znana pred operacijo na njih, v primeru neskladnosti pa se bo samodejno pripeljala do želenega tipa. Hipertekstna orodja so razvita, porazdeljena porazdeljena obdelava velikih količin podatkov se pogosto uporablja. Na tej ravni:

so informacijske naloge predmet formalizacije;

so izpolnjene potrebe po intelektualni analizi;

Kakovost rezultata je odvisna od kakovosti znanja in profesionalnosti programerja.

Razmere v programiranju informacijZa sisteme na ravni podjetij je značilna prisotnost resnično delujočih produktov, ki zagotavljajo oblikovanje velikih količin podatkov in problem višjega reda.

Velike količine podatkov

V osemdesetih letih, ko so baze podatkov postale sistemi za upravljanje baz podatkov, je izboljšanje zanesljivosti strojne opreme in kakovosti programskih jezikov pustilo veliko možnosti za željo. Zbrano je bilo veliko število podatkovnih baz, veliko računalniških virov informacij, razviti so bili kompleksni sistemi za zbiranje različnih informacij (finance, vreme, statistika, davki, nepremičnine, osebni podatki, podnebje, politika). Nekateri viri podatkov so označeni z očitnimi zakoni in so predmet analize z matematičnimi metodami. V Excelu lahko izvajate inteligentno analizo podatkov: jasne podatke, izdelavo modela, oblikovanje hipoteze, določitev korelacij itd. Nekatere podatke in vire prava je težko odkriti. V vseh primerih je za programsko in strojno opremo za obdelavo podatkov značilna zanesljivost in stabilnost. Naloga inteligentne analize podatkov je bila na čelu številnih družbeno-ekonomskih področij. Voditelji informacijske industrije, zlasti Oracle, se osredotočajo na vrsto okoliščin, ki označujejo podatke nove vrste:

velike tokove;

naravne informacije (tudi če so programirane);

heterogeni podatki;

najvišja merila odgovornosti;

širok spekter oblik predstavitve podatkov;

združljivost integratorjevpodatkov in njihovih izvajalcev.

Glavna značilnost podatkov nove vrste: velik obseg in hitrost rasti tega obsega. Klasični algoritmi niso primerni za obdelavo novih podatkov tipa, tudi ob upoštevanju hitrosti sodobnih računalnikov in uporabe vzporednih tehnologij.

Od varnostne kopije do migracije in integracije

Prej je bila naloga varnega shranjevanja informacij (varnostno kopiranje, varnostno kopiranje) nujna. Danes je problem migracije večkratnih predstavitev podatkov (različnih formatov in kodiranja) in njihovega vključevanja v eno celoto aktualen. Brez tehnologije inteligentne analize podatkov veliko težav ni mogoče rešiti. Tu ne govorimo o sprejemanju odločitev, določanju odvisnosti, ustvarjanju algoritmov za vzorčne podatkovne količine za nadaljnjo obdelavo. Združevanje raznovrstnih podatkov je postalo problem in ni mogoče v eni formalizirani osnovi dati virov informacij. Za inteligentno analizo velikih količin podatkov je potrebna definicija tega obsega in ustvarjanje tehnologije (algoritem, hevristika, množica pravil), da bi dobili priložnost, da postavite nalogo in jo rešite.

Podatkovno rudarjenje: kopanje

Koncept analize podatkov v kontekstu intelektualnih metod se razvija od začetka 90. let prejšnjega stoletja. Umetna inteligenca še ni izpolnila pričakovanj, vendar se potreba po informiranih odločitvah, ki temeljijo na analizi informacij, stalno povečuje. Strojno učenje, inteligentna analiza podatkov, prepoznavanje slik, vizualizacija, teorija baz podatkov, algoritemizacija, statistika,matematične metode so bile spekter nalog nove, aktivno razvijajoče se veje znanja, ki je povezana z angleško govorečimi podatki minig.
V praksi je novo področje znanja postalo interdisciplinarno in postaja. Zahvaljujoč izkušnjam Oracle, Microsoftu, IBM-u in drugim vodilnim podjetjem ter programski opremi je jasno, da je takšna inteligentna analiza podatkov, vendar še vedno veliko vprašanj. Dovolj je reči, da je proizvodna linija programske opreme Oracle, namenjena izjemno velikemu obsegu informacij, njihovi integraciji, združljivosti, migraciji in obdelavi, več kot štirideset mest! Kaj potrebujete za pravilno obdelavo velikih podatkov in pridobitev utemeljene rešitve? Znanstveniki in prakse združujejo splošno razumevanje izraza "iskanje skritih zakonov". Tu so trije položaji:

nejasni;

objektivnost;

praktična uporabnost.

Prvo mesto pomeni, da običajne metode ne določajo, kaj je treba najti in kako to storiti. Klasično programiranje tukaj ne velja. Zahtevana, če ne umetna inteligenca, potem vsaj programi za inteligentno analizo podatkov. Izraz »intelektualni« ni nič manj problem kot naloga določanja zadostne količine začetnih podatkov za odločanje in oblikovanje začetnih pravil dela. Nepristranskost - nekakšno jamstvo, da bo izbrana tehnologija, razvita "inteligentna" metoda ali vrsta "inteligentnih" pravil, razlog za domnevo, da so rezultati pravilni, ne le avtor,ampak tudi vsak drug specialist.

Oracle v svojih programskih izdelkih dodaja k pojmu objektivnosti status varnega, brez negativnih motenj tretjih oseb. Praktična uporabnost - najpomembnejši kriterij za rezultat in algoritem za reševanje problema podatkovnega rudarjenja v določeni aplikaciji.

Podatkovno rudarjenje: kje kopati

Poslovna inteligenca (Business Intelligence - BI) je osnova sodobne, najdražje in priljubljene programske opreme. Ponudniki poslovnih rešitev menijo, da so našli način za reševanje problemov obdelave velikih količin podatkov, njihovi izdelki programske opreme pa lahko zagotovijo varen in hiter razvoj poslovanja vseh velikosti podjetja. Tako kot v primeru umetne inteligence na področju analize inteligentnih podatkov trenutnih dosežkov ne bi smeli preveč precenjevati. Vse samo pride do stopal, ampak tudi zanikati resnične rezultate, tudi, ne more. Področje uporabe. Razvijajo se algoritmi analize intelektualnih podatkov v gospodarstvu, na produkciji, na področju podnebnih informacij, na tečajnih tečajih. Obstajajo inteligentni izdelki za zaščito podjetja pred negativnim vplivom odpuščenih delavcev (področje psihologije in sociologije je močna tema), od virusnih napadov. Številni dogodki resnično izpolnjujejo funkcije, ki jih prijavijo njihovi proizvajalci. Dejansko je naloga - kaj storiti in kam storiti - pridobila smiseln in objektiven kontekst:

najmanjši možni obseg;

najbolj natančen in natančen namen;

podatkovni viri in podatkina eno podlago.

Samo področje uporabe in pričakovana praktična koristnost lahko pomagata oblikovati tehnologijo, metodologijo, pravila in temelje podatkovnega rudarjenja na določenem področju za določen namen.
Informacijska tehnologija je vložila zahtevek za znanstveno disciplino in ni potrebno, da se majhni koraki sprejmejo v novi, neraziskani smeri. Prenašanje svetih svetnikov - naravna inteligenca, človek ne more od sebe zahtevati, kaj ne more storiti. Odločanje o tem, kaj storiti in kje je, je danes zelo težko. V določenem poslu, na določenem področju človekove dejavnosti, je mogoče opisati količino informacij, ki jih je treba raziskati, in pridobiti rešitev, za katero bo značilna določena stopnja verjetnosti in kazalnik objektivnosti.

Podatkovno rudarjenje: kako kopati

Strokovno programiranje in lastno visoko usposobljeno osebje - edino orodje za doseganje želenega. Primer 1. Naloga rudarjenja podatkov ne bo rešena z uporabo aplikacije Oracle Load Testing Controller. Ta izdelek je trdno orodje za popolno in razširljivo obremenitev. To je zelo ozka naloga. Samo obremenitev! Nič več, brez visoko intelektualnih nalog. Vendar pa lahko naloge, na katerih se ta izdelek uporablja, postavijo v slepo ulico ne le testirancem, ampak tudi razvijalcu, z vsemi regalijami vodilnega proizvajalca. Zlasti testiranje je zahteva funkcionalne popolnosti. Kje je zagotovilo, da je Oracle Load Testing Controller "na tekočem" na katerem podatkovnem nizulahko vnese vnos proučenega programa, strežnika, programske in strojne opreme. Primer 2. Oracle Business Intelligence Suite Foundation Edition za Oracle aplikacije - razvijalec izjavlja, da je ta izdelek dobra kombinacija, ki se uporablja s strokovnim znanjem o gradnji, razvoju in zagotavljanju velikega podjetja. Nedvomno je izkušnja Oracla velika, vendar to ni dovolj za njeno preoblikovanje s programsko-strokovnim izdelkom. V določenem podjetju, v določeni regiji, poslovna obveščevalna služba podjetja Oracle ne more delovati na podlagi odločitve davčne službe ali odločitev lokalne občine.

Inteligentna uporaba sodobnih tehnologij

Edina pravilna rešitev na področju velikih količin informacij, podatkovnega rudarjenja in podatkovnega rudarjenja v podjetju, vladni agenciji in na vsakem socialno-ekonomskem področju - ekipa strokovnjakov. Znanje in izkušnje usposobljenih strokovnjakov so edina pravilna rešitev, ki bo zagotovila celovit odgovor na vprašanja:

rudarjenje podatkov: kaj kopati, kje in kako?

Nakup prednostnih izdelkov ustreznega namembnega kraja ne bo odveč, toda preden to storite, morate preučiti področje uporabe, oblikovati okvirno odločitev in postaviti predhodni namen. Šele potem, ko je predmetno področje določeno s ciljem in je razmeroma jasno, lahko poiščete rešitve, ki so že razvite in preizkušene s prakso. Najverjetneje bomo našli izdelek, ki bo pojasnil predmetno področje in namen. Noben program se danes ne bo spopadel z resnično nalogo. Izgubljen na področju umetne inteligencev zgodnjih 80. letih prejšnjega stoletja pametna oseba še ne more računati, da bo lahko napisala program, odločilno intelektualno nalogo. ​​Ne smemo pričakovati, da bo AI prišel sam, ampak tisti, ki bo kupljen v Oraclu, Microsoftu in IBM-u, bo povedal, kaj je bilo treba storiti, in kakšen rezultat je treba upoštevati. V sodobnem svetu informacijskih tehnologij je hiter napredek. Lahko učinkovito sodeluje, okrepi vaše poslovanje ali reši težko nalogo. Vendar morate sodelovati, ne računati na program. Programiranje je statično delo, njegov rezultat je tog algoritem. Sodobno intelektualno pravilo ali hevristika je togo določena rešitev, ki ne deluje na prvi najboljši možnosti.

Modeliranje in testiranje

Inteligentna analiza velikih podatkov - resnično pomembna in ustrezna naloga. Ampak področje uporabe za odkrivanje tega problema je slabo, vendar je živel in razvil. Potreba po nadaljnjem poslovnem razvoju postavlja nove izzive, ki nam omogočajo, da konceptualiziramo obseg obsežne obdelave podatkov. To je naraven proces znanstvenega, tehničnega in intelektualnega razvoja podjetja, podjetja, podjetja. To je mogoče pripisati internetnim tehnologijam, nalogam razčlenjevanja informacij na internetu. Obstaja veliko novih nalog in programov, ki so v povpraševanju, lahko bolj ali manj jasno urejeni in označeni z objektivnim parametrom: njihova rešitev je zanimiva in obstaja razumevanje verjetne koristnosti. Simulacija -Dobro razvito območje, ki je opremljeno z množico dokazanih matematičnih metod. Model je lahko vedno zgrajen, obstajal bi čas in želja. Simulacija vam omogoča, da vse razpoložljivo znanje usmerite v en sistem in ga ciklično izboljšate na nizu testnih podatkov. To je klasična razvojna pot, ki jo je preizkusila tudi praksa. Če ne gradite zračnih ključavnic, in s stabilno, da z gotovostjo greste do zastavljenega cilja, potem lahko določite tako pot, želeno rešitev in končni cilj.

Programiranje in inteligentne metode

Programiranje v zgodnjih osemdesetih letih prejšnjega stoletja je spodbudilo javno zavest k rojstvu idej umetne inteligence, bila je ustanovitelj podatkovnega rudarjenja in iz nje so se začele metode podatkovnega rudarjenja. V teh daljnih časih problemi velikih količin podatkov niso obstajali. Danes, ne samo velike količine podatkov, ampak tudi rezultat razvoja sistemov za upravljanje baz podatkov - pomembne izkušnje v relacijskih odnosih, kot osnova za predstavitev podatkov. Relacijski odnosi so del, vendar niso integralni. Še vedno obstaja pojem sistema, hierarhija in veliko več, kot je to, kar ima naravna inteligenca, vendar ne more uresničiti umetne inteligence: v tem primeru v programiranju. Programiranje ni inteligenca v nobenem smislu, je pa dejanski rezultat uporabe inteligence v praksi. To je njena vsebina, in to je točno tisto, kar lahko uporabimo za doseganje želenih ciljev.

Aktivno znanje in spretnosti

Vsak program je statičen. Predstavlja konstrukcijo reševalnega algoritma v. \ Tznotraj sintakse programskega jezika. Sodobni programski jeziki so popoln rezultat osemdesetih in tega ni mogoče zanikati. Prav tako je treba opozoriti, da sodobni programski jeziki omogočajo ustvarjanje prostih algoritmov zunaj njegove sintakse. Če kdorkoli lahko napiše program, ki ne bo deloval po volji svojega avtorja, temveč po volji pridobljenega znanja in spretnosti, se bo zaprl problem velikih količin podatkov in sprejemanja intelektualnih odločitev in začela se bo nova faza razvoja znanja.