大資料自動分析與資料探勘探討的論文
近些年來，資訊科技和網路的通訊技術已經得到了飛速的發展，並且全國的資訊基礎設施也得到了完善，在全球的資料已經呈現出了極速增長的模式狀態。在此種情況下，傳統的資料處理方式已經滿足不了現代化的處理需求，因此需要利用大資料的自動分析和資料探勘來實現對資料的有效分享和利用。大資料科學已經成為了一個橫跨資訊科學、社會科學以及網路科學的新型交叉學科，受到了學術界的廣泛關注。
一、遙感大資料的概述以及特徵
在現代社會當中，遙感大資料已經成為了大資料的重要代表，成為了科學研究方面的重點研究方面，但是在現階段當中還需要對其科學理論和方式進行不斷的深入研究。遙感大資料具有大資料的特徵，並且也具有自身獨特的特徵。在外部特徵方面，首先具有海量的特徵。遙感大資料的資料具有海量的特點，並且對著遙感技術的不斷髮展，在現階段當中的高解析度和高動態的新型衛星感測器在單位時間之內可以捕獲到更多的資料量；其次還具有資料異構的特點，也就是說在資料生產過程當中所依賴到的業務系統之間會呈現出的不同狀態，都需要由不同的資料中心來進行提供的，並且在邏輯結構或者組織方式上也呈現出了不同的特點；另外，還具有資料多源的特點，集中體現在資料的來源和捕獲資訊的手段方面，是可以擁有多種獲取形式的，包括全球的觀察網路點接收到的實時資訊，以及民眾手中的使用者端的個性化資訊。在內部特徵方面，首先具有高維度性的特點，遙感大資料的資料型別呈現出了多樣化的特點，因此資料當中的維度也變得越來越高，集中體現在了空間維度、時間維度以及光譜維度等。其次還具有多尺度性的特點，成為了遙感大資料的重要特點，也就是說在進行資料的獲取過程當中，可以根據不同的遙感技術和相對應的技術水平，來進行有效的劃分，在空間和時間上呈現出多尺度的特點。另外，還具有非平穩性的特點，由於遙感大資料廣泛的獲取方式和物理意義，在資訊理論的角度上來說，就屬於典型的非平穩訊號，呈現出分佈引數或者規律隨時發生變化的特點。
二、遙感大資料的自動分析和資料探勘
2.1自動分析。首先，需要對遙感大資料的表達進行了解，在這個過程當中需要抽取多元化的特徵來進行表示，從而建立起遙感大資料的目標一體化，在研究過程當中主要包括對遙感大資料的`多元離散特徵的有效提取，形成在不同的感測器當中的提取方式和方法。還要對若干大資料的多元特徵進行歸一化的表達，從而提升對大資料的處理能力和處理效率。其次就需要對遙感大資料進行相關的檢索，在檢索過程當中，需要利用網路化和整合化的方式進行檢索，制定出基礎設施的計劃，提升對其資料的訪問和檢索效率。並且針對海量的遙感大資料來會說，需要檢索出符合使用者需求和感興趣的內容和資料，就需要對資料內容進行比對，從而判斷出使用者所需要的內容，從大量的資料當中進行快速的檢索到目標。在檢索的過程當中，發展知識驅動的遙感大資料的檢索方式是最有效的方式之一，可以分為場景檢索服務、多源海量複雜場景資料的智慧檢索以及資訊資料的檢索等。另外，就是對遙感大資料的理解的，透過遙感大資料的科學，可以實現資料向知識的有效轉變，在這個過程當中就需要根據遙感大資料本身的特徵和資料檢索的方式來對資料內容實現有效的提取。最後就是遙感大資料雲的技術，可以將各種方式的遙感資訊資源進行有效的整合，建立起遙感雲服務的相關新型業務應用和服務模式，可以將在天空當中的感測器所捕捉到的資訊透過軟體的計算和整合來實現資料資源的有效儲存和處理，從而使得使用者可以在很快的時間之內獲取到有效的服務。
2.2資料探勘。首先需要對遙感大資料的資料探勘過程進行了解，包括資料的獲取、儲存以及處理和整合等，在整個過程當中都具有大資料的特點。在進行捕獲資料的過程當中可以從各種不同的感測器當中進行獲取，然後對資料進行取樣和過濾，之後就可以對採集到的資料進行處理和分析，最後將其資料用視覺化的模式進行顯示，方便了客戶的使用和利用。其次，就是遙感大資料和廣義的遙感大資料的綜合挖掘的過程，利用此種方式，一方面可以與其他的資料方式形成良好的互補關係，另外一方面也可以對其資料當中的變化規律以及其他資訊進行更好的挖掘和採集。在廣義的遙感時空大資料當中，儲存的費用是相當昂貴的，並且在資料的分析能力方面也存在嚴重不足的現象，因此在現代社會的智慧城市的建設過程當中發揮不了其巨大的作用，因此需要利用其他自動化的資料智慧處理和挖掘的方式來對其空間地理分佈的資料進行全新的挖掘和過濾。在時空分佈的影片資料探勘過程當中，在對智慧資料進行處理和資訊提取的同時，還要透過時空當中所分佈的影片資料進行自動化的區分，來有效的區分正常和非正常的狀態。在對時空資料的挖掘過程當中，主要可以從時空資料當中進行提取出隱藏的有用的資訊知識，利用各種綜合性的方式和方法，比如統計法、聚類法、歸納法以及雲理論等。在遙感大資料的挖掘應用方面，可以適用於地球各種尺度和方位的變化，還可以在很大程度上對未知的資訊進行良好的篩選和挖掘，推動國家的科學技術的發展，實現社會的可持續化發展。
綜上所述，在不斷的發展過程當中，我國的遙感資料的種類和數量將呈現出飛速增長的模式，在很多方面以及領域當中已經開展了遙感大資料的研究工作。值得注意的是，現階段當中需要將遙感大資料的理論知識進行實踐化的轉變，從而實現遙感大資料的自動分析和資料探勘功能，推動科學資訊的不斷進步。
參考文獻
[1]宋維靜,劉鵬,王力哲,等.遙感大資料的智慧處理:現狀與挑戰[J].工程研究-跨學科視野中的工程,2014,(3):259-265.