Jiří Stehlík
Czech Hydrometeorological Institute, Dept. of Experimental Hydrology
Na Šabatce 17
143 06 Prague 4
Czech Republic
 

Abstract

The paper is focused on the analysis of runoff time series with respect to the detection of the possible chaotic dynamics behind them. The problem under investigation is, if it is possible to distinguish - by analysing a runoff series without any knowledge of factors causing its variability - the runoff series from a random process, it means if a determinism in such a series can be detected. The aim is also to estimate the number of independent variables (degrees of freedom) which govern the runoff dynamics and to determine the influence of the observing interval on the dimensionality of corresponding attractors.

By means of an analysis of two runoff series from the experimental basin Uhlířská in the Jizera Mts. it was found, that the daily runoff series is indistinguishable from a random process and therefore the deterministic dynamics cannot be detected. On the other hand, the runoff series with the 30-minute time step can be distinguished from a random process and it is possible to determine an interval for a number of independent variables which govern its variability. A low-dimensional strange attractor with fractal dimension was detected in this series. The presence of deterministic chaos proves a sensitive dependence on initial conditions and therefore the highly nonlinear relationships in the runoff process.

The evidence of the influence of an observing interval on the possibility of detecting the determinism in the runoff series and of determining the number of independent variables which govern the variability of the series can be useful for runoff process modelling.

Key WORDS: Deterministic chaos, Dimensions of attractors, Degrees of freedom, Runoff series, Experimental basin, Observing interval

1. Introduction
 
 

The theory of deterministic chaos is often considered to be a change of the paradigm in the sense of Kuhn [14]. The rapid progress of the theory in the last 20 - 30 years has significantly contributed to the revealing of the common base of many branches of science. The beginning of the chaos theory is connected with the work of Lorenz [16], [17] and with the Mandelbrot’s idea of fractal geometry summarised in Mandelbrot [19]. Universality of the theory enables also reflections about the theory of science as a whole and about the possibility of human cognition in general - e.g. Düsberg [2].

Chaotic system is defined as a deterministic system in which small changes in initial conditions may lead to completely different behaviour in the future. Signal from the chaotic system is often at first sight indistinguishable from a random process despite it is forced by deterministic dynamics.

By means of the “nonlinear science” theory, the dynamics of various natural processes and elements has been analysed: e.g. Kurths and Herzel [15], Henderson and Wells [12], Rodriguez-Iturbe et al. [23], Sharifi et al. [25], Jayawardena and Lai [13], Palmer et al. [22], Sivakumar et al. [24]. The problem of the existence of a climatic attractor is one of the basic topics of the research (Nicolis and Nicolis [20], Fraedrich [5], [6], Grassberger [8], Essex et al. [3], Tsonis and Elsner [27], Lorenz [18], Waelbroeck [28]). Many analyses have been made in non-linear predictions of chaotic time series with promising results (e.g. Farmer and Sidorowich [4], Jayawardena and Lai [13], Waelbroeck [28]). However the research is still in the early stages of its development.

Two runoff series from the experimental basin Uhlířská in the Jizera Mts., Czech republic are analysed in this contribution.
 
 

2. Methods

2.1 Autocorrelation function

Autocorrelation analysis is important for determining a proper time delay in the computation of correlation integrals. At the same time by means of the shape of the autocorrelation function a preliminary detection of deterministic chaotic dynamics in the time series could be done.

If the autocorrelation function falls quickly to zero, then the time series is probably purely stochastic and there is no determinism in the series, the value at each point being independent of all other values in the series. Random Gaussian white noise is an example of such a system. On the other hand, the autocorrelation function of the signal which is governed by the deterministic chaotic dynamics decreases more slowly – even slowly than in an exponential manner, because the points are not independent of each other and a self-similarity is present in the process. An example of such a system is the signal coming from the Lorenz attractor (Lorenz [16]) which is deterministic chaotic system governed by three ordinary differential equations with three variables.

Autocorrelation functions for the random white noise (with zero mean value and variance equal one) and for the signal of the Lorenz attractor are shown in Figure 1. The number of points in the signals (5844) is the same as in the first runoff series described later.
 
 

Fig. 1. Autocorrelation function for the random white noise and for the signal coming from the Lorenz attractor.
Obr.1. Autokorelační funkce pro náhodný bílý šum a pro signál pocházející z Lorenzova atraktoru.
 
 

As mentioned above, the autocorrelation function is important not only for the first orientation in data, but in particular for the subsequent computation of correlation integrals.
 
 

2.2 Correlation integrals and correlation dimensions

The theory of deterministic chaos enabled the development of new methods for analysing the observed time series. There are several ways how to detect chaotic patterns in the time series - correlation dimension method (Grassberger and Procaccia [9], [10]), Lyapunov exponents (Wolf et al. [29]), Kolmogorov entropy (Grassberger and Procaccia [11]). In this study the correlation dimension method is used.

The time series is assumed to be generated by a nonlinear dynamical system with n degrees of freedom. Therefore it is necessary to construct an appropriate series of state vectors X ⁿ (t) with delay coordinates in the n-dimensional phase space:

                                                                     (1)

where n is called the embedding dimension and t is an appropriate time delay. The basic ideas in this type of construction were initiated by Packard et al. [21]. The trajectory in the phase space is defined as a sequence of n dimensional vectors. If the dynamics of the system is reducible to a set of deterministic laws, the trajectories of the system converge towards the subset of the phase space which is called attractor. Many natural systems do not convert with time to a cyclic trajectory. Some nonlinear dissipative dynamical systems tend towards the attractors on which the motion is chaotic, i.e. not periodic and unpredictable over long times. The attractors of such systems are called strange attractors.

The time delay t is often defined as the time at which the autocorrelation function equals 1/e or as the time, at which this function for the first time crosses the zero line. Another method how to determine the time delay is to use the average mutual information method (Fraser and Swinney [7]).

Considering the set {X_i , i = 1, ... , N} of points on the attractor, Grassberger and Procaccia [9] defined the correlation integral in order to distinguish between stochastic and chaotic behaviour:

                                         (2)

The correlation integral is computed as follows:

                                                                              (3)

where N is the number of points X ⁿ (t), N_ref is the number of reference points taken from N (typically N and N_ref are the total number of samples).

Q (x) is the Heaviside function with

                                                                                                                (4)

The expression counts the number of points out of the data set which are closer than radius r or within a hypersphere of radius r, and then divides it by the square of the total number of points (because of normalization). As r ®  0, the correlation exponent D is defined as:

                                                                                                                               (5)

The correlation exponent D is thus given by the slope log[C(r)] versus log(r):

                                                                                                                    (6)

For detecting the chaotic behaviour of the system, the correlation exponent has to be plotted as a function of the embedding dimension. If X ⁿ(t) is purely random (e.g. white noise), the correlation exponent increases with the embedding dimension without reaching the saturation value.

In Figure 2 a) are shown in the log[C(r)] versus log(r) plot correlation integrals for 1-10 embedding dimensions for the random white noise. The correlation exponent for each embedding dimension is determined by the slope of straight part of the line (so called scaling region) in the plot.

The dependence of correlation exponent on the embedding dimension for the white noise is presented in Figure 2 b). Because there is no determinism in the random generated series, the correlation exponent equals approximately the embedding dimension without reaching the saturation value.

Fig. 2. a) Correlation integrals for the white noise ranging from 1 (upper line) to 10 (bottom line) embedding dimensions, b) dependence of the correlation exponent on the embedding dimension for white noise.
Obr. 2. a) Korelační integrály pro bílý šum pro 1 (horní linie) až 10 (spodní linie) dimenzí vnoření, b) závislost korelačního exponentu na dimenzi vnoření pro bílý šum.

Fig. 3. a) Correlation integrals for the signal coming from the Lorenz attractor and ranging from 1 (upper line) to 6 (bottom line) embedding dimensions, b) dependence of the correlation exponent on the embedding dimension for the signal coming from the Lorenz attractor (compared with the random white noise).
Obr. 3 a) Korelační integrály pro signál pocházející z Lorenzova atraktoru pro 1 (horní linie) až 6 (spodní linie) dimenzí vnoření, b) závislost korelačního exponentu na dimenzi vnoření pro signál pocházející z Lorenzova atraktoru (v porovnání s náhodným bílým šumem).

If there is deterministic dynamics in the system, the correlation exponent reaches the saturation value: it remains approximately constant with an increase of the embedding dimension. The saturated correlation exponent is called correlation dimension of the attractor. The correlation dimension belongs to the invariants of the motion on the attractor. It is generally assumed, that it equals the number of degrees of freedom of the system and higher embedding dimensions are therefore redundant. For example, in order to describe the position of the point on the plane (two-dimensional system), the third dimension is not necessary - it is redundant. The correlation dimension is often fractal: it is the non-integer dimension which is typical for the chaotic dynamical systems which are very sensitive to initial conditions.

The correlation dimension provides information on the dimension of the phase-space required for embedding the attractor. As reviewed by Sivakumar et al. [24] there are several approaches how to interpret the value of the correlation dimension and the value of the embedding dimension at which the correlation exponent saturates. It is important for determining the number of dimensions necessary to embed the attractor and the number of variables present in evolution of the process. Being d an attractor dimension and m a phase-space dimension required for embedding the attractor, than, according to Abarbanel et al. [1], m>d should be sufficient to embed the attractor (more dimensions of phase-space are needed according to embedding theorem of Takens [26]: m=2d+1). According to Fraedrich [5], the nearest integer greater than the fractal correlation dimension provides the minimum phase-space dimension essential to embed the attractor and thus the minimum number (lower bound) of independent variables necessary to model the dynamics on the attractor. An upper bound of the phase-space dimension sufficient to describe the motion on the attractor (which equals an upper bound of the number of independent variables necessary to model the dynamics) is than determined by the value of the embedding dimension, at which the correlation exponent saturates.

An example of a deterministic chaotic system is the Lorenz attractor mentioned above. In the plot of log [C(r)] versus log (r) in Figure 3 a), the lines for more than two dimensions are parallel, having therefore the same slope. It causes, that the correlation exponent saturates for the embedding dimension equal three (Figure 3 b). The correlation dimension is approximately 2,05. It means, it is fractal which indicates deterministic chaos in the system.
 
 

3. Results and discussion

The two analysed runoff time series come from an experimental basin Uhlířská (1.87 km²) located at the top of the Jizera Mts., Czech Republic. The first runoff series represents daily discharges for the period 1981-1997 (5844 points). Another time scale of data was also analysed: runoff series from 20^th May till 31^st October 1997 in the 30-minute time step (7890 points) from the same gauging station.

In order to choose the proper time delay t (eq. 1), autocorrelation functions for both series were computed (Figure 4). The time delay which equals 1/e is 3 days for the daily series and 28,5 hours for the 30-minute series.

Correlation integrals from 1 up to 30 embedding dimensions for daily and 30-minute runoff series are presented in Figure 5a and Figure 6a. By determining the slopes of the straight lines in the plot of log [C(r)] versus log (r), the correlation exponents for the corresponding embedding dimensions were computed. Dependence of correlation exponents on embedding dimensions for both series are shown in Figure 5b and Figure 6b.

Fig. 4. Autocorrelation functions for the daily and the 30-minute runoff series.
Obr. 4. Autokorelační funkce pro denní a 30-minutovou průtokovou řadu.
 
 

It is evident, that in the case of daily series there is no saturation value of the correlation exponent. Therefore it can be concluded, that the attractor of daily series could be a high dimensional one (being embedded in more than 30 dimensions).

However the saturation of the correlation exponent is detected in the case of the 30-minute series. The correlation exponent levels off for the embedding dimension being 26 and more. The corresponding constant correlation exponent is 2,89. It is the fractal, non-integer correlation dimension of the attractor of the 30-minute runoff series. It means that there are 3 dimensions essential to embed the attractor of the 30-minute series and that the motion on such attractor can be essentially described by 3 independent variables - the nearest integer greater than the correlation dimension provides the lower bound for the number of independent variables essential to model the dynamics. The number of dimensions sufficient to embed the attractor of the 30-minute series equals the embedding dimension value at which the correlation exponent saturates - it is 26. It equals the upper bound for the number of independent variables sufficient to describe the process.

The relatively large span between the lower and the upper bound of the number of independent variables governing the dynamics of the 30-minute runoff series is caused by two facts: a) relatively mild slope of the line in Figure 6b which shows the dependence of correlation exponent on the embedding dimension, b) relatively high value of embedding dimension at which the correlation exponent saturates.

The cause of the non-saturated correlation exponent in the case of daily series may consist in reducing and smoothing the daily course of runoff to one value only. However such course could show very interesting variance - e.g. diurnal fluctuations which have been observed in the basin under study in summer periods and which are caused by evaporation.
 
 

Fig. 5. a) Correlation integrals ranging from 1 (upper line) to 30 (bottom line) embedding dimensions for the daily runoff series (every second line is presented), b) dependence of the correlation exponent on embedding dimension for the daily runoff series (compared with the random white noise).
Obr. 5. a) Korelační integrály pro 1 (horní linie) až 30 (spodní linie) dimenzí vnoření pro řadu denních průtoků (zobrazena je každá druhá linie), b) závislost korelačního exponentu na dimenzi vnoření pro řadu denních průtoků (v porovnání s náhodným bílým šumem).
 

Fig. 6. a) Correlation integrals ranging from 1 (upper line) to 30 (bottom line) embedding dimensions for the 30-minute runoff series (every second line is presented), b) dependence of the correlation exponent on embedding dimension for the 30-minute runoff series (compared with the random white noise).
Obr. 6. a) Korelační integrály pro 1 (horní linie) až 30 (spodní linie) dimenzí vnoření pro řadu denních průtoků (zobrazena je každá druhá linie), b) závislost korelačního exponentu na dimenzi vnoření pro řadu 30-minutových průtoků (v porovnání s náhodným bílým šumem).

The daily runoff series in the basin under study is indistinguishable from a stochastic process and therefore the deterministic dynamics cannot be detected. On the other hand, the 30-minute runoff series can be already distinguished from a random process and it is possible to determine the interval for the number of independent variables which govern its variability. The deterministic chaos in this series proves the sensitive dependence on initial conditions and therefore the presence of highly nonlinear relationships in the runoff process.

The evidence of the influence of the observing interval on the possibility to detect the determinism in the runoff series and to determine the number of independent variables which govern the variability of the series can be useful for runoff process modelling. The results also show how important is the influence of timescale for the parametrizationof the natural processes.
 
 
 
 
 
 
 
 

D - korelační exponent

d - dimenze atraktoru

m - dimenze fázového prostoru

n - dimenze vnoření

N - počet bodů

N_ref - počet referenčních bodů

r - vzdálenost od referenčního bodu

X ⁿ (t) - vektor v n-rozměrném prostoru se souřadnicemi reprezentujícími stav systému v čase t, t+t, t+2t ... t+(n-1)t

X (t) - hodnota v čase t

t - čas

q(x) - Heavisideova funkce

t - časové zpoždění
 
 
 
 
 
 

Deterministický chaos v průtokových řadách
 
 

Jiří Stehlík
Czech Hydrometeorological Institute, Dept. of Experimental Hydrology
Na Šabatce 17
143 06 Prague 4
Czech Republic
 
 
 

Abstrakt

Příspěvek se zabývá analýzou průtokových řad s ohledem na detekci potenciální chaotické dynamiky. Zkoumán je problém, zdali je možné analýzou průtokové řady bez znalosti příčinných faktorů její variability odlišit tuto řadu od náhodného procesu, tj. jestli v ní lze detekovat determinismus. Cílem je rovněž odhadnout počet nezávislých proměnných (stupňů volnosti), kterými je určována dynamika průtokových řad a určit vliv časového kroku měření na dimenzi příslušných atraktorů.

Analýzou dvou průtokových řad z experimentálního povodí Uhlířská v Jizerských horách bylo zjištěno, že řada průměrných denních průtoků není odlišitelná od náhodného procesu a že tedy v této řadě není možno detekovat deterministickou dynamiku. Naproti tomu průtoková řada s časovým krokem 30 minut je již od náhodného procesu odlišitelná a lze určit interval pro počet nezávislých proměnných, které se podílejí na její variabilitě. V této řadě byl detekován nízkodimenzionální podivný atraktor s fraktální dimenzí. Přítomnost deterministického chaosu signalizuje citlivou závislost na počátečních podmínkách a tedy vysoký stupeň nelinearity v odtokovém procesu.

Důkaz vlivu časového kroku měření na možnost detekce determinismu v průtokových řadách a možnost určení počtu nezávislých proměnných ovlivňujících variabilitu těchto řad mohou být přínosem pro modelování odtokového procesu.
 

KlÍČOVÁ SLOVA: deterministický chaos, dimenze atraktorů, stupně volnosti, průtokové řady, experimentální povodí, časový krok měření
 

Shrnutí

Teorie deterministického chaosu a nelineární dynamiky je často považována za změnu paradigmatu moderní vědy. Její počátky jsou spojeny s pracemi Lorenze a s Mandelbrotovou koncepcí fraktální geometrie. Chaotický systém je obvykle definován jako deterministický systém, ve kterém malá změna počátečních podmínek vede k naprosto odlišnému výsledku na výstupu. Signál pocházející z chaotického systému není často odlišitelný od náhodného procesu, přestože v jeho pozadí stojí deterministická dynamika.

V příspěvku jsou analyzovány dvě průtokové řady z experimentálního povodí Uhlířská v Jizerských horách. První řadu představují průměrné denní průtoky pro hydrologické roky 1981-1997, druhou řadu tvoří průtoky měřené v 30-minutovém intervalu v období od 20.5. do 31.10.1997. Práce se zabývá detekováním projevů deterministického chaosu v obou řadách, odhadem počtu nezávislých proměnných, které určují dynamiku odtokového procesu a posouzením vlivu časového kroku měření na počet dimenzí příslušných atraktorů.

Autokorelační analýza slouží ke stanovení vhodného časové zpoždění, které je nutné znát pro výpočet korelačních integrálů. Zároveň je pomocí autokorelační funkce provedena předběžná detekce determinismu v časových řadách. Jako příklad náhodného a chaotického signálu byl zvolen Gaussovský bílý šum a signál pocházející z Lorenzova atraktoru. Lorenzův atraktor představuje deterministický chaotický systém popsaný soustavou tří diferenciálních rovnic o třech proměnných. Atraktorem je nazývána taková podmnožina fázového prostoru, ke které konverguje trajektorie tvořená body se souřadnicemi získanými metodou časových zpoždění. Na obr. 1 je ukázáno, že zatímco pro náhodný signál klesá autokorelační funkce rychle k nule, je v případě deterministického signálu tento pokles mnohem pomalejší - v důsledku přítomnosti soběpodobných struktur je dokonce pomalejší než klesající exponenciála.

Výpočet korelačních integrálů a korelačních dimenzí tvoří v tomto příspěvku základ pro detekci deterministické chaotické dynamiky. Pomocí metody časových zpoždění jsou z časové řady konstruovány vektory ve fázovém prostoru o stále větším počtu dimenzí - tzv. dimenzí vnoření. Prvky vektorů jsou hodnotami časové řady navzájem posunutými o příslušný časový interval, který je určen z autokorelační funkce. Korelační integrál vyjadřuje závislost mezi počtem bodů ležících ve stále se zvětšující vzdálenosti od referenčního bodu a touto vzdáleností. Referenčními body jsou postupně všechny body časové řady.

Velikost sklonu přibližně přímkového úseku v závislosti mezi počtem bodů a zvoleným poloměrem (obr. 2a a obr. 3a) se nazývá korelační exponent. Pro náhodný proces roste se stoupajícím počtem dimenzí vnoření i hodnota korelačního exponentu (obr. 2b), protože náhodný proces se neřídí deterministickou dynamikou a obsahuje tedy nekonečně stupňů volnosti. Naproti tomu pro deterministický systém dosahuje korelační exponent pro určitý počet dimenzí vnoření saturované hodnoty (obr. 3b). Tato hodnota se nazývá korelační dimenze atraktoru. Protože často není celočíselná, je označována jako fraktálová.

Atraktory s fraktálovou dimenzí se nazývají podivné atraktory, protože pohyb na nich se vyznačuje neperiodickým chováním a není možné jej předpovídat na delší dobu dopředu. Nejbližší celé číslo větší než fraktálová dimenze určuje počet dimenzí, ve kterých je atraktor obsažen a zároveň dolní mez počtu nezávislých proměnných, kterými se řídí dynamika procesu. Horní mez počtu proměnných tvoří počet dimenzí vnoření, pro který nastává saturace korelačního exponentu.

Pomocí autokorelační funkce (obr. 4) byly pro obě řady průtoků stanoveny vhodné časové posuny t. Korelační integrály pro 1-30 dimenzí vnoření pro řadu průměrných denních průtoků jsou vykresleny na obr. 5a. Výpočtem sklonu přímkových úseků byly určeny příslušné korelační exponenty. Jejich závislost na počtu dimenzí vnoření je prezentována na obr. 5b. Je zřejmé, že korelační exponent nedosahuje saturované hodnoty. Z toho lze usuzovat, že atraktor průměrných denních průtoků je pravděpodobně vysokodimenzionální a je beze zbytku vnořen do fázového prostoru o více než 30 dimenzích. Saturovaná hodnota korelačního exponentu je však detekována v případě řady 30-minutových průtoků (obr. 6b). Korelační exponent zůstává konstantní pro 26 a více dimenzí vnoření. Odpovídající hodnota korelačního exponentu je 2,89. Je to fraktální korelační dimenze atraktoru řady 30-minutových průtoků. Z toho plyne, že atraktor řady 30-minutových průtoků lze v zásadě vnořit do tří dimenzí fázového prostoru a že pohyb na tomto atraktoru určují tři nezávislé proměnné - je to nebližší celé číslo větší než korelační dimenze, které zároveň určuje spodní mez počtu nezávislých proměnných nutných pro popis dynamiky jevu. Počet dimenzí, které beze zbytku obsahují atraktor 30-minutových průtoků, je 26; je roven počtu dimenzí vnoření, pro které nabývá korelační exponent saturované hodnoty. Je to zároveň horní hranice počtu nezávislých proměnných, které jsou nutné pro popsání dynamiky procesu.

Relativně značný rozdíl mezi dolní a horní mezí počtu nezávislých proměnných, které určují dynamiku řady 30-minutových průtoků je způsoben dvěma skutečnostmi: a) poměrně malým sklonem linie na obr. 6b., který znázorňuje závislost korelačního exponentu na počtu dimenzí vnoření, b) relativně vysokým počtem dimenzí vnoření, pro které nabývá korelační exponent saturované hodnoty.

Příčina nesaturovaného korelačního exponentu v případě denních průtoků může spočívat ve zhlazení a průměrování denního průběhu průtoků do jedné hodnoty, přestože tento průběh může vykazovat zajímavou variabilitu - např. diurnální cyklus v letním období, který je způsoben evaporací.

Výsledkem analýzy průtokových řad pomocí metody časových zpoždění a teorie deterministického chaosu je závěr, že řada průměrných denních průtoků není ve zkoumaném povodí odlišitelná od náhodného procesu a že tedy v této řadě není možno detekovat deterministickou dynamiku. Naproti tomu průtoková řada s časovým krokem 30 minut je již od náhodného procesu odlišitelná a lze určit interval pro počet nezávislých proměnných, které se podílejí na její variabilitě. Přítomnost deterministického chaosu v této průtokové řadě signalizuje citlivou závislost na počátečních podmínkách a tedy vysoký stupeň nelinearity v odtokovém procesu.

Zjištěné skutečnosti - především důkaz vlivu časového kroku měření na možnost detekce determinismu v průtokových řadách a možnost určení počtu nezávislých proměnných ovlivňujících variabilitu těchto řad - mohou být přínosem pro modelové přístupy simulující odtokový proces. Jsou zároveň důkazem významu časových měřítek pro parametrizaci přírodních procesů.

---

[ot top] [Back to list]