ENVIRONMENT DS2022データ解析推奨環境の構築
令和6年3月
はじめに
免責事項
本文書はDS2022データセットを利用しようと考えている方向けに提供している情報です。 しかし、本文書を利用して生じるいかなる損害についても、責任は負いません。 利用者の責任での利用をお願いします。
前書き
ここでは気候予測データセット2022で提供されるデータを処理する際に必要となる解析環境の作成について解説を行う。
推奨環境
本文章では、多くの解析実施者が使用する計算機は、CPUのアーキテクチャがx86_64であると想定している。 そして可能ならば、比較的簡単にデスクトップ環境ならびに気候データの解析環境を構築できるUbuntu Linuxを直接インストールすることを推奨する。 しかし、 Windows 10/11をOSとして使用している計算機であれば、Windows Subsystem for Linux 2(WSL2)を導入して、 WSL2にUbuntu Linuxをインストールすることができ、気候データ解析環境を構築することもできる。 なお、機関によってはこのアプリケーションは利用しても良いが、別のアプリケーションは使用してはいけないなどルールが存在するため、 所属機関のコンピューターやネットワークなどのセキュリティ担当者に事前相談が必要かもしれないことに留意する。
Ubuntu Linux のインストールを選択した場合
福山大学工学部の金子邦彦氏による 「 Ubuntu 22.04のインストール」を 参照されたい。 紹介されている手順でUbuntu Linuxのインストールができる。
Windows上のWSL環境へのUbuntu Linuxのインストールを選択した場合
埼玉大学理工学研究科の後藤祐一氏による
「Windows 10におけるWSL2を用いたUbuntu環境の構築」と
「WSL2を用いたUbuntu 22.04 LTS環境の構築」を
参考にする。
丁寧に環境構築の手順が紹介されている。
さらにsourceforgeから
VcXsrv Windows X Server
をダウンロードして、windowsにインストールする。
Ubuntu Linuxへのツール群のインストール
Ubuntu Linuxのリポジトリを国内ミラーに変更するため、設定を編集する。 Ubuntu Japanese Teamの「日本国内のダウンロードサイト」を参考に、 例えば理化学研究所のミラーを利用するならば、 /etc/apt/sources.listの"http://archive.ubuntu.com/ubuntu/"を"http://ftp.riken.jp/Linux/ubuntu/" に書き換える。
$ sudo vi /etc/apt/sources.list
sources.list を反映して、パッケージを最新版にする。
$ sudo apt update
$ sudo apt upgrade
# 各種ツールをコンパイルするために必要なツール群をインストールする。
$ sudo apt install build-essential
# GNU Fortran のインストール
$ sudo apt install gfortran
# グラフ作成ソフト gnuplot のインストール
$ sudo apt install gnuplot
# スクリプト言語 ruby のインストール
$ sudo apt install ruby
# netcdf ファイルのビューアー ncview のインストール
$ sudo apt install ncview
# netcdf ファイル用ユーティリティ nco のインストール
$ sudo apt install nco
# netcdf ファイル用ユーティリティ cdo のインストール
$ sudo apt install cdo
# ncdump 等のnetcdfの実行形式ファイルのインストール
$ sudo apt install netcdf-bin
# GrADS のインストール
$ sudo apt install grads libgadap-dev
# エディター emacs のインストール
$ sudo apt install emacs emacs-el emacs-goodies-el emacs-gtk emacs-intl-fonts
# x11-appsのインストール
$ sudo apt install x11-apps
# 画像ビューワー geeqie のインストール
$ sudo apt install geeqie
WSL2でXウィンドウシステムを使う準備(Windows 10/11のみ)
埼玉大学理工学研究科の後藤祐一氏による「Ubuntu 20.04LTSのWSL2上へのインストールと初期設定」の 「 X Windowの起動(Windows側からLinuxソフトウェアを別画面表示する)」を参照。
Miniconda環境の作成とNCLのインストール
Ubuntu Linuxならターミナルを起動させる。WSL2上のUbuntuの場合、WindowsのメニューからUbuntuを選択して起動させる。
NCLは多数の外部ライブラリーを利用しているため、外部ライブラリーのバージョン番号が違ってしまうだけで作動しなくなってしまうことがある。
そこでNCARは外部ライブラリーも含んだconda環境用のNCLのパッケージをconda-forgeから公開しており、このパッケージの利用を推奨している。
そこでconda環境を作成するためにMinicondaを利用する。
Miniconda から”Miniconda3 Linux 64-bit”をダウンロードしてインストールする。
$ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
$ bash ./Miniconda3-latest-Linux-x86_64.sh
Preparing transaction: done
Executing transaction: done
installation finished.
Do you wish the installer to initialize Miniconda3
by running conda init? [yes|no]
[no] >>> no
You have chosen to not have conda modify your shell scripts at all.
To activate conda's base environment in your current shell session:
eval "$(/home/hoge/miniconda3/bin/conda shell.YOUR_SHELL_NAME hook)"
To install conda's shell functions for easier access, first activate, then:
conda init
If you'd prefer that conda's base environment not be activated on startup,
set the auto_activate_base parameter to false:
conda config --set auto_activate_base false
Thank you for installing Miniconda3!
conda の設定を実施する。
$ eval "$(/home/hoge/miniconda3/bin/conda shell.bash hook)"
$ conda init
$ conda config --set auto_activate_base false
一度、ログアウトする。
$ exit
Ubuntu Linuxの場合ターミナルを起動する。WSL2上のUbuntuの場合は、WindowsのメニューからUbuntuを起動する。
$ which conda
/home/hoge/miniconda3/condabin/conda
conda環境を最新状態にアップデートする。
$ conda update -n root –all
仮想環境ncl_stable を作成し、nclをインストールする。
$ conda create -n ncl_stable -c conda-forge ncl
仮想環境のリストを確認する。
$ conda info –envs
# conda environments:
#
base /home/hoge/miniconda3
ncl_stable /home/hoge/miniconda3/envs/ncl_stable
WSL上のUbuntuの場合、XウィンドウサーバーVcXsrvを起動する。
nclの動作確認を行うため、サンプルスクリプトの線グラフを表示。
$ conda activate ncl_stable
$ cd ~/miniconda3/envs/ncl_stable/lib/ncarg/ncles/xyplot
$ ncl ./xy01n.ncl
conda環境の終了。
$ cd
$ conda deactivate
$ exit
wgrib / wgrib2のインストール
コンパイルしたツールを保存するディレクトリToolsと作業領域tmpを作成。
$ cd ~
$ mkdir Tools
$ mkdir Tools/bin Tools/lib
$ mkdir tmp
$ cd tmp
wgrib のダウンロードとコンパイル
$ wget https://ftp.cpc.ncep.noaa.gov/wd51we/wgrib/wgrib.tar
$ mkdir wgrib
$ cd wgrib
$ tar xvf ../wgrib.tar
$ make
$ cp ./wgrib ~/Tools/bin/
$ cd ..
$ rm -fr ./wgrib
wgrib2 のダウンロードとコンパイル
$ wget https://www.ftp.cpc.ncep.noaa.gov/wd51we/wgrib2/wgrib2.tgz
$ tar zxvf ./wgrib2.tgz
$ cd grib2
makefile の編集。下記の行の先頭の#を削除する。
$ vi makefile
#export CC=gcc
#export FC=gfortran
$ make
$ cp ./wgrib2/wgrib2 ~/Tools/bin/
$ cd ..
$ rm -fr ./grib2/
grib2ctl のダウンロードとインストール
$ wget ftp://ftp.cpc.ncep.noaa.gov/wd51we/wgrib.scripts/grib2ctl.pl
$ mv grib2ctl.pl ~/Tools/bin/
g2ctl のダウンロードとインストール
$ wget ftp://ftp.cpc.ncep.noaa.gov/wd51we/g2ctl/g2ctl
$ mv g2ctl ~/Tools/bin/
$ cd ~/Tools/bin/
$ chmod u+x wgrib wgrib2 g2ctl grib2ctl.pl
.bashrc の環境変数PATH を編集する。
$ vi .bashrc
export PATH=$PATH:/home/hoge/Tools/bin
$ source ~/.bashrc
$ which wgrib
/home/hoge/Tools/bin/wgrib
NetCDF/HDFのビューアーPanoplyのインストール
OpenJDKをインストールする。
$ sudo apt install openjdk-17-jdk
NASA GISS から Panoply 5.2.2 “generic” for Linuxをダウンロードする。
$ cd ~/tmp/
$ wget https://www.giss.nasa.gov/tools/panoply/download/PanoplyJ-5.2.2.tgz
$ tar zxvf PanoplyJ-5.2.2.tgz
$ mv ./PanoplyJ/ ~/Tools/
$ cd ~
.bashrc で環境変数PATH を編集する。
$ vi .bashrc
export PATH=$PATH:/home/nobu/Tools/bin:/home/nobu/Tools/PanoplyJ
.bashrc を読み込み直して、PATHを更新する。
$ source ~/.bashrc
$ which panoply.sh
/home/hoge/Tools/PanoplyJ/panoply.sh
【参考】統計言語Rとrstudioのインストール
【Windows 10/11の場合】
- Windows 10/11にWindows用のバイナリをインストールする。 WSL2のUbuntu LinuxにUbuntu用のバイナリをインストールしないようにする。
- CRANの”R for Windowsにアクセスし、 ”base”というところをクリックし最新のWindows向けバイナリをダウンロードする。 ダウンロードしたファイルをダブルクリックすることでインストールできる。
- “RTools: Toolchains for building R and R packages from source on Windows”に アクセスし、”RTools 4.2”をクリックして”Rtools42 for Windows”のページに移動する。 移動先で”Rtools42 installer”をクリックしてインストーラーをダウンロードする。ダブルクリックでインストールできる。
- rstudioのダウンロードページにアクセスし、 Windows用のインストーラーをダウンロードする。ダブルクリックでインストールできる。
【Ubuntu Linuxの場合】
- “Ubuntu Packages For R - Brief Instruction”の指示に従ってインストールする。 "\”は継続行を意味する。
$ sudo apt update -qq
$ sudo apt install --no-install-recommends software-properties-common dirmngr
$ wget -qO- \
https://cloud.r-project.org/bin/linux/ubuntu/marutter_pubkey.asc \
| sudo tee -a /etc/apt/trusted.gpg.d/cran_ubuntu_key.asc
$ sudo add-apt-repository \
"deb https://cloud.r-project.org/bin/linux/ubuntu \
$(lsb_release -cs)-cran40/"
$ sudo apt install –no-install-recommends r-base
$ sudo add-apt-repository ppa:c2d4u.team/c2d4u4.0+
$ sudo apt update -qq
- rstudio のダウンロードページにアクセスし、使用しているUbuntuが22.04LTSならば”Ubuntu 22”用のパッケージを、18.04LTS/20.04LTSならば”Ubuntu 18+”のパッケージをダウンロードする。
$ sudo dpkg -i rstudio-2022.07.2-576-amd64.deb