Latest update on 2018年3月7日 (水) at 15:42:47.
【第1335回】 講義準備とKobe.Rと(2016年6月26日)
- 日曜は7:00起床。午前中に採点と講義資料印刷を終わらせねば。とりあえず鶏肉とニンジンとキャベツとブロッコリーの味噌煮込みを作り,米を炊いて朝食。
- 9時台のバスで大学へ。講義資料印刷を済ませたところで11:15。
- 13:10頃研究室を出て大阪へ。今日はKobe.R#25(天博との共催)ということで,気象データ解析。YuMake.LLC佐藤拓也さん。防災・減災をこれまで主にやってきた。
- センサーで観測した気象データについて(佐藤拓也さん)。Weather APIと気象センサの話。ベースは気象庁のデータ。バイナリやXML形式は扱いにくいので,JSONに変換してAPIで提供している。PDFから変換したものや独自に計算したデータも含む。気象情報APIは三種類(天気予報,防災・災害情報,観測情報)。天気予報は,今日明日天気予報API,週間天気予報API,時系列天気予報APIを提供している(リンク先をみると,初期費用5万円だ)。こういうデータをいろいろな分野のデータと掛け合わせて分析している。センサとしてはNetatmo(リンク先はアマゾン。Gigazineにも紹介記事があった)というのを使っている。屋内モジュール,屋外モジュール,風速計,雨量計の4種類。気温(℃),湿度(%),気圧(hPa),CO2濃度(ppm),騒音(dB)。CO2濃度と騒音は屋内モジュールで測定。屋外センサは単4電池で2年間稼働。雨量計は転倒マス方式。Max 150 mm/h。風速計は4つの超音波センサで測定。風向と風速が出る(単3電池4本で2年間もつ)。家庭用WiFiで接続するのが基本。simフリーWiFiで試験接続。Soracom 3Gで接続確認がとれている。5分間隔で自動アップロード。スマホアプリで現在状況を確認可能(iPhone, Android, Windows)。上部が屋外状況,スワイプで雨量,風速が閲覧可能。下部は屋内状況。週間天気予報付き。WEBからも観測状況の確認が可能(これか?)。観測状況がグラフで細かにわかる。観測データダウンロードも可能。これによる奈良県生駒市某所での観測データを本日使う。
- 簡単な天候データ分析(河原弘宣さん)天候に関わるtwitterの分析もやってみる。天候データ分析の活用事例としては,日本気象協会が需要予測をして食品ロスの削減に成功した(省エネ物流)というニュースが先日あった。今日はtwitterのテキストデータの分析とYuMakeからの数値データの分析。しかし本当は可視化の後でどう活用するのかが大事。そこは今日は扱わない。というわけで,実際のデータ解析は井上さんにバトンタッチ。
- R及び分析手法の紹介(井上英郎さん)食肉検査員で疫学には興味があるエンドユーザとして,ロジスティック回帰分析の話を。理由は,脂肪壊死症という原因不明の病気が和牛に多く発生し死んでしまう。原因を突き止めたくて始めた。疫学ではデータが手に入るプロセスを推定することが大事なのでロジスティック回帰分析が良く使われている。職場でRの解析結果を説明しても理解されないので,Rでのロジスティック回帰の方法と,それをExcelで実施する方法。ロジスティック回帰にはglmとVGAM::vglmとMASS::polrが使える。注意点1:分離(完全に分かれてしまう。glm.fitアルゴリズムが収束しませんでしたとか),brglm::separationでわかる。注意点2:過分散(緑本7章参照)。dispmod::glm.binomial.disp()でわかるらしい。過分散がある場合は,GLMM::glmmML()を使うと良いらしい。今回使うデータはiris(ネタ元は同志社大学金さんの「Rとカテゴリカルデータのモデリング(2)」の書籍版らしい)。3種類を多項ロジスティックで。結果をpredictで得る(type="response"が応答確率を計算させるオプション)。これで得られた係数をExcelに式として入れると,誰でも結果を使えるようになる。今後はglmnetやcaretパッケージを使ってみたいとのこと。(■RExcelって今どうなっているのだろう?)
- 気象データの可視化をしてみよう(河原弘宣さん)データと予測データのマッピングをするためのRコードはKobe.Rのサイトからダウンロードできる。データの取得はhttps://apps.twitter.com/から。ログインする(電話番号が登録済みである必要がある)。twitteRパッケージとROAuthパッケージを使ってデータを取得する。文字エンコードはiconv('雨 OR 傘', to="utf8")が必須。15分間で180回以内なら自動的にスクリプトを走らせて(Windowsならタスクスケジューラ,Linuxならcronで)データを取得して良い。テキストデータの分析はRMeCabで。リツイなどがあるので,前処理が必要。日本語だけ抽出して単語の前後関係を可視化するとか。この話は,雨と傘に注目したテキストマイニングの例。(■内容的には去年のR研究集会@統数研の(7)や(9)に近いか?)次の話は数値データ解析。おでんが売れる日は前日より気温が下がった日かどうか。緯度経度データも入っているので,leafletパッケージを使って可視化。GapminderをGoogleが買収して,その機能をRで使えるようになったという話は知らなかった。
- やはり若い人の新しい話は刺激になるなあ。懇親会も出たかったが,まだ採点が残っているので出ないで帰途に就いた。
- 神戸駅の成城石井で野沢菜昆布などを買って帰宅し,朝作ったスープを温め直したおかずと,野沢菜昆布のせご飯で晩飯。
- 今日知ったNetatmoだが,地図情報を見たらメラネシアではニューカレドニアにしかまだないが,意外に世界中にあるのだなあ。サラワクに設置しているのは研究者だろうか。シンガポールには15ヶ所もあった。例えば100台くらい買ってソロモン諸島に設置し,気象データを自動記録するのと同時に3ヶ月くらい前向き研究(できれば毎週したいが,それだとfeasibilityがなさそうだから月一度くらいのペースで,指先採血+RDTでマラリアとDengueの検査+質問紙調査+行動観察など)をして,蚊が媒介する感染症と微気象の長期的な関係の分析をしたら,これまで不可能だったレベルの感染症数理モデルの実証ができそう。マレーシアのDengueのデータは,かなり細かいレベルで微気象データがあったが,たしか気温と湿度だけだったので,これだと風速や雨量まで取れるのが大きいと思う(蚊の行動へは風速の影響が大きいので)。予算的にはざっと1000万円くらいかかるが,申請する価値はあるかも。とはいえ,自分で書く暇はないので,誰か書いてチームに入れてくれたら嬉しい。
△Read/Write COMMENTS
▼前【1334】(論文指導とか査読とか(2016年6月24日-25日)
) ▲次【1336】(再び月曜がきて講義とミーティング(2016年6月27日)
) ●Top
Notice to cite or link here | [TOP PAGE]