SonotaCo.JP
SonotaCo Network Japan Forum
SonotaCo.JP Forum Index
homeTop Page  FAQFAQ   検索検索   メンバーリストメンバーリスト   ユーザーグループユーザーグループ   登録する登録する 
 プロフィールプロフィール   プライベートメッセージをチェックするプライベートメッセージをチェックする   ログインログイン 

GFE (Global Fireball Exchange format)

 
新しいトピックを投稿   トピックに返信    SonotaCo.JP Forum Index -> なんでも談話室 (Etc)
前のトピックを表示 :: 次のトピックを表示  
投稿者 メッセージ
SonotaCo
Site Admin


登録日: 2004.08.07
記事: 12669
所在地: 139.67E 35.65N

記事日時: Sat Dec 25, 2021 8:19 am    記事の件名: GFE (Global Fireball Exchange format) 引用付きで返信

UK から 私の方に UFOseries の GFE (Global Fireball Exchange format) 対応についての打診がありました。
IMCに参加された方もおられるようなので、GFEの話をご存知の方もおられればご意見が伺えるかと思い、トピックを作ってみます。

以前から流星観測データの統一については様々な話があったのですが (私も2010年に統一フォーマットを提案したりしたしました)結局中心人物が登場せず、皆我が道を行っています。
今年の2月にUKであった Winchcombe 隕石というのがあり、これが5つの異なるネットワークで異なる形でのデータが作成されたため、やはりなんとかしたいということで、再度提案された感じです。

骨格は DFN(Desert Fireball Network)の形をベースに考案されたれものです。
現状の対応状況 (入力 出力)
DFN(Desert Fireball Network) (〇 △)
GMN(Global Meteor Network) (〇 〇)
FRIPON (前向き検討中)
AllSkyCams (〇 計画中)
MetRec (- 〇)
CAMS (no no)
NASA (Czech,Polish,Finnish, Spanish) 未アプローチ

で UFO series に 対応の要望があったわけです。

内容的には まずは 経路計算に必要な 観測地と各フレームのタイミングでの観測方向を含むデータ ( UFO series の A.XML の内容ににたもの) を テキストの csv にコメントを追加したような ecsvという形に統一しようという話です。AXMLの形を変えただけという見方もできます。

欧州にもUFO seriesのユーザは結構いて、現状で AXML -> ecsv コンバーター は既にあり使用されているようです。

気になるのは観測地の詳細位置を含むデータ という点で、我々のAXMLと同様に取り扱いに注意が必要と思いますが、欧州でどのような管理がされるかは不明です。

何かご存知の方、ご意見ある方おられましたら よろしくお願いします。


最終編集者 SonotaCo [ Tue Dec 28, 2021 7:33 am ], 編集回数 1 回
トップに戻る
ユーザーのプロフィールを表示  
藤原康徳



登録日: 2004.08.10
記事: 2715
所在地: 大阪市淀川区

記事日時: Sun Dec 26, 2021 12:34 am    記事の件名: IMCのときの話 引用付きで返信

藤原康徳です。

IMCには参加していましたが、だんだん記憶が薄れてきます。プラスおそらく話がさらに進んでいるのではないかとは思いますが、若干の印象です。

SonotaCoさんが書かれているように、イギリス国内では、流星のビデオからの検出ソフトと測定・計算シフトが複数動いている(ネットワークが複数ある)ようで、
Winchcombe隕石落下したときの隕石火球の計算をするときにデータ共有がうまくできなかったことがきっかけとなったようでした。
そこでイベント情報の共有とネットワーク間のデータ共有を図るということでGFEというフォーマットが提案されたようです。IMCの時点では、五つのシステム間で何とかできないか、
各ネットワークから代表者をだしてコミュニケーションをとっていこうというような話でした。
もちろん、UFOCaptureも対象に入っていました。その時点で具体的な代表者?のお名前も挙がっていました。

今日、このレスを書き始めたときにふと気が付いて久しぶりにIMOのホームページを見ましたら、IMCのzoomでの発表がYouTubeで公開されていました。

https://www.imo.net/imc-2021-video-talks/

GFEに関する提案については次の発表です。

https://www.youtube.com/watch?v=YEwAk7GTPws&list=PLEypPv_8eK00pIVBKu21xFrymUaRiZQSc

ということで発表自体は私が、簡単なメモとあやふやな記憶でごちゃごちゃ書くよりYouTubeで見ていただくのがよいと思います。

フォーマット変換の話は、技術的な話もありますが、個人的には、それぞれのネットワークの基本的な考え方というかスタンスによりデータ交換になじむのかどうかという基本的なところが
合意できるのかどうかが問題かなと思いました。

この発表の二つ後にあったAllSky7Fireball Networkでは、結構厳密?な(と感じた)規約を承認することがネットワーク参加の条件のような話もあったような(ここは完璧に英語力の欠如です)感じでした。
またネットワークによっては、観測が朝に終了するとデータを本部(中央局?)に自動で送るようなシステムになっているようなところもあり、ネットワークによる個性があるように感じました。

それからすると、UFOCaptureシリーズは、日本ではSonotaCoネットワークとして活動していますが、今回の提案の趣旨からすると海外ではソフトウエアとしての使用条件だけの話になるのかもしれません(ネットワーク間でのデータ交換ではなくて)。

AllSky7は、IMCの時点でヨーロッパだけでなく世界各地に機材があるということで、韓国にも7ヶ所設置されているという話でした。IMC以降はまったくチェックしていませんので、AllSky7の現状は知りません。

これもあやふやな記憶ですが、MeRecの結果をUFOOrbitV2で計算できるフォーマットに変換するソフトがあるという話を相当以前に聞いたように思います。
MetRecの作者は、MetRecは単点観測用なので同時流星の軌道計算はしないのでGFCへの書き込みのみできるような対応は可能みたいなことをコメントしていました。

あやふやな話ばかりで申し訳ありません。
トップに戻る
ユーザーのプロフィールを表示  
SonotaCo
Site Admin


登録日: 2004.08.07
記事: 12669
所在地: 139.67E 35.65N

記事日時: Sun Dec 26, 2021 7:57 am    記事の件名: Re: IMCのときの話 引用付きで返信

コメントありがとうございました > 藤原さん

一応、次のような返事をしようかと思っています

UFO seriesにはMCSVとAXMLという2つのデータ形式がある。MCSVはAXMLから特定の処理で生成することができる。
前者は観測地情報が暗号化され、日々の公開のデータ集配に使用されている。
後者は平文の観測地情報とフレーム毎観測方向情報を含むもので、大気減速を考慮した精密火球経路計算のために非公開で交換され使用されている。

ecsvはAXMLは類似した内容のものであるが、誤差情報などの非互換部分があり、完全な相互変換は不可能であり、変換したデータの利用では制約が発生する。

ecsvでは観測地情報が暗号化されていないので、我々がこれをMCSVに代えて日々の公開情報集配に利用することはない。個人の観測点を含む場合ecsv情報を公開で集配することはプライバシーの問題からどこの国でも止めるべきたと思う。
日本ではAXMLを用いた精密火球経路計算が過去の多数の隕石落下の可能性がある火球に対して行われてきており、そのためのシステムが既に存在していることからAXMLでの情報交換がなくなることはない。

現状でAXMLからecsvへの変換ツールは存在しているらしい。
ecsvからAXMLへの変換ツールはおそらくは存在していない。
ecsvからMCSVへの変換(UO2へのecsvへの読み込みのための変換)は存在しているかは不明。
技術的にはUFOAnalyzerV2(UA2)にecsv出力を組み込むこともUFOOrbitV2(UO2)にecsvを読み込む機能を組み込むことも可能である。
精密火球経路計算プログラムは特定のチームで使用されているものであるため、ecsvの読み込み機能の追加は必要に応じて随時処理される。
過去、Metrec出力をUO2に入力するため、INF2MCSVというツールを作成して公開している。


ecsvを利用する例えば精密火球経路計算などが公開され、誰でも使用可能になり、現状の変換ツールが不便なものであれば、UA2へのecsv出力の組み込みはUA2利用者にとってメリットがある。
その状況となればUA2へのecsv出力機能を組み込むことを検討したい。

UO2へのecsv読み込みに関しては、もし存在しておらず、ecsvを出力する観測システムが増加するならINF2MCSVに準じたものを作成するまたはUO2にその機能を持たせることを検討したい。

もし、以下のプログラムが公開されているなら教えて欲しい、それらを使ってみて、価値あると判断できれば、UA2へのecsv出力機能追加を行いたい。
ecsvと高層の大気密度や風情報を読み込み、隕石の落下位置を予想するプログラム
AXMLからecsvへの変換プログラム
トップに戻る
ユーザーのプロフィールを表示  
SonotaCo
Site Admin


登録日: 2004.08.07
記事: 12669
所在地: 139.67E 35.65N

記事日時: Mon Dec 27, 2021 7:36 am    記事の件名: 11/15-16 Tokyo8 引用付きで返信

GFE推進者のJim Roweと話をしています。もしかすると、UFO series に GFE対応機能を追加するかもしれません。
どなたか、University of Western Ontario. の “Wmpl” を使ったことある方おられますか?
おられたら、入手方法、使用感などお教え下さい。
よいものならば、対応しようかと....
トップに戻る
ユーザーのプロフィールを表示  
Cyanometer



登録日: 2018.10.04
記事: 14
所在地: 37,5E 45,0N

記事日時: Fri Dec 31, 2021 11:07 am    記事の件名: 引用付きで返信

Hello,
おそらく、これらのリンクはあなたに役立つでしょう:

https://github.com/wmpg/WesternMeteorPyLib


このビデオは、4.45分から始まるWMPLプログラムの結果を示しています。
https://youtu.be/HNyXB0-stSo?t=284
トップに戻る
ユーザーのプロフィールを表示  
SonotaCo
Site Admin


登録日: 2004.08.07
記事: 12669
所在地: 139.67E 35.65N

記事日時: Fri Dec 31, 2021 12:47 pm    記事の件名: 引用付きで返信

Cyanometer wrote:
Hello,
おそらく、これらのリンクはあなたに役立つでしょう:

https://github.com/wmpg/WesternMeteorPyLib


このビデオは、4.45分から始まるWMPLプログラムの結果を示しています。
https://youtu.be/HNyXB0-stSo?t=284

Hi,
Thank you for comments. I heard Denis Vida's voice for the first time.
Please use English if you accustom to. It will show clearer meaning than translators Wink

Just Yesterday, I wrote sample code that converts our AXML to ECSV in UA2, and test Wmpl with converted data of our bolide below..
https://sonotaco.jp/forum/viewtopic.php?t=4435
It showed similar but not identical result of luminous trajectory.
I cannot compare the result directory because the computation of the residual is not same,
Wmpl's said the all spatial residuals of TK8_u9 (4Kcamera) was 20.99m rmsd.
It seems very good.
Yet, I could not find dark flight computation modules on Wmpl, I could not test the difference of touchdown point.
Are the dark flight computation modules in Wmpl? Let me know if you know how to use it.

Also, I looked at DFN_darkflight modules on github. There was darkflight modules but it seems it runs on only Linux, so I gave up yesterday.
Please let me know if there is a version that runs on Windows anaconda.

There are some problem on ECSV for us, and I'm still wondering how to handle this.
--
the link to our bolide was wrong



20191112_130023_all_spatial_total_residuals_height.png
 説明:
 ファイルサイズ:  104.78 KB
 閲覧数:  2577 回

20191112_130023_all_spatial_total_residuals_height.png




最終編集者 SonotaCo [ Fri Dec 31, 2021 1:15 pm ], 編集回数 2 回
トップに戻る
ユーザーのプロフィールを表示  
Cyanometer



登録日: 2018.10.04
記事: 14
所在地: 37,5E 45,0N

記事日時: Fri Dec 31, 2021 1:02 pm    記事の件名: 引用付きで返信

Good day.
I have not had to work with programs calculating dark flight.
You can contact Denis for more information. At least, when our network recorded a fireball potentially dropping meteorite, it was he who calculated the dark flight.
トップに戻る
ユーザーのプロフィールを表示  
SonotaCo
Site Admin


登録日: 2004.08.07
記事: 12669
所在地: 139.67E 35.65N

記事日時: Sun Jan 02, 2022 7:49 am    記事の件名: 検討結果 引用付きで返信

GFE の 現状のECSV フォーマットはいくつか問題点があると思うので、UFO series における対応は今後のフォーマットの改版の様子を見てから考えることにしたいと思いました。

致命的な問題点としては
1.誤差の表現方法が .方位仰角のそれぞれについて度で表現する方法しかなく、これは天頂方向で表現不可能になる方法なので、利用できません。
よく分からない点としては
2.1クリップ複数流星や1流星複数部分の扱いが不明確
改良が期待される点としては
3.エクセルで全データがそのまま読めるように 全体を単純なカンマ区切りのCSVにしてほしい
4.時刻誤差についての記載も必要
5.各フレームの観測方向の方位仰角と赤経赤緯の変換が利用する時刻の扱い方をより明確にして複数許容して欲しい。
そもそも論として、
6.緯度経度の観測地情報を非公開にできる仕掛けを考えてほしい
7.もはやファイルの手動の交換ではなく、オンラインシステムで処理してほしい
などです。
私としては、あまり他のネットワークの議論に参加したいと思わないので、今後改版があったらまた様子を見たいと思っています。
トップに戻る
ユーザーのプロフィールを表示  
特定期間内の記事を表示:   
新しいトピックを投稿   トピックに返信    SonotaCo.JP Forum Index -> なんでも談話室 (Etc) All times are GMT + 9 Hours
Page 1 of 1

 
移動先:  
新規投稿: 不可
返信投稿: 不可
記事編集: 不可
記事削除: 不可
投票参加: 不可
このフォーラムで添付ファイルを投稿 できません
このフォーラムでファイルをダウンロード できます


Powered by phpBB © 2001, 2005 phpBB Group
Copyright ©2004 SonotaCo Network. All Rights Reserved.