{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# xFLS master catalogue\n", "## Preparation of DataFusion-Spitzer data\n", "\n", "The catalogue comes from `dmu0_DataFusion-Spitzer`.\n", "\n", "In the catalogue, we keep:\n", "\n", "- The identifier (it's unique in the catalogue);\n", "- The position;\n", "- The stellarity;\n", "- The aperture magnitude.\n", "- The total magnitude.\n", "\n", "We don't know when the maps have been observed. We will use the year of the reference paper." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "255270d (Fri Nov 24 10:35:51 2017 +0000)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))\n", "import datetime\n", "print(\"This notebook was executed on: \\n{}\".format(datetime.datetime.now()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "collapsed": true }, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, flux_to_mag" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"spitzer_ra\"\n", "DEC_COL = \"spitzer_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'internal_id': \"spitzer_intid\",\n", " 'ra_spitzer': \"spitzer_ra\",\n", " 'dec_spitzer': \"spitzer_dec\",\n", " 'class_star_1': \"spitzer_stellarity\", #Take IRAC1 stellarity\n", " 'flux_auto_1': \"f_irac_i1\", \n", " 'fluxerr_auto_1': \"ferr_irac_i1\", \n", " 'flux_aper_2_1': \"f_ap_irac_i1\", #Is this 2 arcsec aperture\n", " 'fluxerr_aper_2_1': \"ferr_ap_irac_i1\",\n", " 'flux_auto_2': \"f_irac_i2\", \n", " 'fluxerr_auto_2': \"ferr_irac_i2\", \n", " 'flux_aper_2_2': \"f_ap_irac_i2\", \n", " 'fluxerr_aper_2_2': \"ferr_ap_irac_i2\",\n", " 'flux_auto_3': \"f_irac_i3\", \n", " 'fluxerr_auto_3': \"ferr_irac_i3\", \n", " 'flux_aper_2_3': \"f_ap_irac_i3\", \n", " 'fluxerr_aper_2_3': \"ferr_ap_irac_i3\",\n", " 'flux_auto_4': \"f_irac_i4\", \n", " 'fluxerr_auto_4': \"ferr_irac_i4\", \n", " 'flux_aper_2_4': \"f_ap_irac_i4\", \n", " 'fluxerr_aper_2_4': \"ferr_ap_irac_i4\",\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_DataFusion-Spitzer/data/Datafusion-xFLS.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2011\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "/opt/herschelhelp_internal/herschelhelp_internal/utils.py:76: RuntimeWarning: invalid value encountered in log10\n", " magnitudes = 2.5 * (23 - np.log10(fluxes)) - 48.6\n" ] } ], "source": [ "# Adding flux and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('f_'):\n", " \n", " errcol = \"ferr{}\".format(col[1:])\n", " \n", " \n", "\n", " mag, error = flux_to_mag(np.array(catalogue[col]) * 1.e-6, np.array(catalogue[errcol]) * 1.e-6)\n", " \n", " # Fluxes are added in µJy\n", " catalogue.add_column(Column(mag , name=\"m{}\".format(col[1:])))\n", " catalogue.add_column(Column(error , name=\"m{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n", " \n", "# TODO: Set to True the flag columns for fluxes that should not be used for SED fitting." ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | spitzer_intid | spitzer_ra | spitzer_dec | spitzer_stellarity | f_irac_i1 | ferr_irac_i1 | f_ap_irac_i1 | ferr_ap_irac_i1 | f_irac_i2 | ferr_irac_i2 | f_ap_irac_i2 | ferr_ap_irac_i2 | f_irac_i3 | ferr_irac_i3 | f_ap_irac_i3 | ferr_ap_irac_i3 | f_irac_i4 | ferr_irac_i4 | f_ap_irac_i4 | ferr_ap_irac_i4 | m_irac_i1 | merr_irac_i1 | flag_irac_i1 | m_ap_irac_i1 | merr_ap_irac_i1 | m_irac_i2 | merr_irac_i2 | flag_irac_i2 | m_ap_irac_i2 | merr_ap_irac_i2 | m_irac_i3 | merr_irac_i3 | flag_irac_i3 | m_ap_irac_i3 | merr_ap_irac_i3 | m_irac_i4 | merr_irac_i4 | flag_irac_i4 | m_ap_irac_i4 | merr_ap_irac_i4 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | |||||||||||||||||||||||
0 | 1173051 | 261.161964 | 58.622196 | 0.15 | 31.865907462 | 18.6540333624 | 37.7387314696 | 15.9301441451 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.1416842734 | 0.63558081346 | False | 19.9580317552 | 0.458307250187 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
1 | 1175336 | 261.168937 | 58.644517 | 0.03 | 89.532383802 | 19.0419491376 | 62.9455123777 | 12.5770632326 | nan | nan | nan | nan | 77.185092234 | 38.9934282948 | 95.6504715446 | 45.2330454733 | nan | nan | nan | nan | 19.0200496306 | 0.230916822606 | False | 19.4025880673 | 0.216939578142 | nan | nan | False | nan | nan | 19.1811664313 | 0.548507174403 | False | 18.9482822115 | 0.513443941559 | nan | nan | False | nan | nan |
2 | 1174134 | 261.158816 | 58.637404 | 0.3 | 18.1127308998 | 9.1730241504 | 14.6779571111 | 6.84769880707 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.7550401628 | 0.549861005627 | False | 20.9833359641 | 0.506527881081 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
3 | 1174464 | 261.160986 | 58.640926 | 0.96 | 90.93929433 | 11.1773639628 | 93.4951143179 | 11.1235154918 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.0031210504 | 0.133448019556 | False | 18.9730277076 | 0.129174701607 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
4 | 1175556 | 261.169854 | 58.653266 | 1.0 | 30.4626624558 | 10.5978189048 | 38.828912969 | 10.3048837614 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.1905803543 | 0.37772258722 | False | 19.9271119188 | 0.28814572776 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
5 | 1176502 | 261.182591 | 58.66172 | 1.0 | 29.8997696298 | 9.8337996084 | 36.7935175386 | 10.3573174696 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.2108303945 | 0.357090117997 | False | 19.9855717268 | 0.305633038458 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
6 | 1176634 | 261.183707 | 58.663712 | 0.98 | 17.1319956654 | 9.5252256264 | 22.6398469239 | 8.98122280484 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.8154801104 | 0.603658938693 | False | 20.5128162847 | 0.430711338066 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
7 | 1176773 | 261.172812 | 58.662809 | 0.0 | 23.8856163516 | 10.8365347428 | 15.7763103962 | 5.9890432619 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.4546588689 | 0.492581724967 | False | 20.9049863941 | 0.412169952163 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
8 | 1175478 | 261.170305 | 58.650375 | 0.16 | 32.8793176248 | 13.2391607448 | 33.3778813084 | 10.4644842065 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.1076930109 | 0.437181705085 | False | 20.0913530851 | 0.340395163556 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |
9 | 1175619 | 261.167729 | 58.651669 | 0.06 | 70.465138164 | 13.893072234 | 63.2122795598 | 11.834805737 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.2800642305 | 0.214066301618 | False | 19.3979963697 | 0.203275014829 | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan |