cabadsanchez
3/26/2015 - 11:43 AM

Elasticsearch tweet mapping for Numbat

Elasticsearch tweet mapping for Numbat

Numbat tweet mapping (elasticsearch)

This mapping is intended to be used with raw tweets gathered through the Twitter river.

Additional field for Sentiment Analysis info. Possible values:

  • NA: tweets are indexed before being analyzed (and then updated).
  • NONE
  • N+
  • N
  • NEU
  • P
  • P+

It has three additional nested objects:

  • category: to index tweets with Text Classification info.
    • code
    • label
    • relevance
    • abs_relevance
    • term_list
  • concept: to index tweets with Topics Extraction concepts info.
    • appearances
    • dictionary
    • form
    • id
    • relevance
    • sementity
    • semtheme_list
    • variants
  • entity: to index tweets with Topics Extraction entities info.
    • appearances
    • form
    • id
    • relevance
    • sementity
    • semtheme_list
    • variants
{
   "tweet":{
      "properties":{
         "coordinates":{
            "properties":{
               "coordinates":{
                  "type":"geo_point"
               }
            }
         },
         "created_at":{
            "type":"date",
            "format":"dateOptionalTime"
         },
         "entities":{
            "properties":{
               "hashtags":{
                  "properties":{
                     "indices":{
                        "type":"integer"
                     },
                     "text":{
                        "type":"string",
                        "index":"not_analyzed"
                     }
                  }
               },
               "media":{
                  "properties":{
                     "display_url":{
                        "type":"string"
                     },
                     "expanded_url":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "indices":{
                        "type":"integer"
                     },
                     "media_url_https":{
                        "type":"string"
                     },
                     "type":{
                        "type":"string"
                     },
                     "url":{
                        "type":"string"
                     }
                  }
               },
               "urls":{
                  "properties":{
                     "display_url":{
                        "type":"string"
                     },
                     "expanded_url":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "indices":{
                        "type":"integer"
                     },
                     "url":{
                        "type":"string"
                     }
                  }
               },
               "user_mentions":{
                  "properties":{
                     "id":{
                        "type":"long"
                     },
                     "id_str":{
                        "type":"string"
                     },
                     "indices":{
                        "type":"integer"
                     },
                     "name":{
                        "type":"string"
                     },
                     "screen_name":{
                        "type":"string",
                        "index":"not_analyzed"
                     }
                  }
               }
            }
         },
         "favorite_count":{
            "type":"long"
         },
         "id":{
            "type":"long"
         },
         "id_str":{
            "type":"string"
         },
         "in_reply_to_screen_name":{
            "type":"string",
            "index":"not_analyzed"
         },
         "in_reply_to_status_id":{
            "type":"long"
         },
         "in_reply_to_user_id":{
            "type":"long"
         },
         "lang":{
            "type":"string",
            "index":"not_analyzed"
         },
         "meta":{
            "properties":{
               "category":{
                  "type":"nested",
                  "properties":{
                     "abs_relevance":{
                        "type":"double"
                     },
                     "code":{
                        "type":"long"
                     },
                     "label":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "relevance":{
                        "type":"double"
                     },
                     "term_list":{
                        "properties":{
                           "abs_relevance":{
                              "type":"double"
                           },
                           "form":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     }
                  }
               },
               "concept":{
                  "type":"nested",
                  "properties":{
                     "appearances":{
                        "type":"long"
                     },
                     "dictionary":{
                        "type":"string"
                     },
                     "form":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "id":{
                        "type":"string"
                     },
                     "relevance":{
                        "type":"double"
                     },
                     "sementity":{
                        "properties":{
                           "class":{
                              "type":"string"
                           },
                           "fiction":{
                              "type":"string"
                           },
                           "id":{
                              "type":"string"
                           },
                           "type":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     },
                     "semtheme_list":{
                        "properties":{
                           "id":{
                              "type":"string",
                              "index":"not_analyzed"
                           },
                           "type":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     },
                     "variants":{
                        "properties":{
                           "endp":{
                              "type":"long"
                           },
                           "form":{
                              "type":"string",
                              "index":"not_analyzed"
                           },
                           "inip":{
                              "type":"long"
                           }
                        }
                     }
                  }
               },
               "entity":{
                  "type":"nested",
                  "properties":{
                     "appearances":{
                        "type":"long"
                     },
                     "form":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "id":{
                        "type":"string"
                     },
                     "relevance":{
                        "type":"double"
                     },
                     "sementity":{
                        "properties":{
                           "class":{
                              "type":"string"
                           },
                           "confidence":{
                              "type":"string"
                           },
                           "fiction":{
                              "type":"string"
                           },
                           "id":{
                              "type":"string"
                           },
                           "type":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     },
                     "semtheme_list":{
                        "properties":{
                           "id":{
                              "type":"string"
                           },
                           "type":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     },
                     "variants":{
                        "properties":{
                           "endp":{
                              "type":"long"
                           },
                           "form":{
                              "type":"string",
                              "index":"not_analyzed"
                           },
                           "inip":{
                              "type":"long"
                           }
                        }
                     }
                  }
               }
            }
         },
         "place":{
            "properties":{
               "bounding_box":{
                  "properties":{
                     "coordinates":{
                        "type":"geo_point"
                     },
                     "type":{
                        "type":"string"
                     }
                  }
               },
               "country":{
                  "type":"string"
               },
               "country_code":{
                  "type":"string",
                  "index":"not_analyzed"
               },
               "full_name":{
                  "type":"string"
               },
               "name":{
                  "type":"string"
               },
               "place_type":{
                  "type":"string"
               }
            }
         },
         "retweet_count":{
            "type":"long"
         },
         "retweeted_status":{
            "properties":{
               "coordinates":{
                  "properties":{
                     "coordinates":{
                        "type":"geo_point"
                     }
                  }
               },
               "created_at":{
                  "type":"date",
                  "format":"dateOptionalTime"
               },
               "entities":{
                  "properties":{
                     "hashtags":{
                        "properties":{
                           "indices":{
                              "type":"integer"
                           },
                           "text":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     },
                     "media":{
                        "properties":{
                           "display_url":{
                              "type":"string"
                           },
                           "expanded_url":{
                              "type":"string",
                              "index":"not_analyzed"
                           },
                           "indices":{
                              "type":"integer"
                           },
                           "media_url_https":{
                              "type":"string"
                           },
                           "type":{
                              "type":"string"
                           },
                           "url":{
                              "type":"string"
                           }
                        }
                     },
                     "urls":{
                        "properties":{
                           "display_url":{
                              "type":"string"
                           },
                           "expanded_url":{
                              "type":"string",
                              "index":"not_analyzed"
                           },
                           "indices":{
                              "type":"integer"
                           },
                           "url":{
                              "type":"string"
                           }
                        }
                     },
                     "user_mentions":{
                        "properties":{
                           "id":{
                              "type":"long"
                           },
                           "id_str":{
                              "type":"string"
                           },
                           "indices":{
                              "type":"integer"
                           },
                           "name":{
                              "type":"string"
                           },
                           "screen_name":{
                              "type":"string",
                              "index":"not_analyzed"
                           }
                        }
                     }
                  }
               },
               "favorite_count":{
                  "type":"long"
               },
               "id":{
                  "type":"long"
               },
               "id_str":{
                  "type":"string"
               },
               "in_reply_to_screen_name":{
                  "type":"string",
                  "index":"not_analyzed"
               },
               "in_reply_to_status_id":{
                  "type":"long"
               },
               "in_reply_to_user_id":{
                  "type":"long"
               },
               "lang":{
                  "type":"string",
                  "index":"not_analyzed"
               },
               "place":{
                  "properties":{
                     "bounding_box":{
                        "properties":{
                           "coordinates":{
                              "type":"geo_point"
                           },
                           "type":{
                              "type":"string"
                           }
                        }
                     },
                     "country":{
                        "type":"string"
                     },
                     "country_code":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "full_name":{
                        "type":"string"
                     },
                     "name":{
                        "type":"string"
                     },
                     "place_type":{
                        "type":"string"
                     }
                  }
               },
               "retweet_count":{
                  "type":"long"
               },
               "sentiment":{
                  "type":"string",
                  "index":"not_analyzed"
               },
               "text":{
                  "type":"string"
               },
               "user":{
                  "properties":{
                     "description":{
                        "type":"string"
                     },
                     "followers_count":{
                        "type":"long"
                     },
                     "friends_count":{
                        "type":"long"
                     },
                     "id":{
                        "type":"long"
                     },
                     "id_str":{
                        "type":"string"
                     },
                     "listed_count":{
                        "type":"long"
                     },
                     "location":{
                        "type":"string"
                     },
                     "name":{
                        "type":"string"
                     },
                     "profile_banner_url":{
                        "type":"string"
                     },
                     "profile_image_url_https":{
                        "type":"string"
                     },
                     "screen_name":{
                        "type":"string",
                        "index":"not_analyzed"
                     },
                     "url":{
                        "type":"string"
                     },
                     "verified":{
                        "type":"boolean"
                     }
                  }
               }
            }
         },
         "sentiment":{
            "type":"string",
            "index":"not_analyzed"
         },
         "text":{
            "type":"string"
         },
         "user":{
            "properties":{
               "description":{
                  "type":"string"
               },
               "followers_count":{
                  "type":"long"
               },
               "friends_count":{
                  "type":"long"
               },
               "id":{
                  "type":"long"
               },
               "id_str":{
                  "type":"string"
               },
               "listed_count":{
                  "type":"long"
               },
               "location":{
                  "type":"string"
               },
               "name":{
                  "type":"string"
               },
               "profile_banner_url":{
                  "type":"string"
               },
               "profile_image_url_https":{
                  "type":"string"
               },
               "screen_name":{
                  "type":"string",
                  "index":"not_analyzed"
               },
               "url":{
                  "type":"string"
               },
               "verified":{
                  "type":"boolean"
               }
            }
         }
      }
   }
}