Применение Google Trends для прогнозирования миграции из России: агрегация поисковых запросов и учет лаговой структуры
DOI:
https://doi.org/10.22394/1993-7601-2024-73-78-101Ключевые слова:
международная миграция, Россия, Германия, Google Trends, поисковые запросы, наукастинг, большие данные, прогнозированиеАннотация
В работе предложена методика прогнозирования миграционной статистики с использованием данных поисковых запросов Google Trends Index (GTI). Существующая методология усовершенствована в двух направлениях: во-первых, предложен подход агрегирования ключевых поисковых запросов на основе различных статистических критериев; во-вторых, показана важность включения в модель миграции временной лаговой структуры поисковых запросов в зависимости от целей миграции и связанных с ними GTI. Работоспособность предложенных подходов продемонстрирована на помесячных данных статистического офиса Германии об объемах миграции из России в Германию с января 2011 по август 2022 г. Результаты показали, что модели миграции с распределенными лагами GTI лучше прогнозируют миграцию, чем SARIMA модели. Оценки среднего лага, т.е. времени реакции миграционной статистики на поисковые запросы по тематикам «посольство», «работа» и «учеба», оказались равны 5.6, 6.5 и 8 месяцев соответственно. Показано, что для прогнозирования миграции из России в Германию достаточно учитывать только поисковые запросы, связанные с тематикой «посольство».Организации
Авторы выражают благодарность О. С. Чудиновских за помощь в получении доступа к данным миграционной статистики статистической службы Германии, а также анонимным рецензентам и А. Д. Сластникову за ценные комментарии и предложения.Скачивания
Библиографические ссылки
Айвазян С. А. (2012). Анализ качества и образа жизни населения (эконометрический подход). М: Наука.
Броницкий Г. Т., Вакуленко Е. С. (2022). Прогнозирование миграции из России в Германию с использованием Google-трендов. Демографическое обозрение, 9 (3), 75–92. DOI: 10.17323/demreview.v9i3.16471.
Вакуленко Е. С., Цимайло В. В. (2011). Учет нелегальной миграции населения: методы и оценки. Демоскоп Weekly, 479–480.
Воробьева О. Д., Гребенюк А. А. (2017). Сравнительный анализ отечественной и зарубежной статистической информации об эмиграции граждан России. Вопросы статистики, 1 (9), 64–73.
Денисенко М. Б. (2003). Эмиграция из России по данным зарубежной статистики. Мир России: Социология, этнология, 12 (3), 157–169.
Цапенко И. П., Юревич М. А. (2022). Статистика онлайн-запросов в наукастинге миграции. Экономические и социальные перемены: факты, тенденции, прогноз, 15 (1), 74–89. DOI: 10.15838/esc.2022.1.79.4.
Чудиновских О. С. (2018). Большие данные и статистика миграции. Вопросы статистики, 25 (2), 48–56.
Чудиновских О. С. (2020). Оценки масштабов нелегальной миграции в России: возможные подходы и источники информации. Вопросы статистики, 27 (1), 8–28. DOI: 10.34023/2313-6383-2020-27-1-8-28.
Чудиновских О. С., Степанова Д. В. (2020). О качестве федерального статистического наблюдения за миграционными процессами. Демографическое обозрение, 7 (1), 54–82. DOI: 10.17323/demreview.v7i1.10820.
Avramescu A., Wiśniowski A. (2021). Now-casting Romanian migration into the United Kingdom by using Google Search engine data. Demographic Research, 45, 1219–1254. DOI: 10.4054/DemRes.2021.45.40.
Bengtsson L., Lu X., Thorson A., Garfield R., von Schreeb J. (2011). Improved response to disasters and outbreaks by tracking population movements with mobile phone network data: A post-earthquake geospatial study in Haiti. PLoS Medicine, 8 (8). DOI: 10.1371/journal.pmed.1001083.
Benson-Rea M., Rawlinson S. (2003). Highly skilled and business migrants: Information processes and settlement outcomes. International Migration, 41 (2), 59–79. DOI: 10.1111/1468-2435.00235.
Böhme M. H., Gröger A., Stöhr T. (2020). Searching for a better life: Predicting international migration with online search keywords. Journal of Development Economics, 142, 102347. DOI:10.1016/j.jdeveco.2019.04.002.
Chi G., State B., Blumenstock J. E., Adamic L. (2020). Who ties the world together? Evidence from a large online social network. In: Cherifi H., Gaito S., Mendes J., Moro E., Rocha L. (eds). Complex Networks and Their Applications VIII. COMPLEX NETWORKS 2019. Studies in Computational Intelligence, 882. DOI: 10.1007/978-3-030-36683-4_37.
Choi H., Varian H. (2009). Predicting the present with Google Trends. Technical report, Google. http://google.com/googleblogs/pdfs/google_predicting_the_present.pdf.
Choi H., Varian H. (2012). Predicting the present with Google Trends. Economic Record, 88, 2–9. DOI: 10.5018/economics-ejournal.ja.2018-34.
Fantazzini D., Pushchelenko J., Mironenkov A., Kurbatskii A. (2021). Forecasting internal migration in Russia using Google Trends: Evidence from Moscow and Saint Petersburg. Forecasting, 3 (4), 774–803. DOI:10.3390/forecast3040048.
Ginsberg J., Mohebbi M., Patel R., Brammer L., Smolinski M., Brilliant L. (2009). Detecting influenza epidemics using search engine query data. Nature, 457, 1012–1014. DOI: 10.1038/nature07634.
Golenvaux N., Alvarez P. G., Kiossou H. S., Schaus P. (2020). An LSTM approach to forecast migration using Google Trends. DOI: 10.48550/arXiv.2005.09902.
Israeli O. (2007). A Shapley-based decomposition of the R-square of a linear regression. Journal of Economic Inequality, 5, 199–212. DOI: 10.1007/s10888-006-9036-6.
Jun S. P., Yoo H. S., Choi S. (2018). Ten years of research change using Google Trends: From the perspective of big data utilizations and applications. Technological Forecasting and Social Change, 130, 69–87. DOI: 10.1016/j.techfore.2017.11.009.
Jurić T. (2022). Facebook and Google as an empirical basis for the development of a method for monitoring external migration of Croatian citizens. Ekonomski Pregled, 73 (2), 186–214. DOI: 10.32910/ep.73.2.2.
Kikas R., Dumas M., Saabas A. (2015). Explaining international migration in the Skype network. SIdEWayS '15: Proceedings of the 1st ACM Workshop on Social Media World Sensors, 17–22. DOI: 10.1145/2806655.2806658.
Kim J., Sîrbu A., Giannotti F., Gabrielli L. (2020). Digital footprints of international migration on Twitter. In: Berthold M., Feelders A., Krempl G. (eds). Advances in Intelligent Data Analysis XVIII. IDA 2020. Lecture Notes in Computer Science, vol. 12080, 274–286. Springer. DOI: 10.1007/978-3-030-44584-3_22.
Moise I., Zurich E., Gaere E., Merz R., Pournaras E. (2016). Tracking language mobility in the Twitter landscape. In: 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 663–670. DOI: 10.1109/ICDMW.2016.0099.
State B., Rodriguez M., Helbing D., Zagheni E. (2014). Migration of professionals to the U.S. evidence from LinkedIn data. In: L. M. Aiello, D. McFarland (eds). 6th International Conference on Social Informatics, 531–543. DOI: 10.1007/978-3-319-13734-6_37.
Subbotin A., Aref S. (2021). Brain drain and brain gain in Russia: Analyzing international migration of researchers by discipline using Scopus bibliometric data 1996–2020. Scientometrics, 126 (9), 7875–7900. DOI: 10.1007/s11192-021-04091-x.
Tjaden J. (2021). Measuring migration 2.0: A review of digital data sources. Comparative Migration Studies, 9 (1), 59. DOI: 10.1186/s40878-021-00273-x.
Wanner P. (2021). How well can we estimate immigration trends using Google data? Quality & Quantity, 55 (4), 1181–1202. DOI: 10.1007/s11135-020-01047-w.
Wladyka D. K. (2017). Queries to Google Search as predictors of migration flows from Latin America to Spain. Journal of Population and Social Studies, 25 (4), 312–327.
Zagheni E., Garimella V., Weber I., State B. (2014). Inferring international and internal migration patterns from Twitter data. In: WWW '14 Companion: Proceedings of the 23rd International Conference on World Wide Web, 439–444. DOI: 10.1145/2567948.2576930.
Zagheni E., Weber I. (2012). You are where you E-mail: Using E-mail data to estimate international migration rates. In: Proceedings of the 4th Annual ACM Web Science Conference, WebSci'12, 348–351. DOI: 10.1145/2380718.2380764.
Aivazian S. А. (2012). Quality of life and living standarts analysis. М: Nauka (in Russian).
Bronitsky G., Vakulenko E. (2022). Using Google Trends for external migration prediction. Demographic Review, 9 (3), 75–92 (in Russian). DOI: 10.17323/demreview.v9i3.16471.
Vakulenko E. S., Tsimailo V. V. (2011). Accounting for illegal migration of the population: Methods and estimates. Demoscope Weekly, 479–480 (in Russian).
Vorob’eva O. D., Grebenyuk A. A. (2017). Comparative analysis of domestic and foreign statistics
on the statistics on the emigration of Russian citizens, 1 (9), 64–73 (in Russian).
Denisenko M. B. (2003). Emigration from Russia according to foreign statistics. World of Russia: Sociology, Ethnology, 12 (3), 157–169 (in Russian).
Tsapenko I. P., Yurevich M. A. (2022). Nowcasting migration using statistics of online queries. Ekonomicheskie i Sotsialnye Peremeny, 15 (1), 74–89 (in Russian). DOI: 10.15838/esc.2022.1.79.4.
Chudinovskikh O. S. (2018). Big Data and statistics on migration. Voprosy statistiki, 25 (2), 48–56 (in Russian).
Chudinovskikh O. S. (2020). Assessing the scale of illegal migration in Russia: Possible approaches and sources of information. Voprosy statistiki, 27 (1), 8–28 (in Russian). DOI: 10.34023/2313‑6383‑2020‑27‑1‑8‑28.
Chudinovskikh O. S., Stepanova А. V. (2020). On the quality of the federal statistical observation of migration processes. Demographic Review, 7 (1), 54–82 (in Russian). DOI: 10.17323/demreview.v7i1.10820.
Avramescu A., Wiśniowski A. (2021). Now-casting Romanian migration into the United Kingdom by using Google Search engine data. Demographic Research, 45, 1219–1254. DOI: 10.4054/DemRes.2021.45.40.
Bengtsson L., Lu X., Thorson A., Garfield R., von Schreeb J. (2011). Improved response to disasters and outbreaks by tracking population movements with mobile phone network data: A post-earthquake geospatial study in Haiti. PLoS Medicine, 8 (8). DOI: 10.1371/journal.pmed.1001083.
Benson-Rea M., Rawlinson S. (2003). Highly skilled and business migrants: Information processes and settlement outcomes. International Migration, 41 (2), 59–79. DOI: 10.1111/1468-2435.00235.
Böhme M. H., Gröger A., Stöhr T. (2020). Searching for a better life: Predicting international migration with online search keywords. Journal of Development Economics, 142, 102347. DOI:10.1016/j.jdeveco.2019.04.002.
Chi G., State B., Blumenstock J. E., Adamic L. (2020). Who ties the world together? Evidence from a large online social network. In: Cherifi H., Gaito S., Mendes J., Moro E., Rocha L. (eds). Complex Networks and Their Applications VIII. COMPLEX NETWORKS 2019. Studies in Computational Intelligence, 882. DOI: 10.1007/978-3-030-36683-4_37.
Choi H., Varian H. (2009). Predicting the present with Google Trends. Technical report, Google. http://google.com/googleblogs/pdfs/google_predicting_the_present.pdf.
Choi H., Varian H. (2012). Predicting the present with Google Trends. Economic Record, 88, 2–9. DOI: 10.5018/economics-ejournal.ja.2018-34.
Fantazzini D., Pushchelenko J., Mironenkov A., Kurbatskii A. (2021). Forecasting internal migration in Russia using Google Trends: Evidence from Moscow and Saint Petersburg. Forecasting, 3 (4), 774–803. DOI:10.3390/forecast3040048.
Ginsberg J., Mohebbi M., Patel R., Brammer L., Smolinski M., Brilliant L. (2009). Detecting influenza epidemics using search engine query data. Nature, 457, 1012–1014. DOI: 10.1038/nature07634.
Golenvaux N., Alvarez P. G., Kiossou H. S., Schaus P. (2020). An LSTM approach to forecast migration using Google Trends. DOI: 10.48550/arXiv.2005.09902.
Israeli O. (2007). A Shapley-based decomposition of the R-square of a linear regression. Journal of Economic Inequality, 5, 199–212. DOI: 10.1007/s10888-006-9036-6.
Jun S. P., Yoo H. S., Choi S. (2018). Ten years of research change using Google Trends: From the perspective of big data utilizations and applications. Technological Forecasting and Social Change, 130, 69–87. DOI: 10.1016/j.techfore.2017.11.009.
Jurić T. (2022). Facebook and Google as an empirical basis for the development of a method for monitoring external migration of Croatian citizens. Ekonomski Pregled, 73 (2), 186–214. DOI: 10.32910/ep.73.2.2.
Kikas R., Dumas M., Saabas A. (2015). Explaining international migration in the Skype network. SIdEWayS '15: Proceedings of the 1st ACM Workshop on Social Media World Sensors, 17–22. DOI: 10.1145/2806655.2806658.
Kim J., Sîrbu A., Giannotti F., Gabrielli L. (2020). Digital footprints of international migration on Twitter. In: Berthold M., Feelders A., Krempl G. (eds). Advances in Intelligent Data Analysis XVIII. IDA 2020. Lecture Notes in Computer Science, vol. 12080, 274–286. Springer. DOI: 10.1007/978-3-030-44584-3_22.
Moise I., Zurich E., Gaere E., Merz R., Pournaras E. (2016). Tracking language mobility in the Twitter landscape. In: 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 663–670. DOI: 10.1109/ICDMW.2016.0099.
State B., Rodriguez M., Helbing D., Zagheni E. (2014). Migration of professionals to the U.S. evidence from LinkedIn data. In: L. M. Aiello, D. McFarland (eds). 6th International Conference on Social Informatics, 531–543. DOI: 10.1007/978-3-319-13734-6_37.
Subbotin A., Aref S. (2021). Brain drain and brain gain in Russia: Analyzing international migration of researchers by discipline using Scopus bibliometric data 1996–2020. Scientometrics, 126 (9), 7875–7900. DOI: 10.1007/s11192-021-04091-x.
Tjaden J. (2021). Measuring migration 2.0: A review of digital data sources. Comparative Migration Studies, 9 (1), 59. DOI: 10.1186/s40878-021-00273-x.
Wanner P. (2021). How well can we estimate immigration trends using Google data? Quality & Quantity, 55 (4), 1181–1202. DOI: 10.1007/s11135-020-01047-w.
Wladyka D. K. (2017). Queries to Google Search as predictors of migration flows from Latin America to Spain. Journal of Population and Social Studies, 25 (4), 312–327.
Zagheni E., Garimella V., Weber I., State B. (2014). Inferring international and internal migration patterns from Twitter data. In: WWW '14 Companion: Proceedings of the 23rd International Conference on World Wide Web, 439–444. DOI: 10.1145/2567948.2576930.
Zagheni E., Weber I. (2012). You are where you E-mail: Using E-mail data to estimate international migration rates. In: Proceedings of the 4th Annual ACM Web Science Conference, WebSci'12, 348–351. DOI: 10.1145/2380718.2380764.
