Скотт Хейл рассуждает о влиянии языка на процессы поиска и передачи информации в широком интернет-пространстве.
Первый черновой принцип проекта “Дебаты о свободе слова” касается права искать, получать и передавать информацию и идеи, не взирая на границы. Одной из наиболее очевидных, но при этом малоизученных границ является язык. Создатели проекта осознали это, и поэтому поставили перед собой смелую задачу переводить содержимое сайта на тринадцать языков.
Какую же роль играет язык в поиске и передаче информации в более широком веб-пространстве? Существующие исследования не рассматривают этот вопрос на фундаментальном уровне, и мы не сможем сделать этого и в этой статье. Однако, поисковые системы позволяют узнать кое-что важное о том, чем отличается содержимое Интернета на разных языках. При поиске изображений поисковые системы пытаются сопоставить слова запроса c текстом, который расположен рядом с изображениями на странице, а также с именами файлов, в которых хранятся изображения, и словами, использованными в ссылках на них. С одной стороны, можно было бы предположить, что результаты поиска изображений на разных языках будут в целом схожи, поскольку изображения часто воспринимаются отдельно от описывающего их текста. Однако, изображения размещаются в сети и описываются в рамках определенных лингвокультурных условий. Несмотря на то, что Google занимает главенствующую позицию не на всех рынках (Yahoo! Japan, Яндекс и Baidu имеют бóльшую долю рынка в Японии, России и Китае соответственно), эта поисковая система удерживает лидерство на глобальном уровне, индексирует гигантское количество контента и, по всей видимости, применяет схожие, если не идентичные, алгоритмы к поиску на разных языках. Именно поэтому разница в результатах поиска на разных языках так удивительна.
На рисунках 1 и 2 показаны результаты поиска изображений Google по запросу “площадь Тяньаньмэнь” на английском и китайском языках. Оба поисковых запроса были сделаны с разницей в несколько секунд с одного компьютера в Великобритании на странице google.com. Результаты, однако, оказываются удивительно разными. В некоторых случаях эта разница не имеет никакого значения, в некоторых — вселяет опасения. Например, результаты поиска по вопросу “площадь Тяньаньмэнь” указывают на разницу между количеством изображений, связанных с протестами 1989 г., проиндексированных на английском и на китайском языках.
Рисунок 1. Результаты поиска изображений Google по запросу “площадь Тяньаньмэнь” на английском языке.
Рисунок 2. Результаты поиска изображений Google по запросу “площадь Тяньаньмэнь” на китайском языке.
Более подробное исследование по поводу различий между языками в онлайн-энциклопедии Wikipedia свидетельствует о “удивительно малой доле совпадений содержания между версиями статей Wikipedia на разных языках” (Hecht & Gergle, 2010). Особенно интересно то, что даже английская версия, которая в данный момент является самой обширной, содержит в среднем только 60% понятий, обсуждаемый в любой другой языковой версии Wikipedia, рассмотренной в этом исследовании. (Самое большое количество соответствий — между английским и ивритом — 75%). Фактически, английская версия содержит только около половины понятий, включенных в следующую по их количеству версию — немецкую, в то время как немецкая версия содержит около 16% соответствий со статьями на английском языке. Разумеется, что даже в случаях, когда “две языковых версии содержат одинаковое понятие (переданное вполне ясно), они могут описывать это понятие совершенно по-разному”. Это явление Hecht & Gergle (2010) анализируют более подробно в своей статье. Они также обращаются к таким новым инструментам, как Omnipedia, который позволяет пользователям исследовать различия между версиями энциклопедии на разных языках.
Однако, все не так печально, как может показаться. Несколько платформ достигли поистине всемирного охвата (Facebook, Twitter, YouTube, Wikipedia и многие другие), и хотя общение на них осуществляется в рамках одного языка, эти платформы дают возможность распространять информацию минуя границы с беспрецедентной скоростью. Мое исследование, посвященное блогам, в которых писали о землетрясении на Гаити в 2010 (рис. 3) и обмену ссылками в Wikipedia и Twitter после цунами и землетрясения в Японии в 2011 г., а также исследование Ирене Элета, посвященное Twitter, показывают, в каких точках информация проникает из одного языка в другой и где пользователи разных национальностей образуют группы и выступают в качестве связующих звеньев, позволяя информации преодолевать барьеры между языковыми группами.
Обеспечение распространения информации между языковыми группами имеет как социальные, так и технические аспекты. Машинный перевод несовершенен, однако все-таки позволяет довольно глубоко воспринимать информацию на другом языке, а дальнейшие исследования и новые источники данных для отработки алгоритмов перевода позволяют постоянно улучшать системы машинного перевода. Кроме того, требуется продолжать исследования того, какую роль в обнаружении и распространении информации на различных языках играет дизайн. Этому посвящено и одно из моих исследований. Компании, разрабатывающие социальные сети, при разработке новых платформ должны учитывать данные этих исследований, а также достижения более широкого круга общественных наук. Наконец, некоторые новые и очень интересные инструменты позволяют улучшить свои навыки в преодолении языковых границ как компьютерам, так и пользователям.Duolingo и Monotrans2 — примеры систем, позволяющих переводить контент пользователям, владеющим только одним языком, и, в случае Duolingo, одновременно освоить новый язык. Несомненно, всегда останется место и переводу, выполняемому людьми, как и деятельностимедийных компаний, которые выявляют и проверяют информацию о важных событиях, опубликованную на иностранных языках.
Скотт Хейл — научный сотрудник и докторант в Оксфордском институте Интернета.
reply report Report comment
Dear Mr. Hale. My name is Victor. T.W. Gustavsson and I go the University of the Hague studying the meaning and use of the English language. After reading your article, I was left with some unanswered question marks. Do computers really translate information in a way that alters the content and meaning of a text from one language to another? And if so, should we leave these translations to computers, if it comes to the point where these faulty translation can cause harm and/or misunderstandings?
Your argument that different countries include different information about the same event is just logical, as different countries have dissimilar cultures and beliefs which will shape what information they focus on and the way they structure their information and websites. For example, Google searches in one language will not give you the same suggestions as if you would Google the same thing in a different language. So it rather comes down to internet censorship which plays a huge role when it comes to what information is allowed to be published on the internet, making these searches bias depending on what country you are searching from or in what language you make the search.
Furthermore, your images showing the different search results of China’s Google and the UK’s Google demonstrate the censorship of China compared to the UK’s freedom of speech. Your argument is based upon the supporting evidence that the search results are different, yet your example actually only proves the opposite as it demonstrates how much influence governments have on the internet. It is only logical that the search results in China will be different than in the UK due to their different cultures and standpoints regarding freedom of speech. If we look at the past, the UK has been much more open as a society and as a government compared to China, therefore, it would only be logical if this were to be represented on the internet.
You are simply stating the obvious. Instead of developing your own ideas or theories, you rephrase what has been addressed in the past by experts in the field. China’s government censors the internet, as the Tiananmen Square example shows; it has done so for years.You mention that “search engines provide one window into the differences in content between languages,” yet I have conducted my own research and have found that searching ‘911’ or ‘Taliban’ on the Arabic Google and the UK Google have similar findings, unlike the Tiananmen Square example. This search was carried out from a computer in The Netherlands, with only a few minutes time difference between each search. I believe your argument is more supporting of government censorship on the internet rather than false translation due to internet translations.
In countries where no government censorship is present, such as Afghanistan or the United Kingdom, the search results are similar because it represents what people post or search on the internet. This suggests that your argument that “search engines try to match query words to the text that appears near images in web pages” is invalid, as it is only due to government censorship.
It therefore should also not be striking that there are differences in results between different countries such as China and the UK, as you suggested. Yet Google, who are determined to encrypt their algorithms due to the recent NSA affair, will prevent China from censoring Google in the future as easily (Washington Post, “Google is encrypting search globally. That’s bad for for the NSA and China’s censor’s”). I am convinced that if we were to compare the results of a Google Images search of “Tiananmen Square” between the Chinese Google and the United Kingdom Google in five year’s time, there would be little difference, as technology is ever improving and censorship is becoming more evident. Therefore I am not sure what your argument states, as your resource contradicts your sophism, actually illustrating that the internet is not free, and that Google’s algorithms can easily be hacked by governments.
You stated that translations on huge encyclopedias such as Wikipedia, are generated by sophisticated computer algorithms which are not nearly as accurate as real-life translators. However, according to Bill Bryson’s Mother Tongue, different languages may have as many as thousands of different words for what we have in English only a few for, “the Arabs are said (a little unbelievably, perhaps) to have 6,000 words for camels and camel equipment”. This could possibly confuse these computer softwares to misinterpret some words which could eventually lead to “overlap” as you said. This raises a question of, just as it is people’s job to translate in real life, should there be designated translators whose job it is to accurately translate content from English to or from any other language. Before the internet existed, works were already being translated and these seem to be much more accurate than many of the articles and pieces on the internet. You can argue that these have been checked over and over again by publishers, but, do computers not double check?
You mentioned explicitly that there are large overlaps between English and other languages with “overlap is between English and Hebrew is 75%”, yet a few sentences later you stated that “several platforms have achieved truly global penetration (Facebook, Twitter, YouTube, and Wikipedia)”. Nonetheless, one big reason why German contains about 16% of the articles in English” is because Wikipedia has a policy where users request pages to be translated. Because English is one of the primary languages in our modern world and most internet websites and activity is done in English, it is only logical to give the English language priority when it comes to translation. Therefore, only the most important (which the user thus decides) gets translated to a foreign language. Country specific topics such as the German National anthem should undoubtedly be different than when it is translated in English.
I do agree howbeit, that machine translations aren’t flawless and that in time these will get more and more sophisticated. But do we really want computers to take over almost everything in the digital world, even the one thing we have developed over the course of thousands of years as a human race, language?
reply report Report comment
Dear Victor,
Thank you for reading and responding to my article. I’m afraid, however, that there have been some misunderstandings. I respond to some questions and point out some of these misunderstandings below.
> Do computers really translate information in a way that alters the content and meaning…
I only mention that machine translation has some errors, and do not discuss machine translation in depth in this piece. The focus of this article is on the content produced by humans in different languages (of which human translations are a small part). In the case of human produced content, yes, there are often differences in meaning and content across languages.
> Your argument that different countries …
This article only discusses languages and not countries. The example Google searches are both performed in the UK on the .com version of Google as stated in the article. Only the languages of the search queries were different. I admit, however, that the example queries could have been better chosen (and originally I had a gallery of many examples, but for technical limitations of this site it was not included. It is available on my own website: http://www.scotthale.net/blog/?p=275).
> «search engines provide one window into the differences in content between languages»
I stand by this, and note that similarity between two languages for one search doesn’t disprove that there are differences between some languages (and data shows most languages). It is also important to note that Google is constantly changing its search algorithms, and it is very possible that they are now using translations of search terms to produce more similar image results in different languages. I know that this was already being considered two years ago when I wrote this article, but I don’t know if it has been implemented.
> In countries where no government censorship is present….
Again, I’m concerned about language, not countries, and
> I am convinced that if we were to compare the results of a Google Images search of “Tiananmen Square” between the Chinese Google and the United Kingdom Google in five year’s time, there would be little difference
I’m not sure on this point. Note again that both of my searches were from the UK and performed on the .com version of Google. If the Chinese government remains successful in ensuring that most mentions of Tiananmen Square in Chinese occur around benign photos (e.g., through controlling the publishing of content in the country with the largest Chinese-speaking population in the world), then any language-independent image search algorithm will most likely find these benign photos and rank them more highly than ‘obscure’ photos that occur around the phrase «Tiananmen Square» in Chinese in a small amount of content.
> You stated that translations on huge encyclopedias such as Wikipedia, are generated by sophisticated computer algorithms which are not nearly as accurate as real-life translators.
I do not state this. In general, Wikipedia does not include raw/pure machine translation without a human in the loop. (https://meta.wikimedia.org/wiki/Machine_translation)
> You mentioned explicitly that there are large overlaps between English and other languages with “overlap is between English and Hebrew is 75%”, yet a few sentences later you stated that “several platforms have achieved truly global penetration (Facebook, Twitter, YouTube, and Wikipedia)”.
There is no contradiction between these two sentences. The first discusses content overlap between languages; the second discusses the geographic breadth of users of websites.
> I do agree howbeit, that machine translations aren’t flawless and that in time these will get more and more sophisticated. But do we really want computers to take over almost everything in the digital world, even the one thing we have developed over the course of thousands of years as a human race, language?
On this point we can agree :-). Humans play important roles in producing, seeking, and consuming content in different languages. My research argues that a better understanding these human roles (particularly those of bilinguals) is needed in order to better design platforms. I encourage you to take a look at my own website and get in contact with the contact form there if you want to discuss anything further. http://www.scotthale.net/
Best wishes,
Scott