Spécialiste du Big Data : où étudier et où aller travailler. Artur Borisovich Avakyan, spécialiste de l'étude des réservoirs

26.09.2019

Comment devenir spécialiste ?

L'éducation supplémentaire

Apprenez-en davantage sur les programmes possibles de préparation à la carrière pendant que vous êtes encore en âge scolaire.

Enseignement professionnel de base

Les pourcentages reflètent la répartition des spécialistes ayant un certain niveau d'éducation sur le marché du travail. Les spécialisations clés pour maîtriser le métier sont marquées en vert.

Capacités et compétences

Compétences en communication. Discours clair et compréhensible, voix bien formée, capacité d’exprimer oralement ses pensées de manière claire et compétente
Présentation et Performance publique. La capacité de présenter n'importe quel matériel, concept, idée au public, la capacité de travailler avec le public, de retenir son attention
Explication. La capacité de transmettre et d’expliquer clairement des informations même complexes et spécialisées
Compte rendu. Capacité à définir correctement les tâches et à décrire le résultat souhaité
Participation active à la conversation. La capacité de poser des questions, résumer des informations, tirer des conclusions, clarifier lors d'une conversation avec un interlocuteur pour obtenir l'information la plus complète

Intérêts et préférences

Responsabilité. La capacité d'être responsable des résultats de ses actions
Mémoire. Capacité à mémoriser rapidement des quantités importantes d’informations
Esprit critique. Capacité à penser de manière critique : peser le pour et le contre, les forces et les faiblesses forces chaque approche pour résoudre un problème et chaque résultat possible
Organisation des informations. La capacité d'organiser des données, des informations et des choses ou des actions dans un ordre spécifique selon une règle ou un ensemble de règles spécifique.
Assimilation d'informations. La capacité de percevoir et d’assimiler rapidement de nouvelles informations
Perception des problèmes. La capacité de détecter ou de prédire un problème lorsque quelque chose ne va pas ou est susceptible de mal se passer. Il ne s'agit pas de résoudre le problème, mais simplement de l'identifier.
Compétences en communication. Possibilité de trouver rapidement langage mutuel avec l'interlocuteur, il est facile d'établir le contact

Formation complémentaire pour adultes

Étapes requises les formations complémentaires pour maîtriser un métier sont colorées en vert.

Profession en personnes

Anastasia Lazibnaïa

Les compétences informatiques améliorent les chances des personnes âgées de trouver ou de conserver un emploi.

La demande de services éducatifs parmi les personnes âgées est constamment élevée.

Lors de l'organisation jeux olympiquesà Sotchi, l'équipe de volontaires comprenait 1 800 volontaires âgés.

Data Scientist sait trouver des modèles dans de grands ensembles de données, possède une bonne connaissance du domaine de l'apprentissage automatique et a confiance dans des outils tels que R, Weka, Python + Scikit-Learn + Pandas. C'est le Data Scientist qui sait extraire des données avantage maximal et concevoir des algorithmes qui répondront aux questions dont vous avez besoin.

Le domaine de la Data Science en lui-même est assez vaste, et plusieurs autres spécialisations peuvent y être distinguées :

Gestionnaire de données

Un spécialiste dont les tâches n'incluent pas le développement direct de produits. Cependant, il doit comprendre le terrain afin de gérer le projet avec compétence.

Il devrait savoir ce qu'on peut faire avec technologies modernes, et ce qui ne l'est pas, avoir confiance dans la terminologie du domaine, et avoir également de bonnes compétences dans les techniques de gestion de projet (agile, programmation extrême, etc.).

Où peut-on travailler dans le traitement des données ?

Faisons le tri Divers types les entreprises et les caractéristiques du travail dans celles-ci.

Grandes sociétés Internet. En Russie, il s'agit de Yandex, Mail.ru (et ses divisions), Rambler. Ce sont les sociétés Internet qui se tiennent debout technologie avancée, développer de nouveaux produits et faire avancer l'industrie. Dans ces entreprises, vous trouverez toujours des collègues qui auront plus d'expérience que vous et qui auront quelque chose à apprendre.

Il y a toujours d'excellentes conditions ici : un salaire décent, une bonne assurance maladie, un bureau confortable, toutes sortes de cadeaux comme de la nourriture gratuite et une aide à l'achat d'un logement. Les employés clés peuvent souvent compter sur une option dont l’exercice peut entraîner une augmentation de salaire significative.

Mais le principal inconvénient de travailler dans de grandes entreprises est leur taille : le travail que vous effectuez spécifiquement peut ne pas être perceptible dans toute l'entreprise (surtout au début). Pour certains, cela peut être important : ils veulent comprendre leur propre importance.

Bureaux d'études des grandes entreprises. Cela inclut les banques, les quatre grandes sociétés d’audit, les opérateurs de télécommunications et les grandes chaînes de vente au détail.

Ces entreprises ont récemment accordé une grande attention au travail avec les données. Comme ils en sont généralement encore au début de leur voyage, il est probable que vous receviez un travail très vaste et important. Votre contribution peut donc être perceptible, malgré la taille du « colosse ».

Inconvénients : dans de telles entreprises, en règle générale, la bureaucratie interne est très forte et il vous sera assez difficile de coordonner et de mettre en œuvre de nouvelles technologies. À mon avis, les départements de science des données dans de tels endroits sont plus susceptibles de convenir à des professionnels expérimentés.

Les conditions ici, comme dans les grandes entreprises Internet, sont bonnes : un salaire forfaitaire, une assurance et diverses commodités supplémentaires.

Startups en science des données. Il existe désormais un certain nombre de startups de ce type et elles recherchent également des employés. Lorsque vous travaillez pour une startup, vous effectuerez une partie très importante du travail. Si vous faites partie des premiers salariés, vous pouvez demander une option, voire une action dans l’entreprise.

Les inconvénients incluent l'instabilité (une startup peut soudainement manquer d'argent), les salaires seront souvent médiocres - et, en règle générale, les avantages comme les déjeuners gratuits et l'aide à l'achat d'une maison ne sont pas disponibles. Mais dans une startup on peut obtenir le plus rapidement possible connaissance approfondie, et en cas de succès, vous pouvez également gagner beaucoup d'argent.

Où acquérir des connaissances dans le domaine du traitement des données

Les universités

Malheureusement, les universités enseignent actuellement très peu l’analyse des données. Il y a quelques exceptions :

Programme de master "Big Data" à la Faculté d'informatique et de technologie de l'Université d'État de Moscou

Bien sûr, dans d'autres aussi programmes éducatifs Certains aspects du travail avec les données sont également abordés. Mais les programmes universitaires qui forment des spécialistes de manière globale y sont pratiquement épuisés. Ce n'est pas étonnant : l'industrie est complètement nouvelle, il n'y a ni spécialistes ni enseignants. Les universités qui introduisent des programmes de traitement de données le font généralement en collaboration avec de grandes entreprises (par exemple Yandex).

Cours supplémentaires non commerciaux

En raison d'une grave pénurie de personnel sur le marché, certaines entreprises créent leur propre centres de formation. Tout le monde peut étudier ici - il vous suffit de réussir les examens.

École d'analyse de données "Yandex"– le centre de formation le plus ancien et le plus célèbre dans le domaine de l’analyse des données. Les cours sont dispensés par des employés et des enseignants de Yandex meilleures universités des pays. Le programme dure 2 ans.
- un programme largement similaire du deuxième géant de l'Internet, Mail.Ru. Valable également 2 ans.
Technopark Mail.Ru et MSTU nommés d'après. Bauman– contrairement à « Technosphère », ces cours sont davantage destinés à la formation d’ingénieurs système, mais il y avait aussi une place pour un cours sur l’analyse des données. Durée de la formation – 2 ans.
Centre d'informatique est un projet commun de la Yandex School of Data Analysis, de Jet Brains et de l'école n° 239 de Saint-Pétersbourg. La durée de la formation est également de 2 ans.
École des données de Saint-Pétersbourg– une série de conférences consacrées au big data à Saint-Pétersbourg. Projet de E-Contenta.

Cours commerciaux

Il existe plusieurs programmes commerciaux qui vous permettent d'élargir vos horizons dans le domaine de l'analyse de données. Leurs particularités sont court terme formation et une plus grande concentration sur l’application appliquée de la technologie.

Ici, vous pouvez rappeler les projets suivants:

Bien « Spécialiste du Big Data" du « Laboratoire des Métiers Nouveaux ». Elle dure 3 mois et se compose de 2 modules dont le premier est consacré aux technologies big data et au machine learning, et le second aux systèmes de recommandation. Le coût du cours est de 180 000 roubles, diverses réductions et versements sont prévus.
« École de données Beeline"– le cours est principalement dédié au Machine Learning. Durée de la formation – 9 semaines, coût – 100 000 roubles.

Si l’on regarde l’avenir, il n’y a aucune raison de croire qu’il diminuera dans les prochaines années. Qu'est-ce que ça veut dire? Si vous êtes intéressé par le domaine de l'analyse des données, après avoir reçu une formation et une expérience dans ce domaine, vous serez un spécialiste précieux sur le marché du travail et ne vous retrouverez certainement pas sans travail.

J'espère que cet article vous a aidé à décider de vos intérêts et à comprendre par où commencer à apprendre.

Ce qui est inclu responsabilités professionnelles spécialiste de la formation du personnel, quelles sont les exigences de la norme professionnelle d'un spécialiste de la formation et du développement du personnel - plus d'informations à ce sujet dans l'article !

De l'article, vous apprendrez :

Quelles tâches la norme professionnelle d'un spécialiste de la formation du personnel résout-elle ?

Un spécialiste de la formation et du développement du personnel résout le principal problème auquel l'organisation est confrontée. Tout d’abord, les entreprises s’efforcent de renforcer leur position sur le marché et de développer leurs activités. Les ressources humaines sont considérées comme l'investissement le plus important et le plus prometteur.

Téléchargez des documents sur le sujet :

Le programme de formation des spécialistes RH n'a pas été finalisé. Il n'existait pas de document unique définissant les exigences relatives aux connaissances et aux compétences de ces spécialistes impliqués dans la formation et le développement du personnel. DANS réalités modernes La demande pour ce personnel augmente. La plupart des entreprises se concentrent sur la formation des employés qui se verront confier à l'avenir la formation et le développement du personnel.

Besoins de développement normes communes attendu depuis longtemps. La norme professionnelle d'un spécialiste en formation et développement du personnel, après examen final et approbation, doit être appliquée par les employeurs et les établissements d'enseignement qui forment ces spécialistes.

Découvrez le sujet dans le e-zine

Il faut garder à l'esprit qu'un spécialiste de la formation du personnel n'est pas un enseignant au sens littéral du terme. L'activité a une spécificité ciblée, mais n'est pas strictement réglementée programmes spéciaux dans le respect de normes et d'exigences strictes.

Pouvoir d'un spécialiste d'organiser la formation du personnel conformément aux normes professionnelles

Les spécialistes RH organisent des formations.

De plus, conformément à la norme professionnelle, les salariés de ce niveau sont engagés dans :

assurer le contrôle des activités actuelles du personnel dans le domaine de la conduite formation, reconversion;
exécution du budget alloué de l'entreprise destiné à l'éducation, à la formation, au recyclage du personnel ;
gestion des activités contractuelles dans ces domaines ;
responsabilité de la cohérence programmes d'études avec horaire de travail;
préparation de programmes adaptés tenant compte du niveau de formation initiale des salariés ;
planification stratégique;
assurer la certification et la recertification afin d’identifier rapidement le personnel ayant besoin d’une formation ou d’un recyclage.

Quelles sont les responsabilités professionnelles d'un spécialiste de la formation et du développement ?

Les responsabilités professionnelles d'un spécialiste de la formation du personnel comprennent des fonctions de soutien méthodologique, d'organisation et de conduite du travail régulier dans les domaines suivants :

psychodiagnostic des caractéristiques personnelles, des qualités professionnellement importantes et de l'état psychophysiologique du personnel en activité ;
la formation et le développement des qualités pertinentes dont les employés ont besoin, à cet effet des formations, des séminaires, etc. sont organisés ;
conseil psychologique pour les employés usage professionnel, assurer le développement capacités individuelles;
étude socio-psychologique, analyse des activités collectives et individuelles de spécialistes à tous les niveaux ;
apporter une assistance aux managers de tous les domaines et créer des objets dans le domaine de la résolution de problèmes sociaux ou psychologiques dans le développement de l'équipe. Les causes des conflits sont étudiées dans ces domaines. Des techniques sont en cours de développement pour aider à prévenir et à résoudre situations de conflit. Des consultations sont fournies sur le style de gestion et le soutien activités efficaces spécialistes;
élaborer et animer des sessions de formation pour les salariés ordinaires de l'entreprise ;
travailler sur la formation réserve de personnel, sélection de personnel possédant une expérience de travail pertinente ;
tests de personnalité, qualités professionnelles les candidats aux postes vacants ;
formation avec l'organisation de formations, séminaires et autres événements permettant de résoudre certaines problématiques ;
fournir une assistance aux responsables immédiats des succursales ou des départements dans la résolution de problèmes psychologiques et problèmes sociaux développement du personnel;
consultation sur le style d'activité d'équipe ;
effectuer une analyse du roulement du personnel, préparer des propositions pour prendre des mesures appropriées qui aideront subir une adaptation réussie, l'élaboration et la mise en œuvre de programmes d'adaptation ;
un reporting régulier, fourni pour le mois, le trimestre, le semestre et l'année ;
maintenir des normes de gestion professionnelles et ethniques, maintenir des secrets personnels sur la base des résultats d'études psychologiques individuelles.

Les fonctions supplémentaires d'un spécialiste de la formation et du développement du personnel comprennent un travail socio-psychologique, qui est organisé selon missions individuelles manuels. Des conseils ergonométriques sont réalisés, des recommandations sont élaborées pour organiser les conditions de travail et préparer les lieux de travail des salariés des différentes catégories.

Quelles sont les exigences contenues dans la norme professionnelle pour un spécialiste de la formation et du développement du personnel ?

Le projet de norme professionnelle a été élaboré en tenant compte de l'expérience internationale dans le domaine de la formation de personnel hautement qualifié.

La norme professionnelle pour un spécialiste de la formation et du développement du personnel comprend quatre sections :

informations générales;
décrire les fonctions de travail dans carte fonctionnelle gentil activité professionnelle;
toutes les caractéristiques des fonctions de travail généralisées ;
informations de base sur les développeurs.

Conformément au projet de norme professionnelle, le spécialiste de la formation du personnel s'assure des qualifications appropriées des spécialistes adaptées à tous les objectifs et normes établies de l'entreprise. Trouver comment en utilisant la théorie de la dynamique spirale

La troisième section contient des paragraphes et sous-paragraphes qui décrivent en détail fonctions de travail individuelles. Cette section contient également des informations qui déterminent le niveau de qualification du spécialiste. Par exemple, pour l'élaboration efficace de normes d'accompagnement organisationnel et méthodologique, un employé engagé dans développement et formation le personnel doit avoir le sixième niveau de qualification. Pour la gestion stratégique et opérationnelle, un salarié du septième niveau de qualification est embauché.

Les spécialistes de la gestion des systèmes de formation et de développement doivent avoir le niveau approprié de compétences du septième niveau de qualification. Lors de la candidature à un emploi, le niveau d'éducation et la présence d'un diplôme de cinq ans expérience pratique travailler dans ce sens. Les normes professionnelles sont appliquées par les employeurs lors de la formation politique du personnel, dans les processus de gestion du personnel, détermination des fonctions de travail, élaboration tableau des effectifs, conclusion contrats de travail. Prendre en compte Normes professionnelles la certification est en cours, tarification du travail avec attribution de la catégorie appropriée, un système de rémunération est instauré.

Vous pourriez être intéressé de savoir :

Tout le monde n’a pas le courage de changer d’un métier maîtrisé dans lequel on a déjà atteint des sommets. Après tout, cela demande beaucoup d’efforts et un résultat positif n’est pas garanti. Il y a un an et demi, nous avons raconté comment l'un des membres de notre équipe de développement de serveurs s'est reconverti en tant que programmeur iOS. Et aujourd'hui, nous voulons parler d'un « tournant encore plus brutal » : Alan Chetter2 Basishvili, qui était impliqué dans le développement du frontend, s'est tellement intéressé à l'apprentissage automatique qu'il est rapidement devenu un spécialiste sérieux, est devenu l'un des principaux développeurs du populaire Artisto, et est maintenant engagé dans la reconnaissance faciale dans Cloud Mail.Ru. Lisez l'interview de lui sous la coupe.

Pourquoi voulais-tu devenir programmeur ?

J'ai compris que je voulais devenir programmeur en sixième ou septième année grâce au problème du lancement d'un jeu. Il n'y avait personne à consulter et je suis resté assis devant l'ordinateur pendant plusieurs jours, mais j'ai résolu le problème. Et j'étais très content. Je voulais créer mon propre jeu. C'est pourquoi j'ai commencé à suivre des cours de programmation locale.

Sur quels projets avez-vous travaillé en amont, qu'est-ce qui vous a le plus plu, quelles nouveautés avez-vous utilisées ?

J'ai commencé, comme beaucoup d'autres, avec un CMS. Ce travail m'a trouvé tout seul. Je pense que de nombreux programmeurs, même s'ils n'ont rien à voir avec le web, ont été invités au moins une fois à créer une boutique en ligne. Ensuite, il y avait toute une chaîne de magasins, où j'écrivais des pages d'administration. Cela s'est fait sans cadre, en réinventant les roues, mais c'était très excitant. C'est là que je suis tombé amoureux de la conception d'architecture logicielle. Et puis il est passé au travail sur le frontend. A écrit des discussions, des appels vidéo p2p et bien plus encore.

Qu'est-ce que le corbeau et bureau? Je veux dire, entre le frontend et les réseaux de neurones ? Pourquoi a-t-il été possible de les étudier si rapidement ?

Rien de commun, si ce n'est la nécessité d'écrire du code. Et l’enseignement des mathématiques a aidé. De plus, il me semble qu'il est plus facile pour un programmeur d'étudier le deep learning.

Quelle est alors la raison de l’intérêt de passer du frontend aux réseaux de neurones ?

Cela m’a toujours intéressé et mon projet de fin d’études était lié au machine learning, même si je ne comprenais pas vraiment ce que je faisais à l’époque. J'ai suivi le cours d'introduction au Machine Learning sur Coursera. Peu à peu, j'ai commencé à comprendre comment fonctionnaient les éléments que j'utilise quotidiennement, tels que les recommandations personnalisées, la recherche et bien plus encore, et cette compréhension m'a ravi. C’est probablement l’une des principales motivations : la soif de comprendre le fonctionnement de l’apprentissage automatique moderne. Et quand je me suis familiarisé avec le deep learning, j'ai perdu tout intérêt pour tout le reste. Le frontend est devenu une simple routine. Je suis venu travailler, et même si j'avais des activités assez intéressantes et tâches complexes, ils sont passés au second plan par rapport à ce que je faisais la nuit.

Quel était votre horaire de cours ?

Au début, quand il n’y avait qu’une introduction au machine learning, je n’y consacrais que des week-ends. Puis j’ai commencé la compétition. Cela lui prenait des week-ends et des nuits. J'avais l'habitude de m'asseoir et d'étudier jusqu'à trois heures du matin. Et après c'est encore suffisant pendant longtemps le fusible est resté, alors j'ai continué à étudier les réseaux de neurones tous les jours et la nuit. J'ai vécu ainsi pendant six mois.

Il existe désormais de nombreux cours où tout est rangé sur les étagères. Ils peuvent vous donner un démarrage très rapide. Il existe un merveilleux cours de Stanford sur les réseaux de neurones, cs231n, enseigné par Andrey Karpaty. Ensuite, vous pouvez lire et prendre des notes « Deep Learning » de Ian Goodfellow. Les réseaux de neurones et le Deep Learning sont une autre bonne ressource. Mais bien sûr, il est préférable de commencer par les bases du ML.

Selon vous, quel est le meilleur format d'éducation actuellement : des livres, des cours, des vidéos YouTube, autre chose, peut-être ?

Il m'a semblé raisonnable de suivre d'abord les cours puis de lire les livres, car dans les cours tout est assez simplifié, on mâche l'information, et les livres donnent déjà une compréhension complète. Il existe aujourd’hui de nombreux cours sur l’apprentissage automatique. Celui que j'ai terminé sur Coursera s'appelle « Introduction à l'apprentissage automatique » et il a été enseigné par une équipe de Yandex, dont Vorontsov.

Autrement dit, vous devez d’abord comprendre les concepts de base. Et si vous commencez à lire le livre tout de suite, cela peut s'avérer trop difficile et vous approfondirez les détails. Il faut passer du simple au complexe, en approfondissant progressivement.

Cela aide aussi beaucoup à écrire du code. C'est seulement alors que tu commences à remarquer détails importants et obtenez une véritable expérience. Vous pouvez lire 50 articles, et à la fin il vous restera quelque chose en tête, mais au niveau conceptuel. Et pour vraiment comprendre quelque chose et apprendre à l’appliquer, vous devez vous asseoir et commencer à programmer. Le plus efficace est de participer à une compétition comme Kaggle. Ou prenez-le simplement et créez votre propre projet en fonction de ce que vous lisez.

Quels blogs sur les réseaux neuronaux lisez-vous et pourquoi ?

Est-il possible d’utiliser les technologies de réseaux neuronaux pour le front-end ? Et si oui, où ?

Il n'y a pas si longtemps, je suis tombé sur des informations sur la génération de HTML et CSS à partir d'une image à l'aide de réseaux récurrents. Je n'aime pas trop la composition, donc cette idée me semble intéressante.

Quelles autres applications intéressantes des réseaux de neurones existe-t-il actuellement ? Nous savons tous traiter des photos, des vidéos et maintenant générer toutes sortes de visages. Quelles autres applications possibles existe-t-il en principe ?

Entre autres applications modernes Les réseaux de neurones incluent la génération de parole, par exemple le projet WaveNet. Cela ressemble déjà beaucoup au vrai discours. Des travaux sont également activement en cours pour ajuster automatiquement les séquences vidéo à un discours spécifique ; par exemple, il sera possible de « filmer » la façon dont un homme politique prononce certains mots. Bientôt, nous serons confrontés à un monde dans lequel il ne sera plus clair ce qui est faux et ce qui ne l’est pas.

Comment optimiser votre code ?

Comme les autres : profiler et éliminer les goulots d’étranglement. Si nous parlons d'optimiser le réseau d'inférence, alors tout est généralement fait pour nous, à l'exception des cas avec des couches auto-écrites. Il faut les bricoler.

Avez-vous un projet personnel ou peut-être un passe-temps qui vous permet de redémarrer votre cerveau ?

Pas maintenant. Le travail est suffisamment intéressant pour être réalisé comme passe-temps. Pour me distraire, je lis des livres et regarde des séries télévisées.

Quels problèmes considérez-vous comme les plus difficiles/intéressants à résoudre à l’aide des réseaux de neurones ?

Les voitures autonomes sont très complexes et problème intéressant. Un tel système doit fonctionner avec une grande précision. Reconnaître les voitures, la route, les arbres, les trottoirs, les piétons, le plus difficile est de relier tout cela ensemble et de donner à la voiture l'ordre de tourner, d'aller plus vite ou plus lentement. Par-dessus tout, la responsabilité est très grande. Remplacer toutes les voitures par des voitures sans conducteur sera difficile, mais c'est une tâche tout à fait réalisable. Il existe déjà des voitures dotées de certaines capacités de conduite autonome. Bien entendu, des erreurs se produisent toujours. Google suit la voie de l'accumulation d'énormes échantillons (les voitures ont parcouru 3 millions de kilomètres). Un grand nombre de Leurs machines sont pilotées quotidiennement, collectant des informations, identifiant les cas extrêmes d'erreurs d'IA, et des spécialistes les forment constamment. En conséquence, ils sont désormais prêts à entrer en exploitation commerciale et ont lancé un programme bêta. Je pense qu'ils auront probablement le meilleur drone. De plus, au début, une personne peut s'asseoir au volant et contrôler. Et si l’on regarde la façon dont les gens conduisent en Russie, les drones sont beaucoup plus sûrs et devraient être introduits le plus tôt possible.

La médecine est aussi l'un des les domaines les plus importants pour l'apprentissage automatique. Imaginez que vous êtes examiné non pas par un seul médecin humain, mais par l'opinion unifiée des experts du monde entier - occidentale, asiatique, ayurvédique, peu importe - la médecine, qui combine expertise et statistiques du monde entier. Ou la précision avec laquelle le cancer a été détecté dans les images de biopsie. Et surtout, ces techniques sont faciles à mettre à l’échelle.

L'intelligence artificielle a-t-elle un concept de mise à jour des logiciels ? La première version, puis ils ont déployé la deuxième version ? Une fois programmé, il apprend tout seul ?

Il faut souligner que nous parlons d’une intelligence artificielle faible. Bien sûr, il a la notion de mise à jour : on peut remplacer un ancien réseau de neurones qui fonctionnait moins bien. Après tout, un réseau de neurones est un ensemble conditionnel de poids et d'opérations qui doivent être effectués avec eux. Ces poids peuvent être mis à jour au moins quotidiennement. Presque tous ces algorithmes ne sont pas formés en ligne, ils sont spécifiquement formés une seule fois. Oui, il existe des méthodes d'apprentissage par renforcement conçues pour enseigner retourà partir de mercredi. La technologie se développe activement, même s'il existe encore peu d'exemples de mise en œuvre.

Autrement dit, il ne peut pas y avoir d'erreurs graves dans ce type de logiciel ?

Bien sûr que c’est possible. Exemple classique: armée américaine voulait utiliser des réseaux de neurones pour reconnaître automatiquement les chars ennemis camouflés parmi les arbres. Les chercheurs ont obtenu un petit ensemble de données d'images étiquetées et ont formé un modèle de classification sur des photographies de chars camouflés parmi les arbres et des photographies d'arbres sans réservoir. En utilisant des méthodes d'apprentissage supervisé standards, les chercheurs ont formé réseau neuronal attribuez les classes nécessaires aux images et assurez-vous que cela fonctionne correctement sur l'ensemble de données de test différé. Mais de bons résultats sur des échantillons ne garantissent pas qu’il n’y a pas eu de surajustement et que tout fonctionnera correctement en production. En général, les chercheurs ont donné le résultat et, une semaine plus tard, le client a déclaré que le résultat de la reconnaissance était complètement aléatoire. Il s'est avéré que l'échantillon comprenait des chars camouflés par temps nuageux et des forêts par temps ensoleillé, et le réseau a appris à distinguer les conditions météorologiques.

Et il existe de nombreux exemples de ce type. Vous pouvez vous recycler pour n'importe quoi. Par exemple, nous avons récemment reconnu les passeports. Le réseau a appris les modèles circulaires dans le document. Puis elle a vu une photo d’oignons hachés qui présentaient des motifs très similaires et a dit qu’il s’agissait d’un passeport. Et de tels cas extrêmes peuvent être détectés souvent et pendant longtemps.

Autrement dit, se pourrait-il que la machine dans sa version précédente ait compris qu'il s'agissait d'une personne marchant dans l'image, puis qu'elle lui ait déployé une nouvelle version - et qu'elle ne comprenne plus ?

Facilement. Il existe de nombreux articles sur la façon de mettre à jour systèmes de machines afin qu'ils n'oublient pas les connaissances acquises précédemment. Par exemple, vous pouvez entraîner le modèle pour qu'il reconnaisse toujours tout comme avant ou pour qu'il ne modifie pas beaucoup la répartition des poids. Même si vous commencez à recycler le modèle, il peut atteindre un autre point optimal qui n'est pas lié au modèle actuel. Vous devez être très prudent ici.

Vous avez travaillé sur le projet Artisto, racontez-nous comment tout a commencé.

Nous avons interagi avec Mail.Ru Search, nous avions une équipe de cinq personnes dans la première étape. Le projet a été réalisé avec enthousiasme. En deux semaines, nous avons obtenu des résultats raisonnables, deux semaines supplémentaires l'ont amené à l'état nécessaire à la production, et en même temps nous avons terminé le backend. En un mois, nous avons lancé un produit qui fonctionne avec la vidéo. Au départ, nous avons essayé de mettre en œuvre le traitement des photos, mais nous avons ensuite décidé de ne pas répéter Prisma, nous devions créer quelque chose de nouveau. Puis les gens ont commencé à partir parce qu’ils avaient leurs propres choses à faire.

En quoi le traitement photo et vidéo est-il différent ?

Dans Artisto, la vidéo est divisée en images, puis elles sont stylisées indépendamment les unes des autres. Il existe par exemple une autre méthode de stylisation vidéo qui donne un résultat plus fluide. Cela s'avère plus compliqué là-bas, compte tenu de ce qu'on appelle le flux optique, lorsque, pour la cohérence de la stylisation, nous suivons où les pixels « circulent » d'une image à l'autre. Plus précisément, nous stylisons un cadre, puis utilisons sa modification pour styliser le suivant. Nous savons comment se trouve l'objet dans l'image suivante, déplaçons tous les pixels de l'image et partons de cette image. Ensuite, nous prenons l'image suivante, encore une fois le flux optique, déplaçons les pixels, partons de cette image, la stylisons. Et ainsi de suite.

Dans Artisto, ce n'est pas tout le cadre qui est stylisé, mais seulement les fragments modifiés ?

Presque comme ça, mais pas tout à fait. La vidéo est traitée de telle manière que nous conservons la stylisation de l'image précédente. Le principal problème est que vous pouvez obtenir style différent, et alors l'image va «fièvre». Pour résoudre ce problème, nous avons entraîné le réseau neuronal de manière à ce qu'il soit moins sensible à toutes sortes de bruits, afin que rien ne change en raison des changements d'éclairage, et nous avons également modifié la fonction de perte. Lisez l'habrapost sur ce sujet.

Quels projets de notre entreprise utilisent déjà le machine learning ?

Dans de nombreux : Mail, Recherche, Odnoklassniki, VKontakte, Yula, Bipkar. Il est par exemple utilisé pour analyser le texte des publications sur les réseaux sociaux et sur les sites indexés par notre moteur de recherche. De manière générale, le terme « machine learning » fait référence à un large éventail de disciplines, dont le deep learning, c’est-à-dire les réseaux de neurones. Cette direction se développe désormais très activement. Des résultats particulièrement frappants ont été obtenus dans le domaine vision par ordinateur. Les anciennes méthodes d’apprentissage automatique avaient une faible précision de reconnaissance d’images, mais il existe désormais des approches très efficaces. Grâce à cela, l'apprentissage automatique a reçu un nouvel élan de développement, car la reconnaissance de photos est une tâche pratique, compréhensible et proche pour beaucoup, démontrant les avantages des réseaux de neurones.

Les choses sont pires avec le texte, mais toujours pas mauvaises. La traduction automatique est encore inférieure à celle des humains, et en matière de reconnaissance d’images, l’apprentissage profond est dans de nombreux cas en avance sur les humains. Les réseaux de neurones sont excellents dans certains domaines jeux d'ordinateur, en particulier ceux simples, basés sur des réactions. Avec d’autres, c’est faible. Surtout lorsqu'il s'agit de stratégies lourdes où vous devez gérer gros montant unités. Ici, l’apprentissage par renforcement ne fonctionne pas très efficacement. Je pense que des recherches supplémentaires sont nécessaires sur ce sujet.

Mais tout récemment, les gars d'OpenAI ont fait sensation avec leur bot pour Dota 2. Le bot a vaincu les meilleurs joueurs du monde dans des batailles 1 × 1 - Dota. jeu difficile, parce que c'est un événement important.

Il n’y a pas si longtemps, il y avait un conflit très clair sur les réseaux sociaux entre Musk et Zuckerberg concernant la réglementation gouvernementale dans le domaine de l'intelligence artificielle. À quel camp appartenez-vous et pourquoi ? Quels arguments vous semblent les plus forts, quels sont les plus faibles ?

Il me semble qu’il est trop tôt pour parler d’intelligence artificielle forte. Mais lorsque nous nous en rapprocherons, nous comprendrons comment le réguler. Pour l'instant, nous programmons simplement quelques tâches. Nous le faisons nous-mêmes et savons quel sera le résultat. Autrement dit, il n'arrivera pas que la machine qui contrôlait les résultats de la recherche se mette soudainement à tracer.

Oui, une voiture autonome peut heurter un piéton. Mais pas exprès, mais à cause d’une erreur. Lorsque nous créons un intellect fort, le problème se pose de le former afin qu’il partage les objectifs de l’humanité. Par exemple, aujourd'hui, lors de la formation, on dit précisément que l'erreur dans l'échantillon doit être inférieure, la fonction de perte doit être telle ou telle. Mais ce que nous voulons vraiment, c’est que la machine soit capable de reconnaître les objets. Pour ce faire, nous minimisons la fonction de perte. Minimiser une fonction de perte est une représentation mathématique du fait de dire à un réseau « ne faites pas d'erreurs sur un ensemble d'images donné ». Le réseau s'adapte et acquiert une capacité de généralisation, c'est-à-dire qu'il identifie des modèles et apprend à prédire correctement la classe d'images qu'il n'a jamais vues. Ces modèles peuvent être erronés. En particulier, le modèle peut appeler l'arc un passeport, etc. Et en grandissant, une personne s’enracine dans des principes moraux, qu’elle valide et adapte au fur et à mesure. De même, l’IA doit d’une manière ou d’une autre être inculquée de nos principes moraux.

Selon vous, quelles sont les applications les plus intéressantes/avancées des réseaux de neurones sur le marché aujourd'hui et pourquoi ?

Les réseaux de neurones sont vraiment étonnants, surtout quand on sait comment ils fonctionnent. Les classificateurs d'images, les détecteurs d'objets et les réseaux de reconnaissance faciale sont assez couramment utilisés sur le marché. Certaines solutions à ces problèmes impressionnent par leur élégance et leur simplicité. Je peux également citer les voitures sans conducteur et la traduction automatique. Par exemple, le réseau neuronal de Google utilise un langage intermédiaire à travers lequel il effectue des traductions à partir d'autres langues réelles (plus précisément, nous parlons de représentations vectorielles à partir desquelles sont composées des phrases dans d'autres langues). Le système reçoit en entrée une phrase en anglais, génère des ensembles de nombres, puis une autre partie du réseau convertit ces ensembles, par exemple, en une phrase en français. Et lorsque le même réseau neuronal est entraîné à convertir de cette manière entre plusieurs langues, il forme une sorte de représentation universelle du texte, grâce à laquelle le réseau peut communiquer entre eux. différentes langues, traduction directe entre laquelle elle n'a pas étudié. Par exemple, il peut être entraîné à traduire EN ⇄ FR et EN ⇄ RU - et le modèle sera alors capable de traduire FR ⇄ RU.

Quelles connaissances/compétences un spécialiste des réseaux neuronaux doit-il posséder ?

Vous avez besoin d'érudition dans un certain nombre de disciplines mathématiques et du ML en général. Plus un spécialiste a de connaissances en tête, plus il peut résoudre les problèmes facilement et rapidement. En plus des connaissances, il faut de la curiosité. Chaque jour, de nouvelles architectures et approches de formation des réseaux de neurones apparaissent. Un spécialiste doit maintenir ses connaissances à jour.

Qu'en est-il des postes vacants pour les spécialistes du deep learning dans notre entreprise ?

Dans notre entreprise, nous disposons désormais de spécialistes en apprentissage automatique dans presque toutes les unités commerciales. Chez Mail, nous recherchons activement des spécialistes pour améliorer l'anti-spam et créer de nouvelles fonctions « intelligentes » (travaillant principalement avec du texte). Nous sommes également intéressés par des spécialistes pour le développement de la vision par ordinateur. Dans le Cloud - spécialistes de la vision par ordinateur. D'autres domaines intéressants dans lesquels nous utilisons l'apprentissage profond et recherchons des spécialistes spécialisés incluent le développement et l'amélioration de systèmes de recommandation, l'analyse de mégadonnées et le travail avec du texte de la manière la plus efficace possible. différents projets(par exemple, prédire les bonnes réponses dans Mail.Ru Search). Le ML est présent dans les outils publicitaires, dans la création de flux de médias sociaux intelligents et dans la recherche.

Autrement dit, dans l’entreprise, toutes les fonctions humaines sont progressivement remplacées par l’intelligence artificielle ?

Vous devez comprendre que cela ne rend pas la programmation plus facile, mais seulement plus compliquée. Les programmeurs seront demandés pendant longtemps. De plus, les spécialistes de l’IA doivent également être avant tout des programmeurs : il est beaucoup plus facile de former un programmeur à créer de l’IA. Et ils apporteront bien plus d’avantages à l’entreprise, car ils mettront en œuvre leurs idées très rapidement, contrairement aux purs chercheurs. De manière générale, de nombreuses entreprises, dont la nôtre, investissent beaucoup d’argent dans l’intelligence artificielle. Par exemple, la Chine veut désormais devenir un leader dans ce domaine d’ici 2030. Baidu emploie à lui seul 1 300 spécialistes de l’apprentissage automatique.

Quelle direction dans le domaine des réseaux de neurones considérez-vous comme la plus prometteuse ?

La chose la plus prometteuse est une IA forte. La question ici est : pouvons-nous passer de la résolution de petits tâches spécifiques trop fort intelligence artificielle. Comment combiner tout cela ? Je ne suis pas sûr que le chemin vers une intelligence artificielle forte passe par une solution tâches simples. Mais de manière générale, si l’on exclut l’IA forte, alors oui, c’est le remplacement de l’humain dans tous les domaines d’activité.

Pensez-vous qu’il sera possible de créer une IA qui surpassera les humains à tous égards ? Et si oui, quand ?

C'est une question de temps. Selon des enquêtes menées auprès de scientifiques, son apparition est attendue dans les années 2050-2090. Mais je ne pense pas que cela fonctionne de cette façon. Nous copions des fonctions individuelles du cerveau, mais je pense que personne ne sait encore comment passer de cela à une IA forte. Cependant, aujourd'hui, nous avons déjà atteint bons résultats Dans certaines directions étroites, par exemple en reconnaissance d'images.

Balises : Ajouter des balises

Studio Moderna - Moscou

Responsabilités du poste : Conduireentraînementpour les nouveaux employés (formations d'accueil); Réaliser des formations pourspécialistespar les ventes ; Organisation de formations (mise à jour et préparation matériel éducatif, préparation du public) ; Rapport. Exigences : supérieures...

il y a 14 jours

Gestion ALVISA- Moscou

...formations d'accueil et formations produits pourpersonnelEntreprises et pour les partenaires externes (comme... ...Maintenir le flux de documents pour les externesentraînementSalariés de l'entreprise : - conclusion de contrats... ...ou pédagogique). expériencespécialisteformation ou formateur produit (...

il y a 13 jours

Médecine - Station de métro Mayakovskaya, Moscou

...Responsabilités : Recueillir les besoinsentraînement et développement personnel.Élaboration de plans de certification, de formation individuelle et en entreprise du personnel. Organisation et contrôle de la mise en œuvre des plans de formation, remise des documents par les salariés ayant suivi une formation...

il y a 1 jour

Président - Moscou

Responsabilités du poste : 1. Organiser et conduire des formations (avoir vos propres programmes dans le portfolio). 2. Réalisationentraînementpour les gestionnaires. 3. Questions d'organisation- préparation aux formations (salle, invitations, pauses café). 4. Établir des contacts...

il y a 20 jours

"GPTP "Granit" - Moscou

...programmes et projets de réglementations locales surentraînement et développement personnel- participation à l'élaboration du budget des zones... ...établissements d'enseignement - encadrement d'un programme de mentorat pour jeunesspécialistesExigences : Utilisateur informatique expérimenté.

il y a 7 jours

Groupe de sociétés PIK- Moscou

...candidats Tenir à jour une base de données de curriculum vitae des candidats pour garantir recherche efficace selon les demandes actuelles Développement de programmes d'évaluationpersonnel:timing, fréquence, méthodes, traitement des résultats, la poursuite des travaux avec des résultats Participation à l'automatisation des processus T&D...

il y a 12 jours

Worldskills Russie - Moscou

...Responsabilités : Maintenir le cycle de sélection completpersonnel(à la fois permanents et temporaires); Réaliser les entretiens et les tests des candidats ; Publier des informations sur les postes vacants sur des sites externes, travailler avec des réponses, des demandes et des recommandations ; Organisation...

il y a 13 jours

Université financière sous le gouvernement de la Fédération de Russie- Moscou

...Responsabilités : administration du système de contrôle à distanceentraînement(organisation processus éducatif, tests, enquêtes, webinaires et sessions d'évaluation) sur la plateforme Moodle, conseil et accompagnement technique des collaborateurs dans l'utilisation du système, préparation de rapports...

il y a 21 jours

Entreprise de meubles "Shatura"- Moscou

...Responsabilités : Évaluer le besoin dela formation du personnel;Planification des formations : Techniques de vente, Compétences en gestion ; Élaboration et conduite de formations pour les commerciaux du réseau ; Travailler avec le personnel des « terrains » ; Recrutement;...

il y a 13 jours

Post-formation- Moscou

...1 RUR/an construction du nouvel aéroport Gagarine à Saratov. Dans le bureau société de gestionun poste vacant pour un présentateur est ouvert à Moscou et développement personnelspécialiste de la formation...

Responsabilités : Formation et mise en œuvre d'un plan de développement et de formation des salariés de la société de gestion

il y a 17 jours- Moscou

...SOCIÉTÉ D'INGÉNIERIE "ASE"entraînementgénérer des rapports), organiser et conduire... ...pour les utilisateurs du système ETWeb enpersonnel.budget pour la formation et le développement... ...Identifier les besoins de formationLes universités dans l'organisation, attirant les jeunesspécialistes....

il y a 20 jours

Organisation de la pratique des étudiants.- Moscou

...100 roubles/heureentraînement et développement personnel.Responsabilités : Analyse des besoins Développement solutions optimales... ...pour atteindre les objectifs d'apprentissagespécialistesun personnel de direction hautement qualifié est nécessaire,...

et les travailleurs. Si vous êtes actif, déterminé, prêt

il y a 10 heures - Mosvodostok, Entreprise unitaire d'État

...38 000 - 42 000 roubles.Responsabilités : - Analyser et déterminer le besoin dela formation du personnel...

il y a 13 jours

conformément aux objectifs de l'Entreprise. - Élaborer des plans de formation, de recyclage et de perfectionnement du personnel. - Élaborer des réglementations locales concernant la certification et l'évaluation- Moscou

...65 000 roubles.Un hôtel célèbre au cœur de la capitale avec des clients formidables organise un concours pour le poste " et développement Spécialiste de la formationpersonnel"...

. Si vous aimez votre entreprise autant que nous, nous vous invitons à rejoindre notre équipe ! Responsabilités : Construction du système

Il y a un mois - ROSBANK, Groupe Société Générale (Russie)

Responsabilités : Formatage des articles de la base de connaissances (portail d'information sur la vente au détail) ; Participer à l'automatisation des processus RH; Travailler avec des formulaires WT personnalisés (sections, rapports, questionnaires, etc.); Effectuer des analyses de données à l'aide d'Excel ; Test développé...

il y a 14 jours

Métro de Moscou - Station de métro Varshavskaya, Moscou

...marché services éducatifs résumant les besoins deentraînement les gestionnaires et spécialistespréparation des spécifications techniques pour la formation... ...EXIGENCES : formation supérieure (gestion, gestionpersonnel)Au moins 3 ans d'expérience dans le domaine des achats...

Spécialiste du Big Data : où étudier et où aller travailler. Artur Borisovich Avakyan, spécialiste de l'étude des réservoirs

Lire aussi

Comment devenir spécialiste ?

L'éducation supplémentaire

Enseignement professionnel de base

Formation complémentaire pour adultes

Profession en personnes

Gestionnaire de données

Où peut-on travailler dans le traitement des données ?

Où acquérir des connaissances dans le domaine du traitement des données

Les universités

Cours supplémentaires non commerciaux

Cours commerciaux

De l'article, vous apprendrez :

Quelles tâches la norme professionnelle d'un spécialiste de la formation du personnel résout-elle ?

Pouvoir d'un spécialiste d'organiser la formation du personnel conformément aux normes professionnelles

De plus, conformément à la norme professionnelle, les salariés de ce niveau sont engagés dans :

Quelles sont les responsabilités professionnelles d'un spécialiste de la formation et du développement ?

Quelles sont les exigences contenues dans la norme professionnelle pour un spécialiste de la formation et du développement du personnel ?

La norme professionnelle pour un spécialiste de la formation et du développement du personnel comprend quatre sections :